View
217
Download
1
Category
Preview:
Citation preview
1
Image Based Rendering
Daniele Marini
2
Image based rendering
• ricavare informazioni per il rendering dalle immagini acquisite– profondita’– colore– BRDF– luminanza
3
Ricavare la geometria
• Ricostruzione della profondità da immagini multiple
• problema della inversione della proiezione prospettica
4
la “costruzione legittima” L.B. Alberti
5
6
Come ricavare la forma?
• Shape from shading
• Shape from motion
7
Shape from stereo
8
x
zxs
'
f
x bz
xd
'
f
z bf
x' s x'd
b= 65 mm distanza interpupillare
9
Ricerca dei punti corrispondenti
10
Metodi basati su immagini
• Ricostruzione “a quinte”
• Mapping di panoramiche su forme regolari (cilindri, calotte sferiche)
11
Ricostruzione a “quinte”
• Ricavando z per diversi piani di profondità permette di organizzare la scena come “quinte” teatrali
• Ogni immagine viene mappata come texture su una superficie a profondità z
• Si può esplorare la scena con sistemi di visualizzazione 3D
12
Panoramiche: QuickTimeVR
• Costruzione dello “stitch”– Stima dell’obiettivo– Correzione prospettica– Collimazione fotogrammi
• Mapping dello stitch
• Costruzione sequenza video
• Dislay con interpolazione
13
14
Un esempio
15
Stima obiettivo
16
Collimazione immagini
17
18
Mapping dello stitch
19
Tiling: fotogrammi chiave e traiettorie di navigazione
20
Tiling e compressione
21
Il risultato
22
Struttura ipertestuale
• Si possono inserire “hot spots” per collegare scenari diversi
• La struttura del meta-filmato:
23
Oggetti
• Si possono creare modelli virtuali di oggetti
• Riprese multiple di un oggetto, organizzate in un array 2D
• Il mapping idealmente è su una struttura sferica
24
25
Scene e link
• Panorami e oggetti si possono organizzare in scene
• Il passaggio a scene, panorami e oggetti diversi avviene con hot spots
• Sono disponibili links URL
26
Costruzione dello “stitch”
• Determinare lo scarto tra due immagini:– Basato su caratteristiche delle immagini– Correlazione di fase
27
Correlazione di fase
• La correlazione di fase è basata sulla valutazione della fase del Cross Power Spectrum (CPS) delle due immagini.
• Se una delle due immagini è una replica sfasata dell’altra, cioè se:
f2(x,y) = f1(x+x0,y+y0)• la fase del Cross Power Spectrum delle due
immagini f1 e f2 è data dall’equazione:
28
Correlazione di fase (cont.)
• F è la trasformata di Fourier dell’immagine f e F* è la sua coniugata complessa.
• La trasformata di Fourier inversa dell’equazione è solitamente un impulso di coordinate (x0,y0) la cui posizione indica lo scostamento cercato.
F1( ,)F2*( ,)
F1( ,)F2*( ,)
e j2 (x0y0 )
29
Correlazione di fase (cont.)
30
Ricostruzione con luce coerente
• Esame del profilo della forma delineato con un fascio laser
31
La faccia nascosta della luna
• Ricostruzione da proiezioni multiple (TAC, NMR)
32
Proiezioni multiple
33
Trasformata di Radon
R (x') f (x 'cos y 'sin ,x'sin y 'cos )dy '
• x’,y’ coordinate del punto trasformato per rotazione
• R viene rilevato più volte al variare dell’angolo
• l’inversione dell’equazione produce f(x,y)
34
HDRI e Image-Based lighting• Uso di immagini ad alta dinamica di un
ambiente per illuminare oggetti virtuali.
35
HDRI• Bisogna acquisire un’immagine ad alta
dinamica di un ambiente.
• Varie soluzioni:Mirrored Ball Fisheye lens
Panoramic camera Stitching
36
Mirrored ball
37
Fisheye lens
38
Image-Based Lighting (1\4)
• L’immagine ad alta dinamica fornisce i valori di luminanza reali di tutti i 360° della scena.
• Utilizzandola come environment riesco a renderizzare oggetti virtuali che sembrano inseriti nella scena reale
39
Image-Based Lighting (2\4)
40
Image-Based Lighting (3\4)
41
Image-Based Lighting (4\4)
Recommended