MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion Tridimensional a
Partir de Varias Imagenes
Dr. Luis Gerardo de la Fraga
E-mail: [email protected] de Computacion
Departamento de Ingenierıa ElectricaCINVESTAV
22 de noviembre, 2005
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 1/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Contenido
Motivacion
Introduccion
Reconstruccion del volumenReconstruccion 3D de macromoleculas biologicasTomografıa de rayos X
Reconstruccion de la Superficie
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 2/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Contenido
Motivacion
Introduccion
Reconstruccion del volumenReconstruccion 3D de macromoleculas biologicasTomografıa de rayos X
Reconstruccion de la Superficie
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 2/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Contenido
Motivacion
Introduccion
Reconstruccion del volumenReconstruccion 3D de macromoleculas biologicasTomografıa de rayos X
Reconstruccion de la Superficie
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 2/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Contenido
Motivacion
Introduccion
Reconstruccion del volumenReconstruccion 3D de macromoleculas biologicasTomografıa de rayos X
Reconstruccion de la Superficie
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 2/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Motivacion
La obtencion de una reconstruccion tridimensional a partir deimagenes bidimensionales es un problema importante en diferentescampos, tales como: biologıa, medicina, microscopıa electronica,topografıa, diseno asistido por computadora, simulacion porcomputadora, visualizacion cientıfica, etc.
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 3/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Tipos de reconstrucciones 3D
Las tecnicas para obtener una reconstruccion 3D pueden dividirseen:
1. Reconstruccion del volumen: tomografıa, microscopıaelectronica
2. Reconstruccion de la superficie: visualizacion de terrenos,robotica, arqueologıa.
Tambien veremos lo que son la realidad aumentada y la realidadvirtual
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 4/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion 3D de macromoleculas biologicasTomografıa de rayos X
Reconstruccion del volumen
I Aplicado a la reconstruccion 3D de macromoleculas biologicas
I Tomografıa de rayos X
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 5/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion 3D de macromoleculas biologicasTomografıa de rayos X
Proyecciones
Para realizar la reconstruccion 3D de un volumen es necesariocontar con imagenes de proyeccion del objeto.
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 6/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion 3D de macromoleculas biologicasTomografıa de rayos X
Algunos ejemplos de proteınas
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 7/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion 3D de macromoleculas biologicasTomografıa de rayos X
Simulacion de una proteına
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 8/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion 3D de macromoleculas biologicasTomografıa de rayos X
Simulacion de una proteına
Vista por rebanadas
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 9/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion 3D de macromoleculas biologicasTomografıa de rayos X
Simulacion de una proteına
Proyecciones
de la proteına simulada
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 10/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion 3D de macromoleculas biologicasTomografıa de rayos X
Un tomografo de rayos X
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 11/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion 3D de macromoleculas biologicasTomografıa de rayos X
Un fantasma para pruebas con simulaciones
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 12/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion 3D de macromoleculas biologicasTomografıa de rayos X
Resultado de la reconstruccion 3D
Este reconstruccion se obtuvo con el
algoritmo de retroproyeccion.
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 13/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion de la Superficie
Se tienen varias situaciones para realizar la reconstruccion:
1. A partir de un solo marco de video
2. A partir de dos imagenes (geometrıa epipolar)
3. A partir de tres imagenes (tensor trifocal)
4. A partir de muchas imagenes
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 14/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion a partir de un solo marco de
video
Sistema para reconstruir un paralelepıpedo con solo un marco devideo.
1. Procesamiento digital de imagenesI Adquirir la secuencia de video y extraer los marcos de video.I Suavizar el marco de video.I Segmentar los bordes del paralelepıpedo.I Obtener el esqueleto de los bordesI Reconocer las aristas
2. Vision por computadoraI Obtencion de los parametros intrınsecos y extrınsecos de la
camara.I Recuperacion de las dimensiones del objeto.I Extraccion de las zonas con letras (texturas).I Visualizacion del paralelepıpedo.
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 15/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Para construir este sistema se utilizo lo
siguiente:
I Una camara de video digital accesible a traves del puertofirewire.
I Como plataforma de desarrollo se tiene GNU/Linux, OpenGL(Mesa, www.mesa3d.org) y Qt (www.trolltech.com)
I Se utilizo las bibliotecas de KINO para manipular la secuenciade video (cada marco de tamano 720× 576 pixels.
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 16/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Resultados - Extraccion
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 17/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Resultados - Suavizado
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 18/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Resultados - Segmentacion
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 19/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Resultados - Esqueleto
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 20/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Resultados - Aristas
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 21/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Obtencion de los parametros extrınsecos e
intrınsecos de la camara
Y
YX
X
Z
coordenadas dePunto en
la cámara
coordenadas dela imagen
Punto en
Z
X
Y
coordenadas demundo real
Punto en
Mundo real
Posición de la cámaraImagen
X
Y
(Xi, Yi)
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 22/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Parametros intrınsecos y extrınsecos de la
camara
λi
ui
vi
1
=
p11 p12 p13 p14
p21 p22 p23 p24
p31 p32 p33 p34
xi
yi
zi
1
P = A[RT ]
A =
fx α ox
0 fy oy
0 0 1
RT =
r11 r12 r13 txr21 r22 r23 tyr31 r32 r33 tz
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 23/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Recuperacion de las dimensiones del objeto
I Basado en el trabajo de Jelinek y Taylor (2001) 1
I Encuentra las dimensiones de cualquier tipo de figurageometrica regular que se puede representar con un modeloparametrizado lineal.
x
z
y
L
H
D
P0
P5 P6
P4
P1 P2
P3
P7
1D. Jelinek and C.J. Taylor, Reconstruction of linearly parameterized modelsfrom single images with camera of unknown focal length, IEEE Transactions onPattern Analysis and Machine Intelligence (23) 2001, pp 767-773.
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 24/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Recuperacion de las dimensiones del objeto
I Vertice expresado por un vector γ = (LHD)t .
I Conjunto de matrices de tamano 3× n, K1,K2, ...,Kn, y lamatriz Ki representa la posicion del i-esimo vertice.
P1 =
−L/20
D/2
=
−0,5 0 00 0 00 0 0,5
LHD
P3 =
L/2H
D/2
=
0,5 0 00 1 00 0 0,5
LHD
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 25/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Resultados - Visualizacion
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 26/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Resultados - Visualizacion
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 27/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion a partir de dos imagenes
x’
C
x
X
e e’
l’
F
l
π
C’
Geometrıa epipolar
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 28/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion de terrenos
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
-10 -5 0 5 10
f(x)
f (x) = sen(x)x
-10-5
0 5
10-10
-5
0
5
10
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
f(x,y)
f (x , y) = sen(x)sen(y)xy
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 29/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion de terrenos
-10-5
0 5
10-10
-5
0
5
10
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
f(x,y) 0.8 0.6 0.4 0.2 0
-0.2
f(x,y) 0.8 0.6 0.4 0.2 0
-0.2
-10-5
05
10 -10
-5
0
5
10
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 30/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Reconstruccion de terrenos
0.8 0.6 0.4 0.2 0
-0.2
-10 -5 0 5 10-10
-5
0
5
10
-10-5
0 5
10-10
-5
0
5
10
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
f(x,y)
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 31/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Imagen Binaria
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 32/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Ejemplo de Aplicacion
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 33/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Ejemplo de Aplicacion
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 34/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Ejemplo de Aplicacion
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 35/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Ejemplo de Aplicacion
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 36/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Realidad Aumentada
Se incorporan objetos virtuales a un video en tiempo real.
RealidadVideo Procesar
Objetosvirtuales
aumentada
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 37/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Realidad Virtual
I Navegacion en el mapa virtual de Mexico
I Creacion de objetos deformables y su interaccion coninterfaces hapticas
I Sistemas de entrenamiento medico
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 38/39
MotivacionIntroduccion
Reconstruccion del volumenReconstruccion de la Superficie
Seccion de Computacion del CINVESTAV
Ofrecemos la maestrıa y doctorado enIngenierıa Electrica opcion Computacion.
I Pagina de la Seccion: http://www.cs.cinvestav.mx
I Mi pagina personal: http://delta.cs.cinvestav.mx/˜fraga
I Mi correo electronico: [email protected]
Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstruccion Tridimensional a Partir de Varias Imagenes 39/39
Recommended