Técnicas Avanzadas de Visión por Mayo 2006 Computador. UJI · - El movimiento entre frames de la secuencia esta dado por λ x 1=H 2 - La secuencia se trocea en tomas de forma automática

Técnicas Avanzadas de Visión por Computador. UJI

Mayo 2006

Nicolás Perez de la Blanca - UGR

CURSO DE DOCTORADO

Técnicas Avanzadas de Visión por Computador

UJI

Reconstrucción de escenas3D a partir de tomas de vídeo

Nicolás Pérez de la Blanca CapillaProcesamiento de la Información Visual (VIP)

Dpto de Ciencias de la Computación e I.A.Universidad de Granada

2

CURSO DE DOCTORADO


UJI

N. Pérez de la Blanca

El problema

(a,b)→ A

(a,b)→ c

f(a,b,c)=0

A

a

bca

bc

(a,b,c)→ (a,b,c)(reconstrucción)(calibración)

(transferencia)

3

CURSO DE DOCTORADO


UJI


Ejemplo de reconstrucción


Mayo 2006


4

CURSO DE DOCTORADO


UJI


Ejemplo de reconstrucción

5

CURSO DE DOCTORADO


UJI


Más ejemplos

• MatchMovingCalcular el movimiento dela cámara desde el vídeo(registrar objetos reales yvirtuales en movimiento)

• Reconstrucciones 3D

6

CURSO DE DOCTORADO


UJI


Elementos del problema

• Los problemas de VxC son en general problemas de optimización no-lineal que requieren de una buena solución inicial y un modelo adecuado de distancia geométrica a minimizar

Algortimos de cálculo numérico y optimización

Algoritmos de extracción de información

Modelización geométrica

Técnicas de Reconstrucción


Mayo 2006


7

CURSO DE DOCTORADO


UJI


Bloques del Proceso

Pre-procesamiento

(Submuestreo)

Reconstruccion

ProyectivaAuto-

calibraciónReconstrucción densa

Modelo

Estimado

Video de entrada

8

CURSO DE DOCTORADO


UJI


Reconstrucción ProyectivaReconstrucción Proyectiva

Reconstrucción Densa

EntradaVideoSegmentación en

tomasSubmuestreo

PrePre--procesamientoprocesamiento

Detección de esquinas en múltiples escalas

Detección de líneas en múltiples escalas

Evaluación de las correpondencias entre

características

Geometría ROBUSTA de multiples vistas usando

RANSAC y optimización

Ajuste proyectivo de rayos

Mezcla de reconsctrucciones

Reconstrucción QUARC usando “Cheirality”

Optimización de la auto-calibración

Ajuste Euclídeo de rayos

AutocalibraciónAutocalibración MODELO

GRÁFICO

Etapas del proceso

9

CURSO DE DOCTORADO


UJI





tomasSubmuestreo





características









GRÁFICO

Etapas del proceso


Mayo 2006


10

CURSO DE DOCTORADO


UJI


Pre-procesamiento: Submuestreo- El movimiento entre frames de la secuencia esta dado por λx1=Hx2

- La secuencia se trocea en tomas de forma automática (correlación, color, etc)

Algoritmo (Nister-2000)• Submuestrear las imágenes a tamaños 50x50• Definir una medida de nitidez de la imagen• Ordenar las imágenes de cada toma en orden decreciente de nitidez• Iterar hasta que no haya canbios

Avanzar sobre la lista, eliminando aquellas frames que sean redundantes respecto de las ya presentes en la lista.

- Estimar H (h33=1) entre dos frames Fi y Fi-1 a partir de la minimización de M.C.no-lineal de

- Si el valor de R entre las dos frames es mayor de un umbral (>0.95) y la disparidad d entre los puntos imagen es menor de un valor prefijado d entonces Fies redundante. (d ≈ 0.1*sizeI)

211 ))()((

)(#1),,,( xFHxFHFFR i

xiii −

Θ∈− −

Θ=Θ ∑

11

CURSO DE DOCTORADO


UJI





tomasSubmuestreo





características









GRÁFICO

Etapas del proceso

12

CURSO DE DOCTORADO


UJI


Detección de puntos invariantes a escala: SIFT

• Detección de extremos en el espacio de escalas• Detección de puntos de interés• Asignación de la orientación• Generación del descriptor del punto

(Lowe, IJCV-00)


Mayo 2006


13

CURSO DE DOCTORADO


UJI


Características locales invariantes

• El contenido de la imagen se transforma en carateristicas con coordenadas locales que son invariantes a traslación, rotación, escala y otrosparámetros de adquisición.

SIFT Features

15

CURSO DE DOCTORADO


UJI


Procesamiento del espacio de escalas: Una escala cada vez

16

CURSO DE DOCTORADO


UJI


Localización de puntos extremos

• Detectar máximos y mínimos de diferencias de Gaussiana en el espacio de escalas

• Ajustar una función cuadrática al entorno para obtener precisiónsub-pixel y sub-escala. (Brown & Lowe, 2002)

• Desarrollar alrededor del punto:

• Corrección local de extremos (usardifferencias finitas para lasderivadas):

Blur Resamp le

Subtract


Mayo 2006


17

CURSO DE DOCTORADO


UJI


Ejemplo de detección de puntos-de interés

Umbralizar sobre los valores de los picos de DOG y sobre el criterio de Harris

(a) Imagen 233x189

(b) 832 extremos DOG

(c) 729 extremos después de umbralizarDOG

(d) 536 extremos después de umbraliar con el criterio de curvatura local(Harris)

18

CURSO DE DOCTORADO


UJI


Selección de la orientación canónica

• Crear el histograma de direcciones locales del gradiente calculado en cada escala.

• Asignar como dirección canónica la dada por el máximo del histograma alisado.

• Cada clave especifica coordenadas estables 2D (x, y, escala, orientación)

0 2π

20

CURSO DE DOCTORADO


UJI


Descriptor SIFT• Imágenes gradiente umbralizadas son muestreadas en

ventanas de 16x16 en el espacio de escalas.• Crear la matriz del histograma de orientaciones• 8 orientaciones x 4x4 matrices histogramas = 128

dimensiones


Mayo 2006


21

CURSO DE DOCTORADO


UJI


Emparejamiento con el NN en la base de datos de características

• Generamos hipótesis emparejando cada característica a suNN-vector en la base de datos

• No existe un método rápido y único para encontrar siempreel 128-NN-vector en una base de datos grande.

• Po tanto, se usa un NN aproximado:El primer-bin-el-mejor (Beis & Lowe, 97) una modificacióndel algoritmo k-d-árbolUsar una estructura de pila para identificar los bins ordenados por su distancia al punto en cuestión.

• Resultado: Produce factores de aumento de velocidad de 1000 en la busqueda del NN (de interés) 95% del tiempo.

26

CURSO DE DOCTORADO


UJI


Reconocimiento de objetos planos

• Superficies planas pueden ser reconocidasde forma fiable con rotaciones de hasta 60º en el plano de la imágen

• La deformación de perspectiva es ajustada por una afín.

• Solo se necesitan 3 puntos para el reconocimiento

27

CURSO DE DOCTORADO


UJI





tomasSubmuestreo





características









GRÁFICO

Etapas del proceso


Mayo 2006


28

CURSO DE DOCTORADO


UJI


Modelización geométrica de n-vistas

• Geometría de la cámara• Conceptos de geometría• Homografía• Reconstrucción con 2 vistas• Reconstrucción con 3 vistas• Reconstrucción con n-vistas• Reconstrucción de escenas deformable

29

CURSO DE DOCTORADO


UJI


Elementos básicos

• Una Vista: Modelo de Cámara, Calibración, Geometría de una vista.

• Dos Vistas: Geometría epipolar, Reconstrucción 3D, Cálculo de F, Calculode estructura,

• Tres Vistas: Tensor trifocal, Cálculo de T.• N Vistas: N-Linealidades, Reconstrucción

desde multiples vistas, Reconstrucción deEscenas dinámicas.

30

CURSO DE DOCTORADO


UJI


Modelo de Cámara

Calibración

El Cíclope, c. 1914, Odile Redon

La cámara


Mayo 2006


32

CURSO DE DOCTORADO


UJI


Modelo de cámara

X.xλ

110t

010000100001

1000

0

1λ

3

PR

=⇔

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

⎥⎦

⎤⎢⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

ZYX

pfpf

yx

y

x

T

El modelo “pinhole”

También cámaras afines

33

CURSO DE DOCTORADO


UJI


⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

1yy

xx

pps

K αα

[ ] [ ]tRKC~|IKRP =−=no-singular11 g.l. (5+3+3)

Como descomponer P en K,R,C?

[ ]4p|MP = 41pMC~ −−=[ ] ( )MRK, RQ=

cámaras finitas=P4x3 & det M≠0

Si rango P=3, pero rango M<3, ⇔ cámara en el infinito

Cámara proyectiva finita

34

CURSO DE DOCTORADO


UJI


C]|[IR'K' y P'C]|KR[IP −=−=

( ) PKRR'K'P' -1=

( ) ( ) xKRR'K'PXKRR'K'XP'x' -1-1 ===

( ) -1*-1 KRK'KRR' K' Hconx Hx' === ∞

Importancia del centro de la cámara


Mayo 2006


35

CURSO DE DOCTORADO


UJI


Calibración algebraica de una cámara

• Se P=[M|m] una matriz 3x4 tal que det(M)≠0, entonces notando por C(P)=(X,Y,Z,T )T el centro de la cámara

• P=K[R|t]=[KR|Kt] ⇒ M=KRAplicando sucesivas rotaciones sobre cada uno de los ejes 3Dobtenemos MQzQyQx=K ⇒ R=Qx

TQyTQz

T

• En cada rotación los valores de c y s se eligen para anular un elemento de M

],,det[ ],,,det[],,det[ ],,,det[

321421

431432

PPPTPPPZPPPYPPPX

−==−==

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛ −=

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛ −=

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛−=

1 ,1 ,

1cssc

Qcs

scQ

csscQ zyx

36

CURSO DE DOCTORADO


UJI


Geometría de la deformación 2D

La reproduction interdite (Reproducción Prohibida), 1937, René Magritte.

37

CURSO DE DOCTORADO


UJI


• Puntos, líneas y cónicas• Transformaciones

• Razón-cruzada e invariantes

Geometría proyectiva 2D


Mayo 2006


41

CURSO DE DOCTORADO


UJI


Aplicaciones entre planos

La proyección central puede expresarse porx’=Hx

42

CURSO DE DOCTORADO


UJI


Otros ejemplos

43

CURSO DE DOCTORADO


UJI


Transformaciones Proyectivas

Una proyectividad es una aplicación invertible h de P2

en si mismo tal que tres puntos x1,x2,x3 son colineales si y solo si h(x1),h(x2),h(x3) lo son.

Definición:

Transformación proyectiva entre planos

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

3

2

1

333231

232221

131211

3

2

1

'''

xxx

hhhhhhhhh

xxx

xx' H=o

8 GL

proyectividad=colineación= transformación proyectiva =homografía


Mayo 2006


44

CURSO DE DOCTORADO


UJI


Decomposición de transformacionesproyectivas

⎥⎦

⎤⎢⎣

⎡=⎥

⎦

⎤⎢⎣

⎡⎥⎦

⎤⎢⎣

⎡⎥⎦

⎤⎢⎣

⎡==

vvs

PAS TTTT vt

v0

100

10t AIKR

HHHH

Ttv+= RKA s

K 1det =KTriangular-superior,decomposición única (if s>0)

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

0.10.20.10.2242.8707.20.1586.0707.1

H

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡ −=

121010001

100020015.0

1000.245cos245sin20.145sin245cos2

oo

oo

H

Ejemplo:

45

CURSO DE DOCTORADO


UJI


Transformación de líneas y cónicas

La transformación de líneas es

ll' -TH=

La transformación de cónicas es-1-TCHHC ='

La transformación de cónicas duales esTHHCC **' =

xx' H=Para una transformación de puntos

46

CURSO DE DOCTORADO


UJI


La línea del infinito

∞

−

∞−

∞ =⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎥⎦

⎤⎢⎣

⎡

−==′ l

100

1t0

llA

AH

TT

A

La línea del infinito l∞ is una línea fija bajo unatransformación proyectiva H si y solo si H es una

afinidad

Nota: no es una aplicación fija punto a punto


Mayo 2006


47

CURSO DE DOCTORADO


UJI


Propiedades afines desde imágenes

proyección rectificación

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=′

321

010001

lllAP HH [ ] 0,l 3321 ≠=∞ llll T

48

CURSO DE DOCTORADO


UJI


Rectificación afínv1 v2

l1

l2 l4

l3

l∞

21 vvl ×=∞

211 llv ×=432 llv ×=

49

CURSO DE DOCTORADO


UJI


Los puntos circulares “puntos circulares”

0233231

22

21 =++++ fxxexxdxxx 02

221 =+ xx

l∞

( )( )T

T

0,,1J

0,,1I

i

i

−=

=

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛=+=∞

000010001

* TT JIIJC

Algebraicamente definen direcciones ortogonales

03 =x


Mayo 2006


50

CURSO DE DOCTORADO


UJI


Ángulos

( )( )22

21

22

21

2211cosmmll

mlml++

+=θ

( )T321 ,,l lll= ( )T

321 ,,m mmm=Euclídeos:

Projectivos: ( )( )mmllmlcos

**

*

∞∞

∞=CC

CTT

T

θ

0ml * =∞CT (ortogonal)

51

CURSO DE DOCTORADO


UJI


Propiedades métricas de C*

( ) ( )( ) ( )( ) ( )

⎥⎦

⎤⎢⎣

⎡=

=

=

=

∞

∞

∞∞

vvvv

'

*

*

**

TTTT

TT

T

TT

T

KKKKKKKK

HHCHH

HHHCHHH

HHHCHHHC

APAP

APSSAP

SAPSAP

TUUC⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=∞

000010001

'*

Transformación de rectificación usando SVD

UH =

52

CURSO DE DOCTORADO


UJI


Resumen de transformaciones

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

1002221

1211

y

x

taataa

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

1002221

1211

y

x

tsrsrtsrsr

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

333231

232221

131211

hhhhhhhhh

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

1002221

1211

y

x

trrtrr

Proyectiva8gl

Afin6gl

Semejanza4gl

Euclidea3gl

Concurrencia, colinealidad, orden de contacto(intersección, tangencia, inflexión, etc.), razón-cruzada

Paralelismo, razón-areas, razón-longitudes en líneasparalelas (ej. puntos medios), combinación lineal de vectores (centroides). La línea del infinito l∞

Razon-longitudes, ángulos.Los puntos circulares I,J

Longitudes y áreas

Invariantes


Mayo 2006


53

CURSO DE DOCTORADO


UJI


Geometría Proyectiva 3D

• Puntos, líneas, planos y cuádricas

• Transformaciones

• П∞, ω∞ and Ω ∞

54

CURSO DE DOCTORADO


UJI


El plano del infinito

∞

−

∞−

∞ =

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

⎥⎦

⎤⎢⎣

⎡

−==′ π

1000

1t0

ππA

AH

TT

A

El plano del infinito π∞ es un plano fijo bajo unatransformación proyectiva H sii H es una afinidad

1. Posición canónica2. Contiene direcciones 3. Dos planos son paralelos ⇔ linea de intersección en π∞4. linea // linea (o plano) ⇔ punto de intersección en π∞

( )T1,0,0,0π =∞( )T0,,,D 321 XXX=

55

CURSO DE DOCTORADO


UJI


Jerarquía de transformaciones

⎥⎦

⎤⎢⎣

⎡vTvtAProjectiva

15 g.l.

Afin12 g.l.

Semejanza7 g.l.

Euclídea6 g.l.

Intersección y tangencia

Paralelismo de planos,Razón de volúmenes, centroides,El plano del infinito π∞

La cónica absoluta Ω∞

Volumen

⎥⎦

⎤⎢⎣

⎡10tA

T

⎥⎦

⎤⎢⎣

⎡10tR

T

s

⎥⎦

⎤⎢⎣

⎡10tR

T

Invariantes


Mayo 2006


56

CURSO DE DOCTORADO


UJI


Estimación de Transformaciones

Calcular las relaciones geométricas a partirde correspondencias ej. 2D

• Estimación Lineal (normalizada), no-lineal y de Máxima Verosimilitud

• Robusta (RANSAC)

57

CURSO DE DOCTORADO


UJI


Tipos de errores a minimizar• Algebraico: El que aparece al minimzar las ecuaciones

de restricción directamente ( LINEAL)

Solución usando SVD

• Geométrico: El que aparece al minimizar las distancia geométrica de las proyecciones con los verdaderos valores ( NO LINEAL)

Error de reproyecciónSolución iterativa por Levenberg-Marquardt

1 con 00XX

1 con 00

1 con 00HH

ii =⇒=⇒=×⇒=

=⇒=⇒=′

=⇒=⇒=×′⇒=′

pApMinpAPxPx

fAfMinfAFxx

hAhMinhAxxxx

iii

iiT

i

iiiii

58

CURSO DE DOCTORADO


UJI


Error de reproyección

( ) ( )221- Hx,xxHx, ′+′ dd

( ) ( )22 x,xxx, ′′+ dd


Mayo 2006


59

CURSO DE DOCTORADO


UJI


Mínimos cuadrados No-lineales

• Newton iterativo• Levenberg-Marquardt • Levenberg-Marquardt disperso

(P)X f= (P)X argminP

f−

60

CURSO DE DOCTORADO


UJI


Iteración Newton

Aproximación Taylor

Δ+≈Δ+ J)(P )(P 00 ff PXJ

∂∂=

Jacobiano

)(PX 1f−

Δ−=Δ−−≈− JJ)(PX)(PX 001 eff

( ) 0T-1T

0TT JJJJJJ ee =Δ⇒=Δ⇒

Δ+=+ i1i PP ( ) 0T-1T JJJ e=Δ

( ) 01-T-11-T JJJ eΣΣ=Δ

Ec.normal

61

CURSO DE DOCTORADO


UJI


Levenberg-Marquardt

0TT JNJJ e=Δ=Δ

0TJN' e=Δ

Ecuaciones normales aumentadas

Ecuaciones normales

J)λdiag(JJJN' TT +=3

0 10λ −=10/λλ :exito 1 ii =+

ii λ10λ :fallo = resolver de nuevo

aceptar

λ pequeño ~ Newton (convergencia cuadrática)

λ grande ~ descendente (decrecimiento garantizado)


Mayo 2006


62

CURSO DE DOCTORADO


UJI


Levenberg-Marquardt

Requerimientos de la minimización• Función de error para calcular f• Valor de inicio P0

• Opcionalmente, una función para calcular J

63

CURSO DE DOCTORADO


UJI


Estimación de máxima verosimilitud: error en 1 imagen

• Coste óptimo relacionado con el modelo de ruido• Supongemos rudio Gaussiano isotrópico y de

media cero (no hay puntos aberrantes)

( ) ( ) ( )22 2/xx,2πσ2

1xPr σde−=

( ) ( ) ( )22i 2xH,x /

2i πσ2

1H|xPr σidei

′−Π=′

( ) ( ) ed i∑ +′−=′ constantxH,xH|xPrlog 2i2i σ2

1

Error en una imagen

Estimación de máxima verosimilitud( )∑ ′ 2

i xH,x id

64

CURSO DE DOCTORADO


UJI


Estimación de máxima verosimilitud: error en ambas imágenes

• Coste óptimo relacionado con el modelo de ruido• Supongemos rudio Gaussiano isotrópico y de

media cero (no hay puntos aberrantes)

( ) ( ) ( )22 2/xx,2πσ2

1xPr σde−=

( ) ( ) ( ) ( )22i

2i 2xH,xx,x /

2i πσ2

1H|xPrσ⎟

⎠⎞⎜

⎝⎛ +− ′Π=′ ii dd

ei

Error en ambas imágenes

Estimación de máxima verosimilitud

( ) ( )2i

2i x,xx,x ii dd ′′+∑


Mayo 2006


65

CURSO DE DOCTORADO


UJI


Estimación de máxima verosimilitud:observaciones dependientes

• Caso Gaussiano general Medida X con matriz de covarianza Σ

( ) ( )XXXXXX 1T2−Σ−=− −

Σ

22XXXX

Σ′Σ′−′+−

Error en ambas imágenes (independientes)

22XXXX

iiii

iii Σ′Σ

′−′+−∑Covarianza variable

66

CURSO DE DOCTORADO


UJI


Algoritmo DLT-homografía

ObjetivoDados n≥4 puntos en correspondencia 2D-2D xi↔xi’, determinar la matriz H de la homografía 2D tal quexi’=Hxi

Algoritmo(i) Para cada correspondencia xi ↔xi’ calcular un sistema

lineal en H a partir de xi’×Hxi=0. Normalmente usandosolo las dos primeras filas.

(ii) Juntar las n 2x9 matrices Ai en una única 2nx9 matriz A(iii) Obtener la SVD de A. La solución h es la columna de V

asociada al valor singular más pequeño.(iv) Obtener H desde h

67

CURSO DE DOCTORADO


UJI


Algoritmo estándar de oroObjetivo

Dadas n≥4 correspondencias de puntos 2D-2D xi↔xi’, determinar la Estimación de Máxima Verosimilitud de H(tambien implica calcular los óptimos xi’=Hxi)

Algoritmo(i) Initialización: calcular una estimación inicial usando

DLT normalizado o RANSAC. (ii) Minimización del - Error de Sampson:

Minimizar el error de Sampson Minimizar usando Levenberg-Marquardt sobre los 9

valores de ho Error estándar de oro: calcular la estimación inicial para xi óptimos minimizar sobre H,x1,x2,…,xn Si hay muchos puntos, usar “métodos dispersos”

( ) ( )2i

2i x,xx,x ii dd ′′+∑


Mayo 2006


68

CURSO DE DOCTORADO


UJI


Estimación Robusta

• ¿Que pasa si las correspondencias son erroneas?

69

CURSO DE DOCTORADO


UJI


RANSACObjetivo

Ajuste robusto de modelos a conjuntos de datos S que contienen puntos aberrates

Algoritmo(i) Seleccionar aleatoriamente una muestra de s datos de S

e instanciar el modelo desde este conjunto. (ii) Determinar el conjunto de puntos Si que estan dentro de

una distancia umbral t al model. El conjunto Si es el conjunto de consenso y define los “inliers” de S.

(iii) Si el conjunto de Si es mayor que un umbral T, re-estimarel modelo usando todos los datos Si and terminar.

(iv) Si el tamaño de Si es manor que T, seleccionar un nuevo conjunto y repetir lo anterior.

(v) Despues de N ensayos el mayor conjunto Si ha sidoseleccionado, y el modelo es re-estimado usando todoslos puntos de Si

71

CURSO DE DOCTORADO


UJI


Cálculo Automático de HObjetivo

calcular una homografía entre dos imágenesAlgoritmo(i) Puntos-Interés: Estimar puntos de interés en cada imagen(ii) Correspondencias putativas: Calcular un conjunto de

correspondencias usando alguna medida de similaridad.(iii) Estimación RANSAC : Repetir para N muestras

(a) Elegir 4 correspondencias y calcular H(b) Calcular la distancia d⊥ para cada pareja(c) Calcular el número de inliers consistentes con H (d⊥<t)Elegir la H con el máximo de inliers

(iv) Estimación óptima: re-estimar H por MV usando todos los inliers con Levenberg-Marquardt

(v) Matching guiado: Determinar más correspondencias usando predicción a través de la H calculada

Optionalmente iterar los dos últimos pasos hasta convergencia


Mayo 2006


72

CURSO DE DOCTORADO


UJI


Ejemplo: cálculo robusto

Puntos de interés(500/imagen)

Posiblescorrespondencias (268)

Outliers (117)

Inliers (151)

Inliers finales (262)

73

CURSO DE DOCTORADO


UJI

N. Pérez de la Blanca Geom. Epipolar

Cálculo matriz-F

Reconstrucción3D.

Geometría de dos vistas

75

CURSO DE DOCTORADO


UJI


Geometría epipolar

Matriz Fundamental Matriz Esencial

0xx' =FT ( ) 0x[t]'x =× RT

'PP,F → 'PP,E →


Mayo 2006


76

CURSO DE DOCTORADO


UJI


-1-T FHH'F x'H''x Hx,x =⇒==

F invariante a transformaciones 3D del espacio proyectivo

( )( ) XPXHPHPXx -1 ===

( )( ) X'PXHHP'XP'x' -1 ===

( ) FP'P, a

( )P'P,Faúnica

no única

Forma canónica

m]|[MP'0]|[IP

== [ ] MmF ×=

Transformación proyectiva e invariancia

77

CURSO DE DOCTORADO


UJI


Cálculo de la Geometría epipolar

(8 puntos) lineal (normalizada) :

(7 puntos) mínima:

EMV:

RANSAC… y emparejamiento automático de dos vistas

0xx' =FT

( ) 0λdet 21 =+ FF0)1,,,',',',',','( T =fyxyyyxyxyxxx

( ) ( ) 0x'x do verifican'x,x'x,x 2

i

2 =+∑ iiiiii dd FT

79

CURSO DE DOCTORADO


UJI


~ matriz fundam. para cámaras calibradas (K conocida)

[ ] ×× == t]R[RRtE T

0xE'x T =

FKK'E T=

( ) x'K'x x;Kx -1-1 ==

5 g.l. (3 para R; 2 para t salvo escala)

E es una matriz esencial si y solo si dos de susvalores singulares son iguales (y el tercero=0)

T0)VUdiag(1,1,E =

La matriz esencial


Mayo 2006


80

CURSO DE DOCTORADO


UJI


Dada P=[I|0] existen 4 posibilidades para P´.(solamente una solución tiene todos los puntos delante )

4 posibles cámaras a partir de E

81

CURSO DE DOCTORADO


UJI

N. Pérez de la Blancadados xi↔ xi

‘ , i=1,..,n, calcular P,P' y Xi tal que

Problema de reconstrucción:

iiiii XPx ,PXxi ′=′′= λλ para todo i

Sin información adicional este problema solo puede ser resuelto salvo una ambiguedad proyectiva

Reconstrucción de cámaras y estructura3D

82

CURSO DE DOCTORADO


UJI


xi↔x‘i

Escena original Xi

Reconstrucción proyectiva, afín, semejante= reconstrucción que es identica salvo una transformación proyectiva, afín, semejante

Literatura: Reconstrucción Métrica y Euclídea= reconstrucción semejante

Terminología


Mayo 2006


83

CURSO DE DOCTORADO


UJI


( )( )iii XHPHPXx S-1S==

λt]t'RR'|K[RR'λ0t'R'-R' t]|K[RPH TT

TT1-

S +−=⎥⎦⎤

⎢⎣⎡=

Ambigüedad de semejanza en la reconstrucción

84

CURSO DE DOCTORADO


UJI


( )( )iii XHPHPXx P-1

P==

Ambigüedad proyectiva en la reconstrucción

85

CURSO DE DOCTORADO


UJI


Si un conjunto de puntos en correspondencia en dos vistas determina la matriz fundamental de forma única, entonces la escena y las cámaras pueden ser reconstruidas desde estas correspondencias solamente, y dos reconstrucciones desde estas correspondencias son proyectivamente equivalentes

( )i111 X,'P,P ( )i222 X,'P,Pii xx ′↔-1

12 HPP = -112 HPP ′=′ 12 HXX = ( )0FxFx :excepto =′= ii

Resultado ya conocido

( ) iiiii 22111-1

112 XPxXPHXHPHXP ====

⇒ a lo largo del mismo rayo of P2, idem for P'2

Dos posibilidades: X2i=HX1i, o puntos a lo largo de la “baseline“Resultado clave: garantiza reconstrucción desde imágenes no calibradas

Teorema de reconstrucción proyectiva


Mayo 2006


86

CURSO DE DOCTORADO


UJI


(i) Calcular F de las correspondencias(ii) Calcular las matrices de las cámaras desde F(iii) Calcular los puntos 3D para cada par de

punto en correspondencia

Cálculo de FUsar el algoritmo de 8-puntos (linear), 7-puntos (non-linear)o 8+ (minimos-cuadrados)

Cálculo de las matrices de las cámarasusar ]λe'|ve'F][[e'P' 0]|[IP T+== ×

TriangulaciónCalcular la intersección de los dos rayos proyectados dedelos puntos

Pasos de la reconstrucción: 2 vistas

87

CURSO DE DOCTORADO


UJI


Reconstrucción de los puntos 3D

PXx = XP'x'=

88

CURSO DE DOCTORADO


UJI


Triangulación lineal

XP'x'=PXx =

0PXx =×

( ) ( )( ) ( )

( ) ( ) 0XpXp0XpXp0XpXp

1T2T

2T3T

1T3T

=−=−=−

yxyx

⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢

⎣

⎡

−−

−−

=⇒

2T3T

1T3T

2T3T

1T3T

p'p''p'p''pppp

A

yxyx

0AX =

Homogéneo

1X =

)1,,,( ZYX

No-homogeneo

invariante?

e)(HX)(AH-1 =

Error algebraico, sin restricciones (excepto en el afin)


Mayo 2006


89

CURSO DE DOCTORADO


UJI


Error geométrico

0xF'xa sujeto )'x,(x')x(x, T22 =+ dd

XP''x y XPxa sujeto ementeequivalent o ==

Es posible calcular usando LM (para 2 o más puntos)

o directamente (para 2 puntos)

90

CURSO DE DOCTORADO


UJI


Error geométrico

Reconstruir emparejamientos en ejes proyectivos minimizando el error de reproyección

( ) ( )222

211 XP,xXP,x dd +

(see Hartley&Sturm,CVIU´97)Solución optima no-iterativa

91

CURSO DE DOCTORADO


UJI


Solución óptima en el plano epipolar

Dado un plano epipolar, encontrar el mejor punto for (x1,x2)

x1

x2

l1 l2l1x1

x2l2

x1´x2´

Seleccionar los puntos mas cercanos (x1´,x2´) sobre las líneas epipolaresObtener el punto 3D a través de la triangulación exacta Garantizar mínimo error de reproyección (dado este plano epipolar)


Mayo 2006


92

CURSO DE DOCTORADO


UJI


Imprecisión de la reconstrucción

Considerar los angulos entre los rayos

93

CURSO DE DOCTORADO


UJI


Ejemplo

94

CURSO DE DOCTORADO


UJI


Pasos en la reconstrucción estratificada:

• Reconstrucción Projectiva

• π∞ ⇒ Reconstrucción Afín

• ω∞ ⇒ Reconstrucción Métrica

Reconstrucción estratificada


Mayo 2006


95

CURSO DE DOCTORADO


UJI


Recordemos el caso 2-D

De proyectiva a afín

96

CURSO DE DOCTORADO


UJI


( )iX,P'P,

( ) ( )TT 1,0,0,0,,,π aDCBA=∞

( )TT 1,0,0,0πH- =∞

⎥⎦⎤

⎢⎣⎡=

∞π0|I H (if D≠0)

El teorema dice salvo una transformación proyectiva, pero proyectiva con π∞ fijo es una transformation afín

Puede ser suficiente dependiendo de la aplicación, ej. Puntos medios, centroides, paralelismo

De proyectiva a afín: 3D

97

CURSO DE DOCTORADO


UJI


Cocientes de distancias en una líneaal igual que en el caso 2D el conocimiento del cociente de distancias permite determinar puntos del infinito

Reconstrucción afín de la escena

0X)'Pl( ,0X)P][v(

anulación de puntos 3T =′=

⇒

×

∞π


Mayo 2006


98

CURSO DE DOCTORADO


UJI


Reconstrucción cuasi-afín de la escena

• Cualquier reconstrucción proyectiva en la que todas las proyecciones de los puntos tienen igual signo es una “reconstrucción cuasi-afin”.

• Teorema: Cualquier reconstrucción proyectiva en que una de las cámaras es afín es una reconstrucción cuasi-afín

• Corolario:Sea una reconstrucción proyectiva a partir de un conjunto de correspondencias para las cuales P=[I|0]. Entonces puede obtenerse una reconstrucción cuasi-afín con solo intercambiar las últimas dos columnas de P y P’ y las últimas dos coordenadas de cada Xi

( )iX,P'P,

99

CURSO DE DOCTORADO


UJI


Reconstrucción métrica

• La cónica absoluta Ω∞ es la clave para la reconstrucción métrica

Supongamos que la imagen, ω, de la cónica absolutaes conocida en alguna vista, y que tenemos una reconstrucción afín cuya cámara correspondiente es P=[M|m]. Entonces la reconstrucción afín puede transformarse en métrica aplicando la transformación

Donde A se obtiene por factorización de Cholesky de laecuación AAT = (MT ωM)-1

⎥⎦

⎤⎢⎣

⎡=

−

1001A

H

100

CURSO DE DOCTORADO


UJI


La cónica absoluta

La cónica absoluta Ω∞ es una cónica fija bajo la transformación proyectiva H sii H es una semejanza

04

23

22

21 =

⎭⎬⎫++

XXXX

La cónica absoluta Ω∞ es una cónica (puntos) en π∞. En un referencial métrico:

( ) ( ) 0,,I,, 321321 =TXXXXXXo cónica de direcciones:(sin puntos reales)

1. Ω∞ es fija como un conjunto2. Circulos intersecan Ω∞ en dos puntos3. Esferas intersecan π∞ en Ω∞

π∞= (0,0,0,1)


Mayo 2006


101

CURSO DE DOCTORADO


UJI


La cónica absoluta(propiedades métricas)

( )( )( )2211

21

ddddddcos

TT

T

=θ

( )( )( )2211

21

ddddddcos

∞∞

∞

ΩΩΩ=

TT

T

θ

0dd 21 =Ω∞T

Euclídeo:

Projectivo:

(orthogonal=conjugado)

plano

normal

102

CURSO DE DOCTORADO


UJI


KRd0d]C~|KR[IPXx =⎟⎠⎞⎜

⎝⎛−== ∞

La aplicación de π∞ en una imagen está dada por la homografía x=Hd, with H=KR

Imagen de la cónica absoluta (IAC)

( ) 1-T-1T KKKKω == − ( )1TCHHC −−a

(i) IAC solo depende de los intrínsecos(ii) Ángulos entre rayos(iii) DIAC= ω* =KKT

(iv) ω ⇔ K (factorización de Cholesky)(v) Imagen de puntos circulares

( )( )2T

21T

1

2T

1

ωxxωxx

ωxxcos =θ

La imagen de la cónica absoluta

103

CURSO DE DOCTORADO


UJI


Ortogonalidad

0ωvv 2T1 =

ωvl =

Puntos de anulación correspondientes a direcciones ortogonales

Líneas de anulación correspondientes a planos y los puntos de anulación de sus direcciones normales

Parámetros internos conocidos-1-TKKω =

0ωω 2112 ==0=sPíxeles rectangulares

Píxeles cuadrados yx αα = 2211 ωω =

Restricciones sobre ω


Mayo 2006


104

CURSO DE DOCTORADO


UJI


ii HXXE =

Usar puntos de control XEi con coordenadas conocidasPara ir desde el proyectivo al métrico

Eii XPHx -1=(2 ecu. ind. en H-1 por vista, o 3 ecu. desde dos vistas)

Reconstrucción directa usando información de la escena

105

CURSO DE DOCTORADO


UJI


Reconstrucción desde líneas

⎥⎦⎤

⎢⎣⎡= P'l'

PlT

TL

No funciona para la geometría epipolar

106

CURSO DE DOCTORADO


UJI


Geometría de tres vistas

Lord Shiva, representación de 1920-40


Mayo 2006


107

CURSO DE DOCTORADO


UJI


La retroproyección de tres líneas deben cortarse en una líneaLa relación de incidencia nos da restricciones sobre línea

Calculemos las relaciones de incidencia………

El tensor trifocal

108

CURSO DE DOCTORADO


UJI


iii lll ′′↔′↔

0]|[IP = ]a|[AP' 4= ]b|[BP" 4=

⎟⎠⎞⎜

⎝⎛== 0

llPπ T ⎟⎠⎞

⎜⎝⎛== l'a

l'Al'P'π' T4

TT ⎟

⎠⎞

⎜⎝⎛== l"b

l"Bl"P"π" T4

TT

Notación

109

CURSO DE DOCTORADO


UJI

N. Pérez de la Blanca[ ] "lT,T,T'll 321

TT =

Trifocal Tensor = T1,T2,T3

( )"lT'l,"lT'l,"lT'l 3T

2T

1T=

Solo depende de las coordenadas imagen y es portanto independiente de las bases proyectivas 3D

[ ] "lT'll' TTi= [ ] 'lT"ll" TT

i=También y pero no hayuna relación simple.

La expresión general no es tan simple comoT

4T

4 babaT iii −=

G.L: T: 3x3x3=27 elementos, 26 salvo escalarelaciones de las 3 vistas: 11x3-15=18 g.l.

8(=26-18) restricciones algebraicas sobre T(comparar con 1 para F, i.e. rango-2)

El tensor trifocal


Mayo 2006


110

CURSO DE DOCTORADO


UJI


Homografías inducidas por un plano

111

CURSO DE DOCTORADO


UJI


Eliminar factor de escala:

(salvo escala)

Relación Línea-Línea-Línea

112

CURSO DE DOCTORADO


UJI


Relación Punto-Línea-Línea

Matriz 3x3


Mayo 2006


113

CURSO DE DOCTORADO


UJI


nota: válido para cualquier línea a través de x”,

x”T[x”]x =

Relación Punto-línea-punto

l)T()xl(Hx Ti

i

i13 ′=′=′′ ∑ x

114

CURSO DE DOCTORADO


UJI


nota: válido para cualquier línea a través de x’, ej. l’=[x’]xy’arbitrario

Relación Punto-punto-punto

115

CURSO DE DOCTORADO


UJI


Resumen de relaciones de incidencia


Mayo 2006


120

CURSO DE DOCTORADO


UJI


Transferencia epipolar

121

CURSO DE DOCTORADO


UJI


21FBuena elección para l” es e” (V3

Te”=0)

Extracción de F

122

CURSO DE DOCTORADO


UJI


?

ok, pero no

especificamente, (sin derivación)

Cálculo de P,P’,P’’

PP, PP, ′′′ y


Mayo 2006


123

CURSO DE DOCTORADO


UJI


Algoritmo de 6 puntos en 3 vistas

• Supongamos que tenemos 6 puntos imagen xi en correspondencia en 3 vistas. La idea principal es estimar las cámaras en cada vista de forma que 5 de los puntos Xi se proyecten de forma exacta en sus proyecciones xi . Entonces la minimización de cualquier error se concentra en el sexto punto, X6, que en primera estancia conduce a un problema de optimización de 3 parámetros.

• Entonces se verifica que que nos da una restricción sobre X6.

• El determinante puede expresarse como X6T(AT[x6]×B) X6=0 que define

una forma cuadrática X6TQX6=0, con matriz Q= (AT[x6]×B)sym . Además

los otros 5 puntos Xi verifican estar sobre la cuádrica, xiT [x6]×xi=0, i=1,..,5.

BAPpMPXx νμ +=⇒=⇒==× ×× 05,1 0 1121210,..iii

0666666 =⇒+= BXAXxBXAXx νλ

124

CURSO DE DOCTORADO


UJI


Algoritmo de 6 puntos en 3 vistas (cont.2)• Elegimos los 5 puntos Xi que definen la base canónica del espacio, lo que induce

• Si X6=(p,q,r,s)T es un punto sobre Q, la ecuación de la cuádrica X6TQX6=0, puede

escribirse en forma vectorial como

• La idea básica para resolver el problema es calcular primero el vector ℵ=(a,b,c,d,e) a partir de las restricciones dadas por cada Qi y luego calcular X6 a partir de ℵ.

54321

54

532

431

21

,

00

00

wwwww

wwwwwwww

ww

++++=Σ

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

Σ−

Σ−

=Q

( ) 0054321 =ℵ⇔=

⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜

⎝

⎛

−−−−−

TT

pqrsprqspsqrqsprrspq

wwwww w

125

CURSO DE DOCTORADO


UJI


Algoritmo de 6 puntos en 3 vistas (cont.3)• Hemos visto que cada vista nos da una restricción sobre X6 definida por una

cuádrica.En el caso de dos vistas dos cuádricas se cortan en una curva, por tanto tendremos una familia uni-paramétrica de soluciones.En el caso de tres vistas, las cuádricas se cortan en un número finito de puntos; 8 de acuerdo al teorema de Bezout. Tendremos 3 soluciones para X6

En el caso de más de 3 vistas, existirá una única solución salvo en casos degenerados

• En el caso de tres vistas, tendremos ℵ= α ℵ1+ β ℵ2,siendo ℵ1 y ℵ2 los dos generadores del espacio nulo de la matriz 3x5.

Calcular X6 como el espacio nulo derecho de la matrizpero debido al ruido hay que imponer restricciones

Imponer la restricción de que la solución ℵ debe estar sobre la cúbica en α y β definida por: todos los 4-determinantes = 0. Obtener 1 o 3 soluciones.(más detalles en Schaffalitzky et col-00)Calcular el espacio nulo a partir de cada una de las soluciones

⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

−−

−−−−

−−

cbdca

dabebcd

acebade

00000

000000

00


Mayo 2006


126

CURSO DE DOCTORADO


UJI





tomasSubmuestreo





características









GRÁFICO

Etapas del proceso

127

CURSO DE DOCTORADO


UJI


Geometría de múltiples vistas

Untitled, Asger Jorn, 1947

128

CURSO DE DOCTORADO


UJI


Cálculo con múltiples vistas

• Secuencial• Ajuste global• Factorización

OrtográficaPerspectiva


Mayo 2006


129

CURSO DE DOCTORADO


UJI


Estructura jerárquica y recuperación del movimiento

• Calcular reconstrucciones de 2-vistas• Calcular reconstrucciones de 3-vistas• Enlazar recontrucciones de 3-vistas • Mezclar y refinar la reconstrucción

FT

H

PM

130

CURSO DE DOCTORADO


UJI


Movimiento y estructura inicial

[ ][ ][ ]eeaFeP

0IPT

x +=

=

2

1

Geometría epipolar↔ Calibración proyectiva

012 =FmmT

compatible con F

Da cámaras proyectivas correctas(Faugeras´92,Hartley´92)

Obtiene la estructura usando triangulaciónMinimiza el error de reproyeccion Evita las medidas en el espacio proyectivo

131

CURSO DE DOCTORADO


UJI


Calcular Pi+1 usando una aproximación robustaEncontrar nuevas emparejamientos usando proyecciones de las estimacionesExtender, corregir y refinar la reconstrucción

MPm 1i1i ++ =

2D-2D

2D-3D 2D-3D

mimi+1

M

new view

Determinar posición en la estructura existente


Mayo 2006


132

CURSO DE DOCTORADO


UJI


Enlazando reconstrucciones de 3-vistas

Diferentes posibilidades1. Alinear (P2,P3) con (P’1,P’2) ( ) ( )-1

23-1

12H

HP',PHP',Pminarg AA dd +

2. Alinear X,X’ (y C C’) ( )∑j

jjAd HX',XminargH

3. Minimizar error reproy. ( )( )∑

∑+

jjj

jjj

d

d

x',HXP'

x,X'PHminarg 1-

H

4. EMV (mezclar) ( )∑j

jjd x,PXminargXP,

133

CURSO DE DOCTORADO


UJI


Colecciones de imágenes no-secuenciales

4.8im/pt64 images

3792

poi

nts

Problema: LasCaracteristicas se pierden y se reinizalizan como nuevas caracteristi-cas

Solución:Emparejar con otras vistas cercanas

134

CURSO DE DOCTORADO


UJI


Para cada vista iExtraer característicasCalcular geometría de dos vistas i-1/i y

emparejamientosCalcular posición usando algoritmos robustosRefinar la estructura existenteInicializar una nueva estructura

Relacionando mas vistas

Problema: Encontrar vistas cercanas en ejes proyectivos

Para cada vista iExtraer característicasCalcular geometría de dos vistas i-1/i y emparejamientosCalcular posición usando algoritmos robustosPara toda vista cercana k

Calcular geometría de dos vistas k/i y emparejamientosInferir nuevos 2D-3D parejas y añadirlas a la lista

Refinar posición usando todas las parejas 2D-3DRefinar la estructura existenteInicializar una nueva estructura


Mayo 2006


135

CURSO DE DOCTORADO


UJI


Determinando vistas cercanas

• Si los puntos de vista estan cercanosentonces muchos de los cambios de las imágenes pueden modelarse a través de homografia de planos

• Medida cualitativa de distancia se obtiene mirando el error residual de la mejorhomografía de planos posible.

Distance = ( )m´,mmedian min HD

136

CURSO DE DOCTORADO


UJI


9.8im/pt

4.8im/pt

64 images

64 images

3792

poi

nts

2170

poi

nts

Colecciones de imágenes no secuenciales (2)

137

CURSO DE DOCTORADO


UJI


Refinando estructura y movimiento

• Minimizar el error de reproyección

Estimacion de Máxima Verosimilitud(ruido gaussiano de media cero)

Problemas grandes pero pueden resolverse de forma eficiente (Bundle adjustment)

( )∑∑= =

m

k

n

iikD

ik 1 1

2

kiM,P

MP,mmin


Mayo 2006


138

CURSO DE DOCTORADO


UJI


Levenberg-Marquardt disperso

• Complejidad para resolverimposible en grandes problemas

(100 vistas 10,000 puntos ~30,000 incógnitas)

• Partir los parámetrospartición A (cámaraspartición B (puntos)

0T-1 JN' e=Δ3N

139

CURSO DE DOCTORADO


UJI


Ajuste disperso de rayos

U1

U2

U3

WT

W

V

P1 P2 P3 M

Jacobiano de tiene estructura dispersa

=J == JJN T

12xm 3xn(en general más grande)

im.pts. view 1

( )( )∑∑= =

m

k

n

iikD

1 1

2ki MP,m

necesario para minimizaciónno lineal

140

CURSO DE DOCTORADO


UJI


Ajuste disperso de rayos• Elimina dependencia de los parametros de

cámara de los parametros de estructuraEn general 3n >> 11m

WT V

U-WV-1WT

=×⎥⎦⎤

⎢⎣⎡ − −

NI0WVI 1

11xm 3xn

Permite cálculos mas eficientesej. 100 vistas,10000 puntos, resolver ±1000x1000, no ±30000x30000

Frecuente estructura de bandas diagonalesusar algoritmos de algebra lineal dispersa


Mayo 2006


141

CURSO DE DOCTORADO


UJI


Ejemplo-1Tres vistas de la reconstrucción

142

CURSO DE DOCTORADO


UJI


Ejemplo-2Tres vistas de la reconstrucción

143

CURSO DE DOCTORADO


UJI





tomasSubmuestreo





características









GRÁFICO

Etapas del proceso


Mayo 2006


144

CURSO DE DOCTORADO


UJI


Cheirality: QUARC

• Jerarquía de posibles reconstrucciones de acuerdo a su exigencia geométrica.

ProyectivoProyectivo

Cuasi-Afin respecto de cámaras y

puntos separadamente

Afin

Euclídeo

Cuasi-Afin respecto de las cámaras

145

CURSO DE DOCTORADO


UJI


Cheirality• En VxC se usa para describir el signo de la profundidad de un punto

del espacio respecto de una cámara. Cheirality + : punto situado delante de la cámaraCheirality - : punto situado detrás de la cámara

• Todos los puntos vistos por una cámara deben tener profundidad positiva.

• Las condiciones de cheirality nos permiten obtener transformaciones H cuasi-afines respecto de un conjunto dado. Es decir, transformaciones que aplicadas sobre dicho conjunto preservan su envolvente convexa.

• Para pasar de reconstrucción proyectiva a reconstrucción métrica es posible elegir una transformáción inicial H cuasi-afín sobre los puntos y/o centros-cámaras para despues optimizar en los parámetros de calibración de las cámaras (Hartley-1999, Nister-2000).

( ) ))()()((det );Chr(

mT

)M(det signP);depth(

3

T4

T41-

3

⎟⎟⎠

⎞⎜⎜⎝

⎛=

=

PXPChXhHPHHX

X

sign

w

146

CURSO DE DOCTORADO


UJI


Cheirality: Resultados básicos• Resultado-1: Una transformación afín preserva cheirality con

respecto a una cámara si y solo si tiene determinante positivo

• Resultado-2: Sea H una T.P. con det(H)>0 que aplica el plano π∞al infinito. La cheirality de un punto X con respecto a una cámara Pes preservada por H si y solo si X cae en el mismo lado respecto de π∞ que el centro de proyección de P.

• Resultado-3: Sea X un punto observado en una reconstrucción proyectiva por un par de cámaras. La reconstrucción es cuasi-afin respecto del par de cámaras si y solo si X tiene la misma cheirality con respecto a ambas cámaras.

• Consecuencias: En el caso de dos cámaras o la reconstrucción encontrada es QUARC o el plano del infinito corta a la línea de base entre ambas cámaras. En el segundo caso siempre puede aplicarse una transformación que convierte la reconstrucción en QUARC.


Mayo 2006


147

CURSO DE DOCTORADO


UJI


Condiciones para QUARC• Sea C(P(n)) el centro de la cámara n-ésima

• Supongamos que tenemos n-cámaras de una reconstrucción proyectiva, P1,...,Pn

-Desde n=2 hasta N

Multiplicar la matriz de la cámara P(n) con el valor

(la suma es sobre todos los puntos vistos por ambas cámaras)

( )3 selección de la tercera componente del vector.

( ) ( )[ ]⎟⎠

⎞⎜⎝

⎛ −+∑b

bnbnsignsign 3321 )()1()()( XPXP

Nn 1,...,n 0))((pT =≥∞ PC

Los 4-vectores de los centros de las cámaras calculadas están en una mitad de R4

por lo que puede suponerse que el signo del producto escalar con el vector p∞ del plano de infinito será el mismo. Asumimos,

148

CURSO DE DOCTORADO


UJI


Condiciones para QUARC

41 1)(1

1 0 ))((

))((

,...i

,...,Nnn

n

i

T

T

=≤≤−

=≥−

∞

∞

p

PCpPC δ

Para una reconstrucción proyectiva razonable el vector del plano del infinito deberá cumplir las siguientes restricciones, con el mayor valor de δ posible

La búsqueda del p∞ que verifica estas condiciones es un problema de programción lineal (simplex).

La transformación H que produce la reconstrucción QUARC es

⎥⎦

⎤⎢⎣

⎡=

∞Tp

AH1

A es 3x4 con ceros en la columna de mayor valor de pT

∞ y la matriz unidad en el resto de las columnas.

Otras transformaciones auxiliares pueden ser tenidas en cuenta para tratar de acercarnos aun más a la represenatcióinn euclídea de la escena

)1,1,1,1( ,1 32 −=⎥⎦

⎤⎢⎣

⎡= diagref H0P

H

149

CURSO DE DOCTORADO


UJI





tomasSubmuestreo





características









GRÁFICO

Etapas del proceso


Mayo 2006


150

CURSO DE DOCTORADO


UJI


Autocalibración

151

CURSO DE DOCTORADO


UJI


Motivación

• Permitir una adquisición flexibleSin necesidad de calibración previaPosibilidad de cambiar los intrínsecosUso de archivos de imágenes

152

CURSO DE DOCTORADO


UJI


Autocalibración:Planteamiento

• Una reconstrucción proyectiva Pj,Xj,en la cual P1=[ I|0] puede transformarse a una reconstrucción métrica PjH-1,HXj, siendo H una homografía de la forma

siendo K una matriz triangular superior. Además:siendo K una matriz triangular superior. Además:i.i. K=KK=K11 es la matriz de calibración de la primera es la matriz de calibración de la primera

cámaracámaraii.ii. Las coordenadas del plano del infinito en la Las coordenadas del plano del infinito en la

reconstrucción proyectiva estan dadas porreconstrucción proyectiva estan dadas porππ∞∞ ==(p(pTT,1),1)TT

⎟⎟⎠

⎞⎜⎜⎝

⎛−

=10

KpK

TH


Mayo 2006


153

CURSO DE DOCTORADO


UJI


Mínimo número de imágenes

• Para pasar de proyectivo (15GL) a métrico (7GL) se necesitan al menos 8 restricciones

• La longitud de la secuencia mínima debe satisfacer

• Independiente de algoritmos• Supone movimiento general (i.e. no crítico)

( ) ( ) ( ) 8#1# ≥×−+× fijosnconocidosn

154

CURSO DE DOCTORADO


UJI


Optimización de la Calibración• Ahora el objetivo es encontrar los valores de los parámetros de calibración de la

cámara que definen la transformación H4 más probable que verifique las condiciones de cheirality y sea compatible con nuestro conocimiento de la calibración de las cámaras ( Nister-2000).

[ ] ⎥⎦

⎤⎢⎣

⎡=−≅ −−

1 , T

ref14

14 v

0KHtIKRPH

Para la optimización se puede adoptar la siguiente parametrización:

100

)1(0)1(

1000 2

2

54

321

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡−

+=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡= fyf

fxfsfkkkkk

a

a

K[ ] [ ]Tkk

T kkkkkyxas

kkf

534122

41

41

2−==

+=

+γ

Una distribución Gaussiana a priori sobre γ se define por la matriz de covarianza Cγγ=diag(s1

2,s22,s3

2,s32). Encontrar la estimación de M.V. es equivalente a minimizar la

distancia de Mahalanobios

))()(()(4 25

23

23

241

22

22

21

21 kkkkkkk −+−++= −−−−− σσσγγ γCγT

Sumada sobre todas las cámaras.

170

CURSO DE DOCTORADO


UJI





tomasSubmuestreo





características









GRÁFICO

Etapas del proceso


Mayo 2006


171

CURSO DE DOCTORADO


UJI


Refinamiento métrico

• Ajuste métrico de rayos( )( )

C]IKR[

M,mminarg2

1 1M,R,K

−=

∑∑= =

P

Pm

k

n

iikkiD

ikk

Impone restricciones o valores sobre losintrínsecos durante la minimización

172

CURSO DE DOCTORADO


UJI


Ejemplo

Reconstrucción proyectiva

Reconstrucción métrica: autocalibración

Reconstrucción métrica: ajuste de rayos

173

CURSO DE DOCTORADO


UJI


Ejemplos: reconstrucción euclidea

Secuencia estatua Secuencia Contenedor parte-1

Secuencia Contenedor parte-2


Mayo 2006


174

CURSO DE DOCTORADO


UJI


Ejemplo-1: Resultado final

175

CURSO DE DOCTORADO


UJI


Vistas de la reconstrucción con textura

176

CURSO DE DOCTORADO


UJI


Ejemplo de Reconstrucción


Mayo 2006


193

CURSO DE DOCTORADO


UJI


¿Que queda?

• Mucho más sobre N-linealidades• Escenas dinámicas• Autocalibración• Técnicas de ajuste global (Bundle)• Dualidad• Cheirality• Configuraciones críticas• ........

194

CURSO DE DOCTORADO


UJI


Referencias Básicas

Multiple View Geometry in Computer Visionby Richard Hartley and Andrew ZissermanCambridge University Press- 2nd Edition

The Geometry from Multiple Imagesby Olivier Faugeras and Quan-Tuan LuongMIT Press

195

CURSO DE DOCTORADO


UJI


Otras referencias• D.Lowe, Distintive Image features from Scale-Invariant keypoints

Internat. Journ. Computer Vision, 2004• D.Nister, Automatic Dense Reconstruction from Uncalibrated

Video Sequences, PhD, KTH, 2001.• F.Schaffaliztky, A.Zisserman, R.Hartley and P.Torr, A six point

solution for structure and motion, ECCV, 2000.

Documents

Técnicas Avanzadas de Visión por Mayo 2006 Computador. UJI · - El movimiento entre frames de la secuencia esta dado por λ x 1=H 2 - La secuencia se trocea en tomas de forma automática