Upload
vuongkhue
View
214
Download
0
Embed Size (px)
Citation preview
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/1
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
ROBOTICA MOBILE
Sensori
Basilio BonaDAUIN – Politecnico di Torino
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/2
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori per la Robotica
Sensori propriocettivi (PC)– Misurano grandezze “proprie” cioè relative allo stato interno del
robot: es. velocità delle ruote, coppie motrici, carica delle batterie, accelerazione, assetto, ecc.
Sensori eterocettivi (EC)– Misurano grandezze esterne al robot, cioè proprie dell’ambiente in
cui il robot opera: ed. distanze da muri, campo magnetico, posizione di oggetti, ecc.
Sensori passivi (SP)– Per effettuare le misurazioni utilizzano l’energia fornita
dall’ambiente (non confondere con l’energia necessaria per essere alimentati)
Sensori attivi (SA)– Utilizzano la propria energia, ma in questo modo possono
modificare l’ambiente
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/3
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori per la Robotica
Sensori analogiciSensori digitaliSensori continuiSensori binari ON/OFF
Sensori analogici ON/OFF, sensori digitali continui, sensori analogici continui, sensori digitali ON/OFF
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/4
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori
Telecamera 360o
Telecamera convenzionale (pan-tilt=brandeggiabile)
Sonar
Laser Scanner
IMU=Inertial Measurement Unit
Encoder alle ruote motrici
Bumpers=contatto
Ruota passiva
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/5
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori
EC – SP/AInclinometri
EC – SAGuide (Beacons) ottiche o RF
EC – SAGPS (solo per outdoor)
Sensori di posizione cartesiana rispetto a un riferimento fisso EC – SAGuide a ultrasuoni
EC – SAGuide a riflessione
Sensori di orientamento rispetto a un riferimento fisso
Sensori alle ruote motrici
Sensori tattili o di “vicinanza”
Categoria
PC - SPGiroscopi
EC - SPBussole e girobussole
PC - SAEncoder ottici, magnetici, effetto Hall, induttivi, capacitivi, syncro e resolver
PC - SPEncoder potenziometrici
EC - SASensori di distanza (induttivi/capacitivi)
EC - SASensori di prossimità(induttivi/capacitivi)
EC - SPSensori di contatto (on/off)
TipoSensore
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/6
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori
EC - SALuce strutturata (2D)
EC - SATriangolazione ottica (1D)
EC - SASoluzioni integrate (package) per object tracking
Sensori di visione: distanza, analisi features, segmentazione, object recognition
Sensori di velocità relativa a oggetti fissi o mobili
Sensori attivi di distanza (active ranging)
Categoria
EC - SASoluzioni integrate (package) per visual ranging
EC - SA(Tele)-camere CCD o CMOS
EC - SASuono doppler
EC - SARadar doppler
EC - SALaser range finders (Laser scanners)
EC - SASensori a ultrasuoni
EC - SASensori a riflessione
TipoSensore
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/7
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Caratteristiche di un sensore
Trasduttore = Sensore (per semplificare le definizioni)RisoluzioneRipetibilitàPrecisione/AccuratezzaIsteresiCoefficiente di temperaturaLinearità– Funzione di Trasferimento– Range dinamico– Ampiezza di banda
Rumore e disturbi: rapporto segnale/rumore
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/8
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Caratteristiche di un sensore
Problematiche legate al rumore/errore/disturbo: modellazione con segnali stocastici
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/9
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Rumore
Shot noiseRumore termicoFlicker noiseBurst noiseAvalanche noise
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/10
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Shot noise
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/11
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Rumore termico
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/12
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Flicker noise
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/13
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Flicker noise
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/14
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Burst e Avalanche noise
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/15
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Colore dei rumori
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/16
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Noise Floor – Rumore di fondo
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/17
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Le sfide della robotica mobile
Obbiettivo: percepire, analizzare e interpretare lo stato dell’ambiente intorno al robotLe misure cambiano (sono relative a oggetti che hanno una loro dinamica) e sono fortemente affette da errore/rumoreEsempi:– Variabilità dell’illuminazione– Riflessioni– Superfici diversamente assorbenti/riflettenti suono e luce– Sensitività della misura alla posa e all’ambiente
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/18
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Le sfide della robotica mobile
Comportamento dei segnali dei sensori modellato da una distribuzione statistica– Si conosce poco o nulla delle cause degli errori random– Si usa spesso una distribuzione gaussiana o simmetrica, ma ciò
può essere molto sbagliato
Esempio:– I sensori a ultrasuoni (sonar) possono sovrastimare la distanza e
quindi non hanno una distribuzione simmetrica dell’errore– Bisogna considerare diverse situazioni: quando il segnale ritorna
direttamente o quando ritorna dopo riflessioni multiple– La visione stereo può correlare due immagini in modo scorretto e
generare risultati senza senso
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/19
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Questi punti vanno correlati: come cercarli nelle due immagini?
Correlazione immagini stereo
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/20
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Encoder
Misurano la posizione o la velocità dei vari motori presenti sul robotLe misure vengono integrate per generare una stima della posizione (odometria)Forniscono misure (imprecise) rispetto al riferimento locale (propriocettori)
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/21
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Encoder
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/22
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori di orientamento (Heading)
Possono esser PC (giroscopi, inclinometri) o EC (bussole) o misti (girobussole)Permettono di misurare l’angolo sia orizzontale sia verticale rispetto a una direzione di riferimentoCongiuntamente a misure di velocità, permettono di integrare il moto, per stimare una posizione Questa procedura si chiama dead reckoning ed è propria della navigazione marittima
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/23
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Bussole
Strumento conosciuto fin dall’antichitàDipende dal campo magnetico terrestre (misura assoluta)Metodi: meccanico, effetto Hall, effetto magnetostrittivoLimiti– Debolezza del campo magnetico terrestre– Facilmente disturbato dalla presenza di oggetti metallici nei
dintorni– Poco adatto per navigazione indoor
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/24
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Giroscopi
Misura assoluta, in quanto mantengono l’orientamento iniziale rispetto ad un sistema di riferimento fissoSono meccanici oppure otticiMeccanici– Standard (assoluti)– Rated (differenziali)
Ottici– Rated (differenziali)
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/25
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Concetto: proprietà inerziali di un rotore che ruota velocemente: fenomeno della precessioneIl momento angolare mantiene l’asse della ruota stabileNessuna coppia è trasmessa dal supporto esterno all’asse della ruotaLa coppia di reazione è proporzionale alla velocità di rotazione, all’inerzia e alla velocità di precessione
Giroscopi meccanici
τ ΓωΩ=
Se l’asse di rotazione viene allineato lungo il meridiano N-S, la rotazione della Terra non influisce sulla misuraSe viene puntato lungo la direzione E-O, l’asse orizzontale misura la rotazione della Terra
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/26
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Gimbal=giunto cardanico
Giroscopi meccanici
Asse di rotazione
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/27
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Giroscopi differenziali
Stesso concetto costruttivo, ma i giunti cardanici sono vincolati da una molla a torsione.– Si misura una velocità angolare invece di un angolo
Altri giroscopi usano l’effetto delle forze di Coriolis per misurare le variazioni di assetto (ad es. Analog Device ADXRS150 e ADXRS300)
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/28
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Giroscopi ottici
Utilizzano due raggi laser o monocromatici originati dalla stessa sorgente e “iniettati” in una fibra ottica avvolta intorno a un cilindroUno gira in un senso, l’altro in senso oppostoIl raggio che gira nella direzione di rotazione– Percorre un cammino più corto, mostra una frequenza maggiore– La differenza di frequenza tra i due raggi è proporzionale alla
velocità angolare del cilindro
Sono sensori a stato solido che possono facilmente essere integrati direttamente su silicio insieme all’elettronica
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/29
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Beacon
Sono degli apparati di guida con una posizione assoluta nota. Si chiamano anche landmarks e possono essere naturali o artificiali– Conosciuti e usati fin dall’antichità: sole montagne, campanili,
fari
Insostituibili per interni, dove il GPS è inefficaceCostosi, richiedono interventi sull’ambienteNon facilmente adattabili a variazioni dell’ambiente
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/30
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
GPS
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/31
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori di distanza
Detti anche range sensors, misurano distanze “grandi”Utilizzano il “tempo di volo” (time-of-flight)Si adoperano sensori a ultrasuoni o laser che utilizzano la conoscenza della velocità del suono o della luce per ricavare la distanza
d ct=
Distanza (andata e ritorno)
Tempo impiegatoVelocità dell’onda
(sonora/elettromagnetica)
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/32
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori di distanza
Velocità di propagazione del suono 0.3 m/msVelocità di propagazione della luce (nel vuoto) 0.3 m/nsRapporto 106
3 m– 10 ms per il suono– solo 10 ns per un sensore laser– difficile da misurare– sensori laser costosi e delicati
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/33
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori di distanza
La qualità delle misure dipende da– Incertezze sul tempo di arrivo del segnale riflesso (laser e sonar)– Incertezze sul tempo di volo (laser)– Angolo di apertura della trasmissione (sonar)– Interazioni (assorbimento ecc.) con la superficie– Variazione della velocità di propogazione– Eventuale velocità del robot o dell’oggetto
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/34
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori a ultrasuoni
Viene generato e trasmesso un pacchetto di onde sonore (di pressione) il cosiddetto chirpLa distanza dall’oggetto che riflette il pacchetto è semplicemente
2ct
d =
La velocità del suono nell’aria è data da
rapporto calore specificocostante del gastemperatura in gradi Kelvin
c RTcRT
γ====
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/35
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensore a ultrasuoni
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/36
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori a ultrasuoni
Frequenze usate 40-200 kHzGenerate da un sorgente piezoelettricaTrasmettitore e ricevitore possono essere separati o noIl suono di propaga in un cono– Angoli di apertura 20-40 gradi
Distribuzione spazialedell’intensità
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/37
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori laser
Raggio trasmesso e ricevuto coassialiRaggio collimato che illumina il bersaglioIl ricevitore misura il tempo di volo (andata e ritorno)Ci può essere un meccanismo per variare alzo e angolo (misure 2D o 3D)
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/38
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori laser
Laser pulsati: si misura direttamente il tempo (dell’ordine dei picosecondi)Frequenza di battimento tra una modulante e l’onda riflessaRitardo di fase– È più facile da realizzare tecnicamente dei due precedenti metodi
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/39
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori laser
velocità della lucefrequenza della modulantedistanza totale percorsa
MHz m
22
5 60
cD L D L
f
cfD
f
θλ λ
π
λ
′= = + = +
==′ =
= =
La confidenza nella stima della fase (e quindi della distanza) è inversamente proporzionale al quadrato dell’ampiezza del segnale ricevuto
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/40
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori laser
Immagine tipica da un laser scanner con specchio rotante.La lunghezza dei segmenti intorno ai punti di misura indica l’incertezza
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/41
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Triangolazione
Si proiettano raggi di luce o pattern bidimensionali (light sheets)La luce riflessa è catturata da un sensore lineare o a matriceSi usano semplici relazioni trigonometriche
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/42
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Triangolazione
LD f
x=
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/43
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Luce strutturata
tanH D α=
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/44
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Luce strutturata
Elimina il problema di trovare le corrispondenze proiettando un pattern noto sulla scenaI pattern sono rilevati e interpretati da una videocameraLa distanza da un punto illuminato può essere calcolata utilizzando semplici relazioni geometriche
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/45
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Luce strutturata
Schema di principio monodimensionale
cot
cot
bux
f u
bfzf u
α
α
=−
=−
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/46
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Visione
Per gli esseri umani la vista (visione) è il senso piùimportante. La visione comprende tre fasi – Ricezione/trasduzione mediante l’occhio– Trasmissione mediante i nervi ottici– Elaborazione nei centri della visione del cervello
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/47
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Visione naturale
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/48
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Visione naturale
La risonanza magnetica dinamicarivela le aree del cervello
interessate ai fenomeni neurali associati alla visione
chiasma ottico
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/49
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Visione artificiale
Telecamera (o videocamera o camera)Frame grabberCPU
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/50
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Linee parallele Linee convergenti
Visione artificiale
Proiezione da mondo 3D su un piano 2D: effetti di prospettiva e proiezione (matrici di trasformazione)Effetti della discretizzazione dovuta ai pixel del trasduttore (CCD o CMOS)Effetti di errore di disallineamento
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/51
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
asse ottico
piano immagine principalepiano focale
piano immagine riflesso
Visione artificiale
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/52
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Visione artificiale
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/53
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Riscalamento Correzioneottica
Visione artificiale
Applicazione di numerose trasformazioni rigide e prospettiche
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/54
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
y
x
x
y
Visione artificiale
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/55
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
f
P′
P′′
P
cCiC
ck
ci
cz
−f
cx
′ix
πrπ
A
Visione artificiale
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/56
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Visione artificiale
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/57
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Visione artificiale
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/58
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Visione artificiale
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/59
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori di visione
Sensori di distanza– profondità dal fuoco (depth from focus)– visione stereo
Moto e flusso otticoSensori di colore
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/60
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori di visione
Profondità dal fuoco (depth from focus)
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/61
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Sensori di visione
Messa a fuoco vicina Messa a fuoco lontana
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/62
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Vision in General
Vision provides us with a large amount of information about the environment and enables us to interact intelligently with it, without direct physical contact
It is therefore not surprising that an large amount of effort has occurred to give machines a sense of vision
Vision is also our most complicated sense. Whilst we can reconstruct views with high resolution on photographic paper, the next step of understanding how the brain processes the information from our eyes is still in its infancy
Vision
Vision is the most important sense
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/63
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Vision
An image is the projection of a 3 dimensional scene onto a 2 dimensional plane.
In order to recover some information from the image, edge detectors are usually used to find the contours of the objects.
Algorithms use the edges to provide the necessary information required to reconstruct the 3-D scene.
Even in simple situations, the edge fragments are not perfect, and careful processing is required to recover a clean line drawing representing the complete outline of objects.
Therefore the interpretation of 3-D scenes from 2-D images is not a trivial task.
Using stereo imaging or triangulation methods, vision can become a powerful tool for environment analysis.
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/64
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Vision-based Sensors: Hardware
CCD (Coupled Charge Device, light-sensitive, discharging capacitors of 5 to 25 micron)
2048 x 2048 CCD array
CMOS (Complementary Metal Oxide Semiconductor technology)
Vision-based Sensors: Hardware
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/65
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Rescaling
Opticalcorrection
Artificial Vision Geometry
Several geometrical (rotations & translations) and perspective transformations are necessary to recover the relation between pixel image and 3D object
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/66
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
( )
( )
/ 2 / 2,
/ 2
/ 2
r
r
r
r
r
r
r
x xx b x bf z f zx x bf zx x
x bx xy y
y by yf
z bx x
+ −= =
−=
+=
−+
=−
=−
Idealized camera geometry for stereo visionDisparity between two images → Depth computation
Geometric optical principles
left lens right lensx
z
( ),r rx y( ),x y
( ), ,x y z
f
bbaseline
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/67
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Distance is inversely proportional to disparity
closer objects can be measured more accurately
Disparity is proportional to b.
For a given disparity error, the accuracy of the depth estimate increases with increasing baseline b.
However, as b is increased, some objects may appear in one camera, but not in the other.
A point visible from both cameras produces a conjugate conjugate pairpair
Conjugate pairs lie on epipolar line (parallel to the x-axis for the arrangement in the figure above)
Stereo Vision
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/68
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
These two points are corresponding: how do you find them in the two images?
Stereo points correspondence
LEFT RIGHT
Disparity
rightleft
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/69
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Epipolar lines
epipolar lines
corresponding points lie on the epipolar lines
these two points are knownand fixed
cameracenterpoint camera
centerpoint
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/70
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Stereo Vision
Stereo Vision
Calculation of Depth
– The key problem in stereo is how to solve the correspondence problem
Gray-Level Matching
– match gray-level waveforms on corresponding epipolar lines
– “brightness” = image irradiance I(x,y)
– zero-crossing of Laplacian of Gaussian is a widely used approach for identifying feature in the left and right image
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/71
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Stereo Vision
Zero crossing of Laplacian of Gaussian
Identification of features that are stable and match well
Laplacian of intensity image
Step/edge detection of noisy image: filter through gaussian smoothing
2 2
2 2( , ) ;
I IL x y L P I
x y∂ ∂
= + = ⊗∂ ∂
0 1 0
1 4 1
0 1 0
P
⎡ ⎤⎢ ⎥⎢ ⎥= −⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦
1 2 112 4 2
161 2 1
G
⎡ ⎤⎢ ⎥⎢ ⎥= ⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦
Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/72
RO
BO
TIC
A –
01
CFI
DV
02
CFI
CY
Stereo Vision
L R
VERTICAL FILTERED IMAGES
Confidence image Depth image