Govorne in slikovne tehnologije

GOVORNE IN SLIKOVNE TEHNOLOGIJEPodročja uporabe

Prof. dr. France Mihelič

prosojnice pripravila: as.dr. Vitomir Štruc, prof.dr.France Mihelič

VSEBINA Področja uporabe

Šivanje slik SIFT SURF

Detekcija objektov Viola-Jones Drugi detektorji

Vir slik: http://www.vrmag.org/issue28/ADVANCED_PANORAMIC_STITCHING_-_A_REASONED_APPROACH.html, http://people.kyb.tuebingen.mpg.de/kienzle/fdlib/fdlib.htm

http://www.vrmag.org/issue28/ADVANCED_PANORAMIC_STITCHING_-_A_REASONED_APPROACH.html

http://www.vrmag.org/issue28/ADVANCED_PANORAMIC_STITCHING_-_A_REASONED_APPROACH.html

http://people.kyb.tuebingen.mpg.de/kienzle/fdlib/fdlib.htm

PODROČJA UPORABE Primeri, ki si jih bomo ogledali:

Šivanje slik (Laboratorijska vaja 2)

Detekcija objektov

Razpoznavanje objektov

Segmentacija

Janez

ŠIVANJE SLIK S postopkom šivanja slik (angl. image

stitching) želimo sestaviti večjo sliko (mozaik) iz množice manjših slik iste scene

Vir slik: http://graphics.cs.cmu.edu/courses/15-463/2005_fall/www/463.html

http://graphics.cs.cmu.edu/courses/15-463/2005_fall/www/463.html

ŠIVANJE SLIK Omogoča prikaz večjega področja določene scene Primeri:

Komercialne kamere, vidno polje = 50 x 35°




Komercialne kamere, vidno polje = 50 x 35° Človeško vidno polje = 200x135°




Komercialne kamere, vidno polje = 50 x 35° Človeško vidno polje = 200 x 135° Mozaik = 360 x 180°



ŠIVANJE SLIK Osnovni pristop

Zajemi slike določene scene z istega položaja Izračunaj transformacijo med drugo in prvo sliko tako, da

enaki objekti na obeh slikah sovpadajo Preslikaj drugi sliko z izračunano transformacijo

(poravnava) Združi obe sliki v skupni mozaik Ponovi, dokler ne uporabiš vseh slik


Ravnina mozaikaRavnina zajema slike


ŠIVANJE SLIK Pri sestavljanju mozaika posamezne slike

preslikamo na skupno ravnino Mozaik tvorimo na tej ravnini Mozaik „predstavlja“ sintetično široko-kotno kamero


Projekcijska ravnina


ŠIVANJE SLIK Zahteva samodejne algoritme za:

Iskanje ujemanja objektov na parih slik, npr. Z lokalnimi deskriptorji

SIFT (angl. Scale Invariant Feature Transform) SURF (angl. Speeded Up Robust Feature)

Izračun transformacijske matrike RANSAC





ŠIVANJE SLIK Iskanje ujemanja objektov na parih slik Postopek:

Detektiraj značilne točke slike v vsaki od slik Poišči ujemajoče pare

Problem 1: Kako poiskati enake značilne točke v vsaki od slik?

Potrebujemo učinkovit in ponovljiv postopek detekcije značilnih točk slike

Vir slik: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

Ujemanja ni

http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

ŠIVANJE SLIK Problem 2:

Kako poiskati ujemanje med detektiranimi značilnimi točkami slik?

Potrebujemo zanesljiv in diskriminatoren opis detektirane značilne točke (deskriptor, vektor značilk,

…)Vir slik: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

?


ŠIVANJE SLIK Lokalni deskriptorji - osnove

Problem iskanja ujemanja pogosto rešujemo s pomočjo lokalnih deskriptorjev (SIFT, SURF, …)

Postopki za izračun lokalnih deskriptorjev obsegajo postopke za:

Detekcijo značilnih točk v slikah (angl. key point detector) Izračun dejanskega deskriptorja (vektorja značilk) Določitev ujemanja med pari deskriptorjev

Lokalni deskriptorji se uporabljajo za: Poravnavo slik 3D rekonstrukcijo Sledenje objektov v videu Razpoznavanje objektov Navigacijo robotov …

Vir slik: http://adrian-primeproject2011.blogspot.com/2011_07_01_archive.html

http://adrian-primeproject2011.blogspot.com/2011_07_01_archive.html

ŠIVANJE SLIK Lokalni deskriptorji - SIFT

SIFT1 (angl. Scale Invariant Feature Trasform) deskriptorji spadajo med pogosteje uporabljene lokalne deskriptorje, ki se uporabljajo za določanje ujemanja objektov slik

SIFT deskriptorji so invariantni na različne spremembe v sliki, npr.: Translacijo, Rotacijo, Velikost, Perspektivo (delno), …

SIFT zaščiten s patentom SIFT v praksi: v digitalnih fotoaparatih pri sestavljanju

panoramskih slik V primerjavi z drugimi lokalnimi deskriptorji so SIFTi pogosto

učinovitejši (večja diskriminatornost, boljša ponovljivost, …)

1David Lowe (1999): "Object recognition from local scale-invariant features" Vir slik: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

http://doi.ieeecs.org/10.1109/ICCV.1999.790410



Postopek izračuna: Detekcija značilnih točk slike

Iskanje ekstremov v prostoru ločljivosti Lokalizacija značilnih točk

Določitev orientacije značilne točke Izračun deskriptorja

Vir slik: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm



Detekcija značilnih točk slike Postopek detekcije značilnih točk mora na sliki poiskati enake

značilne točke ne glede na velikost objektov na sliki Poiskati moramo torej značilno ločljivost oz. velikost okolice

značilne točke

Vir slik: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt, www.cs.cmu.edu/~efros/courses/.../0319.SIFT.ppt

Ilustrativno

Realni primer

Značilne točke slike


Detekcija značilnih točk slike Detekcija značilnih točk postopka SIFT zato išče ekstreme v

prostoru ločljivosti (velikosti) – angl. scale-space

Vir slik: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt

PrimerGaussovega prostora ločljivosti (velikosti)

𝐿𝑖 (𝑥 , 𝑦 ,𝜎 𝑖 )=𝐺𝑖 (𝑥 , 𝑦 ,𝜎 𝑖)∗ 𝐼 (𝑥 , 𝑦 )

𝐺𝑖 (𝑥 , 𝑦 ,𝜎 𝑖 )=1

2𝜋 𝜎 𝑖2 𝑒

−(𝑥2+𝑦 2)/2𝜎𝑖2

G1

G5, za s korakom 0.6


Detekcija značilnih točk slike Za detekcijo značilnih točk se uporablja DoG1 prostor

ločljivosti (velikosti)


1DoG – angl. Difference of Gaussians

Gaussov prostor

ločljivosti (velikosti)

DoG prostor ločljivosti (velikosti)

Iščemo ekstreme 3D prostora ločljivosti

Glajenje z

Podvzorčenje

, , , , , , ,

, , , ,

D x y G x y k G x y I x y

L x y k L x y


Detekcija značilnih točk slike Za detekcijo značilnih točk se uporablja DoG1 prostor

ločljivosti (velikosti) Opazovano točko izberemo kot značilno točko slike, če je večja

ali manjša od vseh 26 sosedov (elementov v okolici 3x3x3)



Detekcija značilnih točk slike Primer detektiranih po detekciji ekstremov v DoG prostou ločljivosti:

Predstavljeni postopek na slikah najde veliko število značilnih točk, med katerimi so nekatere „nestabilne (neponovljive)“ zaradi:

nizkega kontrasta (občutljivost na šum), lege na robovih slike (težko določiti kje na robu se nahajamo)

Zgoraj opisane točke je potrebno odstranitiVir slik: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt

Slika z 233x189 piksli

Število detektiranih DoG ekstremov: 832


Detekcija značilnih točk slike Izločanje značilnih točk z nizkim kontrastom; postopek:

Aproksimiraj okolico značilne točke s kvadratno Taylor-jevo vrsto DoG prostora ločljivosti

Določi lokalni maksimum prilegane funkcije in s tem nov, natančnejši položaj značilne točke

Izloči značilno točko (oz. ), če je <0.03 Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt, www.cs.cmu.edu/~efros/courses/.../0319.SIFT.ppt

2

2

1( )2

T TTD DD x D x x x

x x

12

2ˆ D Dx

x x


Detekcija značilnih točk slike Izločanje značilnih točk z nizkim kontrastom; rezultat:

Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt, www.cs.cmu.edu/~efros/courses/.../0319.SIFT.ppt

729 od 832 značilnih točk ostane


Detekcija značilnih točk slike Izločanje značilnih točk na robnih slikovnih elementih slike;

postopek: Izračunaj matriko Hessovo matriko parcialnih odvodov

okolice dane značilne točke

Zavrzi vse značilne točke, ki ustrezajo robnim slikovnim elementom in hkrati ne predstavljajo oglišč (ekvivalentno formulaciji Harissovega detektorja oglišč) slike

Viri: mis.hevra.haifa.ac.il/~ishimshoni/MVG/SIFT_KA.ppt,

xx xy

xy yy

D DH

D D

2 2max

min

( ) ( 1)( )

Tr H rrDet H r


Detekcija značilnih točk slike Izločanje značilnih točk na robnih slikovnih elementih slike;

rezultat:


536 od 729 značilnih točk ostane


Določitev orientacije značilnih točk Ker želimo, da so deskriptorji invariantni na rotacije objektov

na sliki, za vsako značilno točko določimo orientacijo lokalnih gradientov in normiramo podatke v skladu z določeno orientacijo



Določitev orientacije značilnih točk Postopek:

Za glajeno sliko , kjer ustreza ločljivosti dane značilne točke, se izračuna smer in amplituda gradienta

Na podlagi smeri gradientov v okolici značilne točke se določi histogram Značilni točki se pripiše orientacija, ki ustreza maksimumu glajenega histograma


0 2


Določitev deskriptorja Za vsako značilno točko poznamo njen položaj,

ločljivost in orientacijo Določeni podatki zagotavljajo invariantnost na

translacije, velikost in rotacije objektov na slikah V zadnjem koraku želimo določiti deskriptor, ki

zagotavlja še invariantnost na: Svetlobne razmere in 3D perspektivo na objekte slike



Določitev deskriptorja: Okolico značilne točke velikosti 16x16 slikovnih elementov

razdelimo v 4 pod-področja velikosti 4x4 slikovne elemente Za vsako pod-področje določimo histogram orientacij gradienta z

8 kvantizacijskimi nivoji Deskriptor sestavimo iz 128 relativnih frekvenc vseh 16

histogramov (8 kvantizacijskih nivojev x 4x4 pod-področij)



Določitev deskriptorja Deskriptor normiramo na dolžino ena, kar izloči vpliv kontrasta na

vrednosti deskriptorja

Pomembno: Orientacija gradienta je manj občutljiva na spremembe v svetlobnih razmerah kot amplituda gradienta



Iskanje ujemajočih parov Za iskanje ujemajočih parov se pogosto uporablja postopek

najbližjega soseda z Evklidovo razdaljo (Evklidova razdalja služi kot mera različnosti – večja kot je manj sta si deskriptorja podobna)

SIFT deskriptor is slike A se ujema z deskriptorjem iz slike B, če je naslednje razmerje manjše od določenega praga:






ŠIVANJE SLIK Izračun transformacijske matrike

S pomočjo SIFT algoritma na paru slik določimo ujemajoče značilne točke

Rezultat predstavlja seznam ujemajočih parov značilnih točk, ki služi kot vhod v RANSAC

Z algoritmom RANSAC nato določimo parametre projektivne transformacije (homografije):


ŠIVANJE SLIK Povzetek

Na vhodnih slikah, ki ju želimo združiti, izvedemo detekcijo in izračun SIFT deskriptorjev ter določitev ujemajočih parov

S pomočjo RANSAC-a določimo transformacijsko matriko in preslikamo drugo sliko v ravnino prve

Sliki združimo in popravimo barve

ŠIVANJE SLIK Opomba

Pri šivanju slik, se namesto deskriptorjev SIFT pogosto uporabljajo lokalni deskriptorji SURF (angl. Speeded Up Robust Feature)

Deskriptorji SURF se odlikujejo s podobnimi lastnostmi kot deskriptorji SIFT, a je njihov izračun bistveno hitrejši

Viri: http://rtcmagazine.com/articles/view/102184, http://scien.stanford.edu/pages/labsite/2008/psych221/projects/08/DavidChen/index.html

http://rtcmagazine.com/articles/view/102184

http://rtcmagazine.com/articles/view/102184

http://scien.stanford.edu/pages/labsite/2008/psych221/projects/08/DavidChen/index.html

DETEKCIJA OBJEKTOV

Vir slik: http://weblogs.baltimoresun.com/news/technology/2010/05/crowdsourcing_new_name.html/, http://www.avto-prodaja.si/, http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

S postopki detekcije objektov želimo poiskati vse objekte določene vrste na sliki

Primeri:

Poišči vse avtomobile

Poišči vse steklenice

Poišči vse obraze

http://weblogs.baltimoresun.com/news/technology/2010/05/crowdsourcing_new_name.html/

http://weblogs.baltimoresun.com/news/technology/2010/05/crowdsourcing_new_name.html/

http://www.avto-prodaja.si/

http://www.avto-prodaja.si/



DETEKCIJA OBJEKTOV

Vir: http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

Postopek (splošno): Zgradi/nauči model objekta, ki ga želimo poiskati

Iz slike, na kateri želiš detektirati želene objekte, generiraj množico kandidatov objekta

Vsakega kandidata ovrednoti in razvrsti bodisi v razred iskanih objektov bodisi v razred drugih objektov



DETEKCIJA OBJEKTOV Popularno rešitev problema detekcije objektov

predstavljajo postopki, ki temeljijo na razvrščanju pod-oken slike (npr. Viola-Jones)

Osnovna ideja (primer detekcije obrazov): Pregledamo celotno sliko pri začetni velikosti pod-okna




Dvo-razredni razvrščevalnik

Obraz/drugo




Obraz/drugo





Obraz/drugo





Obraz/drugo




Osnovna ideja (primer detekcije obrazov): Ko pregledamo celotno sliko, povečamo pod-okno

Obraz/drugo




Osnovna ideja (primer detekcije obrazov): Postopek ponavljamo, dokler ne dosežemo maks.

velikosti

Obraz/drugo




Osnovna ideja (primer detekcije obrazov): Rezultat: Množica oken v razredu obrazov →

upragovljanje

Če je oken več kot N, potem

gre za obraz

DETEKCIJA OBJEKTOV Zahteve:

Potrebno izbrati predstavitev pod-oken (značilke) Potrebno izbrati in naučiti razvrščevalnik

Potreba po učnih podatkih (primeri in proti-primeri) Različne izbire dajo različne postopke detekcije z

različnimi lastnostmi – primer Viola-Jones (Haarov razvrščevalnik)

Avto/drugo Razvrščevalnik

Izpeljava značilk

Učni podatki

Učenje:1. Zberi učne podatke2. Izberi predstavitev3. Določi razvrščevalnik

Za novo sliko:1. Preglej vsa pod-okna2. Ovrednoti z razvrščevalnikom

Ilustracija učenja in uporabe detektorja avtomobilov

Vir: http://www.cs.brown.edu/courses/cs143/

http://www.cs.brown.edu/courses/cs143/

DETEKCIJA OBJEKTOV Postopek Viola-e in Jones-a:

Sposoben delovanja v realnem času Časovna zahtevnost narašča s številom različnih velikosti

pod-oken, ki jih razvrščamo Temelji na Haarovih značilkah in večkratnem učenju z

uteževanjem učnih primerov (angl. AdaBoost) Primer uporabe: avtofokus ob zaznavi obraza




DETEKCIJA OBJEKTOV Viola-Jones detektor:

Predstavitev pod-oken (značilke) Vsako pod-okno predstavimo z množico Haarovih značilk

(aproksimacijo) Haarove značilke so izbrane zato, ker je vrednost posamezne

značilke za pod-okno poljubne velikosti mogoče izračunati v konstantnem času

Vsako pod-okno predstavimo z množico Haarovih značilk

Vrednost značilke, ki ustreza trenutnemu pravokotnemu filtru

izračunamo kot razliko med vsotami svetilnosti slikovnih elementov pod

črnim in belim področjem filtra

- + -


Predstavitev pod-oken (značilke) Izračun značilk poteka preko integralne predstavitve slike

Izračun vsote slikovnih elementov (potrebne za izračun vrednosti značilk) znotraj danega področja vhodne slike lahko zato izvedemo s tremi operacijami v integralni sliki neodvisno od velikosti področja

• Vrednost slikovnega elementa na koordinatah (x,y) predstavlja vsoto svetilnosti slikovnih elementov originalne slike nad in levo od (x,y)

Vhodna slika Integralna slika

Integralna slika

A

BD

C

Vsota slikovnih elementov je A-B-C+D


Predstavitev pod-oken (značilke) Če upoštevamo vse možne parametre filtrov za izračun Haarovih

značilk (položaj, velikost in oblika), dobimo za pod-okno 24x24 180.000 različnih značilk – podmnožico določimo s postopkom večkratnega učenja z uteževanjem učnih primerov (angl. AdaBoost)





Razvrščevalnik Uporablja AdaBoost razvrščevalnik Osnovna ideja:

Sestavi „močni“ razvrščevalnik s kombinacijo „šibkih“ razvrščevalnikov

Potrebno je definirati množico šibkih razvrščevalnikov

Močni razvrščevalnik

Vektor značilk

Utež Šibki razvrščevalnik





Razvrščevalnik Osnovna ideja:


Vsaka vektor značilk ima svojo oznako:

wt =1In pripadajočo utež:

+1 ( )-1 ( )

yt =








+1 ( )-1 ( )

yt =

p(napake)=0.5 (naključno razvrščanje)

Iščemo preproste šibke linearne razvrščevalnike








+1 ( )-1 ( )

yt =

Iščemo „šibki“ razvrščevalnik, ki vzorce razvršča malo boljše od naključja







wt = wtexp{-ytHt}Posodobimo uteži:

+1 ( )-1 ( )

yt =

Ustvarimo nov problem razvrščanja, katerega že izračunan šibki razvrščevalnik zopet razvršča naključno








+1 ( )-1 ( )

yt =









+1 ( )-1 ( )

yt =









+1 ( )-1 ( )

yt =









+1 ( )-1 ( )

yt =







Močni razvrščevalnik zgradimo koz linearno kombinacijo šibkih razvrščevalnikov




Razvrščevalnik Je sestavljen iz kaskade AdaBoost razvrščevalnikov Vsak naslednji razvrščevalnik v kaskadi na vhodu uporabi daljši vektor

značilk (tipično se uporablja 10-40 razvrščevalnikov v kaskadi)

Primer prepustnosti:


1 Feature 5 Features50%

20 Features20% 2%

FACE

NON-FACE NON-FACE NON-FACE

IMAGESUB-WINDOW

Napačno razvrščena pod-okna v razred obrazov (angl. False positive rate




Povzetek (vizualno)


Kaskadni razvrščevalni

k

Obraz/drugo

Obrazi

Proti-primeri

Nauči kaskado razvrščevalniko

v z AdaBoost

Izbrane značilke

Razv

rsti

vsak

o od

po

d-ok

en




Značilnosti: Potreba po ogromni količini učnega materiala za

„komericalno“ učinkovito delovanje, npr. 5 tisoč primerov, preko 300 milijonov protiprimerov

Učenje je izrazito počasno, detekcija izredno hitra Pri detekciji objektov je predpostavljen izgled objekta (pri

različnih zornih kotih postopek odpove) Ker razvršča pod-okna v razrede na podlagi globalnih

lastnosti je občutljiv na delna prekrivanja objekta


Primeri:




DETEKCIJA OBJEKTOV Drugi detektorji

Vir slik: http://www.cs.brown.edu/courses/cs143/

106 examples

Najbližji sosed

Shakhnarovich, Viola, Darrell 2003Berg, Berg, Malik 2005...

Nevronske mreže

LeCun, Bottou, Bengio, Haffner 1998Rowley, Baluja, Kanade 1998 …

Podporni vektorji

Guyon, Vapnik, Heisele, Serre, Poggio, 2001,…

Boosting

Viola, Jones 2001, Torralba et al. 2004, Opelt et al. 2006,…

Grafični modeli

McCallum, Freitag, Pereira 2000; Kumar, Hebert 2003…

http://www.cs.brown.edu/courses/cs143/

Documents

Govorne in slikovne tehnologije