SVEUILITE U ZAGREBUFAKULTET ELEKTROTEHNIKE I RAUNARSTVA

Projekt iz Raspoznavanja uzoraka

Uporaba analize glavnih komponentipri raspoznavanju lica

Andrija aji Mateja uljak Karlo Je Daria tefiAnte Kegalj Diana Kruelj-Posavec Petra Zadro

Zagreb, sijeanj 2011.

Sadraj

1. Uvod 1

2. Analiza glavnih komponenti (PCA) 22.1. Raunanje svojstvenih lica . . . . . . . . . . . . . . . . . . . . . . 22.2. Prepoznavanje novog lica . . . . . . . . . . . . . . . . . . . . . . . 4

3. Klasifikacija 53.1. q-NN klasifikacija . . . . . . . . . . . . . . . . . . . . . . . . . . . 53.2. Mjere udaljenosti . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

3.2.1. Euklidska udaljenost . . . . . . . . . . . . . . . . . . . . . 63.2.2. Udaljenost preko kosinusa . . . . . . . . . . . . . . . . . . 63.2.3. "City block udaljenost . . . . . . . . . . . . . . . . . . . . 7

4. Raspoznavanje lica 84.1. Baza lica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84.2. Modeliranje sustava . . . . . . . . . . . . . . . . . . . . . . . . . . 94.3. Implementacija . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

5. Rezultati 14

6. Zakljuak 17

7. Literatura 18

ii

1. Uvod

ovjek je u stanju kroz cijeli svoj ivotni vijek prepoznavati tisuce vienih lica, teidentificirati prijateljska lica istog trenutka, unato godinama razdvojenosti. Tavjetina je vrlo robusna, usprkos mnogim promjenama i razliitim vizualnim stim-ulacijama ovisnima o uvjetima u kojima se lice promatra, o izrazu lica, starenjuili drugim smetnjama poput naoala, promjene frizure i slicno.

Sustavi za raspoznavanje lica su zanimljivi ne samo iz teoretskih razloga, vei iz praktine primjene. Prepoznavanje lica moe se primjeniti na niz problema ustvarnom svijetu (kao to su na primjer identifikacija zloinaca, kod sigurnosnihsustava, u obradi slike i filma, kod interakcije ovjeka i raunala, itd.). Naalost,razvoj sustava za raspoznavanje lica je poprilino teak zbog mnogobrojnih karak-teristika lica.

Upravo taj problem pokuava se rijeiti sa metodom analize glavnih kompo-nenti (engl. Principal Component Analysis, poznatije kao PCA) kojom elimoizluiti samo one karakteristike lica koje su nam bitne za prepoznavanje lica ikodirati ih to je efikasnije mogue. Tako bi prilikom dovoenja nove nepoznateslike sustavu mogli usporeivati tu sliku samo po tim karakteristinim znaa-jkama sa ostalim slikama poznate klasifikacije iz baze i prema tome vidjeti kojemlicu nova slika pripada.

Konkretno, PCA omoguuje reduciranje dimenzionalnosti prostora znaajki,tj. eliminaciju redundantnih podataka iz skupa za uenje. Matematiki reeno,elimo nai svojstvene vektore kovarijacijske matrice skupa slika lica po kojimaemo raspoznavati nove slike lica. Pri tome sliku tretiramo kao toku (ili vektor)u prostoru velikih dimenzija.

1

2. Analiza glavnih komponenti(PCA)

Metoda PCA (ili Karhunen-Loeve transformacija gdje se koristi kovarijacijska ma-trica) je vrlo dobar alat za odreivanje glavnih karakteristika skupa podataka,uinkovita je za smanjenje dimenzionalnosti, pa tako i prepoznavanje uzoraka.Prednosti ovog pristupa su to omoguuje uenje, te kasnije prepoznavanje novihlica, a i brzina, jednostavnost, kapaciteti primjera koji se mogu nauiti, te odreenadoza osjetljivosti na sitne promjene na slikama lica. Manji nedostatak ovogrjeenja je ogranienost slika na kojima se moe prepoznavati lice (moraju zado-voljavati neke uvjete koji e biti kasnije navedeni).

Uzorci za raspoznavanje su u naem sluaju vektori dimenzija N N gdje jeN dimenzija slika. Takvi uzorci naravno nee biti sluajno distibuirani u tomevelikom prostoru i zato se mogu prebaciti u prostor manje dimenzije gdje e ihbiti mogue isto tako dobro odijeliti. Cilj nam je nai vektore koji e definiratiprostor manjih dimenzija u kojem e se uzorci moi dobro razdvajati (u naemprimjeru se taj prostor naziva prostor lica). Svaki od tih vektora biti e dimen-zija N N i oni su linarna kombinacija izvornih slika. Kod raspoznavanja lica tevektore (budui da su to svojstveni vektori kovarijacijske matrice izvornih slika,a i izgledaju kao lica) nazivamo svojstvena lica. U sljedeem odlomku opisanoje traenje odgovarajuih svojstvenih lica za dane uzorke, a zatim klasifikacijanovih lica pomou dobivenih svojstvenih lica.

2.1. Raunanje svojstvenih licaImamo skup uzoraka {xi}Mi=1 gdje je M broj uzoraka. Prvi korak PCA postupkaje usrednjavanje uzoraka, tj. posmicanje uzoraka u prostoru tako da im srednjavrijednost iznosi nula (0). Postupak se provodi tako da se od svakog uzorkaoduzme srednja vrijednost svih komponenti. Srednja vrijednost svih komponenti

2

se dobiva izrazomx =

Mi xiM

,

pri emu je M kardinalitet skupa (broj uzoraka), a xi element tog skupa.Nakon izrauna x, posmicanje uzoraka se vri oduzimanjem srednje vrijednostiod svakog uzorka, odnosno provodimo:

s = x x, x .

Srednje lice naeg skupa slika lica prikazano je na slici 4.3. Sada elimo naiskup M ortonormalnih vektora un koji najbolje opisuju razdiobu podataka. k-tivektor, uk, odabire se tako da izraz

k =1M

Mn=1

(uTk sn)2

postie maksimum pri emu je

uTl uk = lk = 1, l = k0, inae

Vektori uk i skalari k su svojstveni vektori i svojstvene vrijednosti, respektivno,kovarijacijske matrice

C = 1M

Mi=1

snsTn = AAT

gdje je matrica A = [s1s2 . . . sM ].Matrica C je dimenzija N2N2 pa prema tome postoji N2 parova svojstvenih

vrijednosti i svojstvenih vektora te matrice. Meutim kada vrijedi M < N2 (tj.kada je broj uzoraka manji od dimenzionalnosti prostora) raunanje svih tihparova je nepotrebno. Tada postoji samo M 1 znaajnih svojsvenih vektora(ostali svojstveni vektori imaju pridruene svojstvene vrijednosti jednake nuli).Dakle, promatramo svojstvene vektore vl matrice C takve da vrijedi:

ATAvl = lvl

Pomnoimo li ovaj izraz sa matricom A dobivamo:

AATAvl = lAvl

Iz ega vidimo da su Avl svojstveni vektori matrice C. Prema tome, gradimomatricu L = ATA koja je dimenzijaMM i tako traitiM svojstvenih vrijednostimatrice L (umjesto N2 svojstvenih vrijednosti matrice C). Ti svojstveni vektori

3

odreuju linearnu kombinacijuM lica iz skupa za uenje koja e tvoriti svojstvenalica ul:

ul =Mk=1

vlksk; l = 1 . . .M

Na ovaj nain je raunanje uvelike smanjeno - sa dimenzije N2 na dimenziju M .U praksi je M mnogo manji od N , pa je to vrlo korisno. Pripadne svojstvenevrijednosti svojstvenih vektora omoguuju i rangiranje svojstvenih vektora ponjihovoj korisnosti u karakterizaciji varijacija izmeu slika. Za vee pripadnevrijednosti svojstveni vektori su od vee vanosti, pa se po potrebi moe uzeti imanje od M svojstvenih vektora. Prostor lica definira se tako sa M (ili manje,npr. M ) svojstvenih vektora i u njega se prebacuju po komponentama k izvorniuzorci si:

sk = uTk si; k = 1 . . .M

s je sada novi uzorak u prostoru lica. Primjetimo da je on sada mnogo manjedimenzionalnosti M .

2.2. Prepoznavanje novog licaelimo li odrediti pripadnost novog uzorka w, potrebno ga je prvo projiciratiu dobiveni prostor lica u kojem se sada nalaze i izvorni uzorci. Prema slinojformuli kao i za izvorne uzorke (novi uzorak je potrebno jo usrednjiti) dobivamoprojicirani novi uzorak w:

wk = uTk (w x); k = 1 . . .M

Kada imamo novi uzorak i izvorne uzorke u istom prostoru odabire se neki algori-tam klasifikacije (naee je to q-NN klasifikacija opisana u nastavku). Raunanjebilo koje udaljenosti izmeu uzoraka prilikom klasifikacije sada e biti uvelikeolakano zbog znatne redukcije broja znaajki.

4

3. Klasifikacija

Nakon provedene redukcije dimenzjia vektora znaajki novom nepoznatom pred-stavljenom uzorku, na redu je provoenje klasifikacije, tj. odreivanje u kojupoznatu skupinu lica spada novo lice. To emo provoditi klasifikacijskim prav-ilom najblieg susjeda (engl. Nearest Neighbor, NN).

3.1. q-NN klasifikacijaOpiimo prvo najjednostavniji sluaj q-NN klasifikacije, a to je 1-NN. Kod 1-NNklasifikacije gleda se najvea slinost nepoznatog uzorka sa samo jednim uzorkomiz skupa uzoraka sa poznatom klasifikacijom.

Raspolaemo sa skupom uzoraka s poznatom klasifikacijom {~s1, ~s2, . . . , ~sN} isvaki od tih uzoraka pripada jednom od razreda ~1, ~2, . . . , ~M .

Tada nepoznati uzorak x pripada razredu k ako si, najblii susjed uzorku xpripada razredu k:

D(~si, ~x) = minl{D(~si, ~x)}, l = 1, 2, . . . , N ; ~si {~s1, ~s2, . . . , ~sN}

D je openito oznaka za neku mjeru udaljenosti definiranu u prostoru znaa-jki (Euklidska udaljenost, Mahalanobisova udaljenost, ebievljeva udaljenost...).U naem sluaju slinost izmeu uzoraka emo mjeriti Euklidskom udaljenoui udaljenou preko izraunatih vrijednosti kosinusa kuta izmeu dva vektora(engl. cosine-similarity), koje e biti opisane u nastavku.

Kod 1-NN pravila za klasifikaciju koristio se samo najblii susjed, ali openitoza klasifikaciju se moe koristiti q(q > 1) najbliih susjeda uzorku ~x (q se odabiretako da ne bude viekratnik broja razreda).

Postupak se provodi na sljedei nain: na temelju q uzoraka utvruje sebroj vektora q koji pripadaju razredu i, i = 1, 2, . . . ,M . (Vrijedi

i qi = q.)

Razvrstaj ~x u razred k za koji vrijedi da je qk maksimalan.

5

Pravila klasifikacije 1-NN i q-NN su za sluajeve kad su skupovi uzoraka zauenje veliki vrlo djelotvorna. Meutim, problem kod predstavlja kompleksnostizrauna udaljenosti i traenja q (ili 1) najbliih udaljenosti. Problem je joizraeniji za veliku dimenzionalnost prostora znaajki, to ovdje nije sluaj buduida metodom PCA reduciramo broj znaajki.

3.2. Mjere udaljenostiMjere udaljenosti (ili slinosti) odreuju udaljenost dvaju vektora u prostoru. Akoje d udaljenost, tada d(a,b) mora imati sljedea svojstva (Duda et al., 2001):

Ne negativnost: d(a,b) 0

Refleksivnost: d(a,b) = 0 ako i samo ako a = b

Simetrinost: d(a,b) = d(b, a)

Nejednakost trokuta: d(a,b) + d(b, c) > d(a, c)

3.2.1. Euklidska udaljenost

Euklidska udaljenost izmeu toaka ~x i ~y u n-dimenzionalnom prostoru defini-rana je na sljedei nain:

d(x,y) = ||~x ~y|| = n

i=1(xi yi)2.

3.2.2. Udaljenost preko kosinusa

Cosine-similarity je mjera slinosti izmeu dva vektora u n-dimenzionalnom pros-toru koja se dobiva tako da se rauna kosinus kuta izmeu njih. Imamo li dvavektora x i y, definirana je na sljedei nain:

cos() = x y||x|| ||y|| .

Rezultat slinosti kree se od vrijednosti 1 (to znai da su vektori suprotni)do 1 (to znai da su potpuno isti). Rezultat 0 indicira nezavisnost, a sve ostalevrijednosti izmeu predstavljaju slinost, odnosno razliitost vektora.

6

3.2.3. "City block udaljenost

Ova udaljenost je poznata i pod nazivom Manhattan udaljenost jer raunaudaljenost na nain da zbraja apsolutne vrijednosti razlika po komponentama.Formula glasi:

d(x,y) =ni=1|xi yi|

7

4. Raspoznavanje lica

Ideja rjeavanja zadanog problema je da se slika lica projicira na prostor znaajkikoji prikazuje raspon bitnih varijacija meu ve poznatima prikazima lica, tzv.prostor lica. Taj mali skup bitnih znaajki se naziva eigenfaces tj. svojstvenalica, i oni predstavljaju svojstvene vektore skupa lica. Skup podataka poznatihlica tvori skup za uenje. Projekcija lica karakterizira lice kao teinsku sumusvojstvenih vektora, tako da se za raspoznavanje usporeuje dobivena suma save poznatim primjerima. Lice se, dakle, klasificira usporeivanjem njegovogpoloaja u prostoru lica s poloajem poznatih primjera.

4.1. Baza licaProblemu raspoznavanja lica se pristupa kao raspoznavanju 2D uzoraka, bezpotrebe za rekonstruiranjem 3D modela iz danih slika, podrazumijevajui dasu dani primjeri fotografirani na odgovarajui nain, tako da mogu biti opisaniskupom 2D karakteristika. Uvjeti za raspoznavanje:

da su lica uspravna,

da se mogu opisati kao mali skup dvodimenzionalnih podataka,

da su slike frontalnog pogleda, pod kutom od 45% i gledane iz profila.

Baza lica koju smo koristili, sastoji se od 295 razliitih lica. Za svako licepostoje etiri snimanja, a svako snimanje daje dvije slike. Slike smo rasporediliu dva skupa, jedan za uenje, a drugi za testiranje. Slike smo rasporedili tako dasmo prvo i drugo snimanje smjestili u skup za uenje, a tree i etvrto u skup zatestiranje (u svakom skupu po etiri slike svakog lica). Slike su dimnenzija 6464,to znai da e biti predstavljene kao uzorci u 4096-dimenzionalnom prostoru.Vrijednosti znaajki su vrijednosti sive razine svakog piksela slike predstavljenecijelim brojevima 0-255. Slika 4.1 je primjer lica iz baze koji smo koristili.

8

Slika 4.1: Primjer slike lica iz baze.

4.2. Modeliranje sustavaPrvo radimo inicijalizaciju sustava:

1. Uitava se skup slika za uenje.

2. Raunaju svojstveni vektori na osnovu svih uzoraka iz skupa za uenje.Zatim se sauva samo odreen postotak svojstvenih vektora, uzimajui onesa boljim vrijednostima. Odabranim svojstvenim vektorima se definirajusvojstvena lica.

3. Sva lica iz skupa za uenje projiciraju se u prostor svojstvenih lica. Timesmo postigli smanjenje vektora znaajki uzoraka.

Nakon to smo uspjeno inicijalizirali sustav, za prepoznavanje novog lica provodise sljedei postupak:

1. Nova ulazna slika, iz skupa za testiranje, projicira se u prostor svojstvenihlica.

2. Dobiveni uzorak se, nekom od metoda klasifikacije, pokuava svrstati uneku od klasa, tj. pridruiti se nekom od ve poznatih lica.

Koji postotak svojstvenih vektora uzeti se odreuje ekspreimentiranjem, ovisnoo odabranom nainu klasifikacije, provjerava se sa kojim najmanjim postotkomsvojstvenih vektora se dobivaju najbolji rezultati. Uspjenost raspoznavanjaodreuje se provoenjem klasifikacije svih uzoraka iz skupa za testiranje, pritombrojei uspjene, tj. neuspjene klasfikacije.

Prikaz dijagrama toka primjera provedbe PCA prilikom raspoznavanja licamoe se vidjeti na slici 4.2.

9

Slika 4.2: Dijagrama toka postupka prepoznavanja lica.

10

Slika 4.3: Srednje lice dobiveno iz svih slika u bazi.

Slika 4.4: Najbolje izraunato svojstveno lice.

4.3. ImplementacijaPostupak je implementiran u Matlabu. Prije pokretanja programa, potrebno jebazu lica rasporediti u mape za uenje i testiranje. Prilikom izvravanja pro-grama, ispisuje se definirani postotak uzetih znaajki, otvara prikaz srednjeg lica,te najboljeg svojstvenog lica. Na kraju izvravanja program ispisuje tonost klasi-fikacije u obliku postotka tono klasificiranih lica iz skupa za testiranje.

Slika 4.3 prikazuje dobiveno srednje lice, a slika 4.4 najbolje svojstveno lice.Skripte napisane u matlabu za provoenje postupaka opisanih u poglavlju 4.2

definirane su na sljedei nain. Iz glavne skripte Pokreni.m pokree se osnovniprogram. U njemu se redom pozivaju skripte: Ucitaj(ucenje); PCA(M, 90);ProjekcijaUzoraka(US, SL); KlasificirajSve(testiranje, SL, PU, sredina, kl, 1,cityblock);

Prva skripta uitava redom slike iz skupa za uenje koji je ujedno i jedini ulazniargument, te ih pretvara u vektore. Iz tih vektora stvaramo matricu u kojoj suonda pohranjeni vektorski zapisi svih slika. Matrica u kojoj su pohranjene sve

11

slike je dvodimenzionalna, svaki stupac je vektor jedne slike, a budui da jednaslika ima 64 64 pixela te ima 1180 slika, matrica je dimenzija (N N)M =(64 64) 1180) = (4096 1180).

Kao izlazni argument te skripte je opisana matrica slika i vektor koji sadriinformaciju o pripadnosti svakog uzorka odreenoj klasi. Klase su definirane kaopojedina slika, svaka osoba ima svoj niz znakova koji je poetak svih naziva slikate osobe.

Osnovna skripta projekta "PCA.m" poziva se sljedea iz glavne skripte "Uci-taj.m". To je osnovna funkcija koja obrauje uzorke za uenje i radi analizuglavnih komponenti za te uzorke. Ulazni argumenti su matrica koju smo dobiliiz svih ulaznih slika (N N) M i broj znacajki koji oznaava koliko znaajkie se uzimati od ukupno moguih (M 1).

Svojstveni vektori originalnog prostora mogu se raunati na dva aina. Buduida imamo M uzoraka to je mnogo manje od N N , umjesto traenja svojstvenihvektora kovarijacijske matrice koja bi bila veliine N N , pri emu je N brojznaajki u naem sluaju broj pixela, traimo (M 1) svojstvenih vektora prekomatrice usrednjeniUzorci usrednjeniUzorci, odnosno preko korelacijske matrice.Ostalih N N (M 1) bi ionako imalo svojstvene vrijednosti 0.

Na temelju matrice slika radi se nova matrica koja nastaje usrednjavanjemsvih uzoraka, odnosno oduzima im se srednju vrijednost svih uzoraka po znaa-jkama, te na temelju nje iz sortirane matrice svojstvenih vrijednosti izabire brojbroj znaajki koje najvie dopirnose rasprenju slika iz ulaznog skupa. Cilj ovogpostupka je naravno smanjiti broj dimenzija ulaznog prostora zadravajui samoone vrijednosti koje najvie doprinose razlikovanju odnosno rasprenosti ulaznihprimjera u njihovom originalnom prostoru.

Kao izlazni argumenti skritpe "PCA.m" dobijamo vektor srednjih vrijednostisvih znaajki iz skupa za uenje, matricu ulaznih uzoraka, ali usrednjene, znaioduzete su im srednje vrijednosti po znaajkama te svojstvena lica dobivenamnoenjem sa odabranim brojem najvanijih svojstvenih vektora, veliine (N N)R gdje je R M 1.

Svojstveni vektori koji odgovaraju odabranim svojstvenim licima mnoe sesa svim uzorcima iz skupa za uenje, odnosno sa matricom vektora slika, natemelju ega se dobije ulazni skup transformiran na prostor manjih dimenzijaod izvornog, koji razpinje odabran broj najvanijih vektora. Taj skup, odnosnovektori transformirane matrice ulaznih slika nazivaju se svojstvena lica. Ovaj dioposla obavlja jednostavna skripta "ProjekcijaUzoraka.m".

12

Na kraju ostaje jo samo klasificirati slike iz skupa za testiranje prema svo-jstvenim licima koja su dobivena iz skupa za uenje. U jednostavnoj for petljikoja pritom broji ispravno odnosno neispravno klasificirane uzorke, pozivaju seve postojee funkcije u Matlabu koje vraaju klasu kojoj je ispitivana slika na-jblia u transformiranom prostoru znaajki. Klasa se odreuje prema eljenombroju najbliih uzoraka u transformiranom prostoru. Ako su to slike iste osobe,klasifikacija je ispravna, u protivnom je klasifikacija neispravna.

Koritenje i rezultati pojedinih algoritama za traenje najbliih svojstvenihlica u transformiranom prostoru opisani sutablicama i rezultatima u poglavlju 5.

13

5. Rezultati

Prvo je na podijeljenim skupovima za uenje i testiranje (na prethodno opisannain) proveden postupak klasifikacije 1-NN (koritenjem Euklidske udaljenosti)bez primjene PCA metode. Za velike ulazne skupove to je trajalo due vrijeme ipostignuta je uspjenost klasifikacije 81.1017%, to je zadovoljavajue. Problemje to se u ovom sluaju koristi 4096 dimenzionalan vektor znaaji kao prikazsvake slike, pa usporedba svih slika sa novom traje due.

Broj znaajki dobiven metodom PCA je 1180. Najbolja uspjenost klasi-fikacije se postie za 1-NN klasifikator koji koristi cityblock udaljenost, te 90znaajki (postotak uzetih znaajki je 7.6271%). Tonost klasifikacije je tada84.1525%, to se moe vidjeti iz tablice 5.1. Koritenjem vie od 90 znaajkinema znatnijeg utjecaja na uspjenost klasifikacije (npr. koritenjem 1100 znaajiuspjenost je 81.0169% za Euklidsku udaljenost). Grafiki je to prikazano na slici5.1. Iako, tu vidimo da to nije sluaj i za City block udaljenost. Iz nekih (namanepoznatih) razloga, uspjenost klasifikacije uzimanjem sve veeg broja znaakilagano opada, dok za Euklidsku i cosinusovu ostaje pri maksimumu. Uzimanjemsvih znaajki je dakle najbolja Euklidska udaljenost, koja se stoga ini prikladnijaod City block jer ako i kod optimuma gledamo nije velika razlika u uspjenosti.

Raeno je i testiranje za razliite vrijednosti parametra k za algoritam k-NN. Koriteno je 100 znaajki (gdje se sigurno postie maksimum klasifikacije,kako smo prije utvrdili), a vrijednosti za k su uzete do 8-NN (nije bilo potrebnodalje, vidjelo da uspjenost opada). Vidi se da je se najbolji rezultati postiu zanajmanje k-ove, tj. 1-NN i 2-NN to je i bilo za oekivati s obzirom na odnosbroja uzoraka i dimenzionalnosti vektora znaajki. Vrijednosti za 1-NN i 2-NNsu identine budui da kod 2-NN zapravo uzima isto prvi najblii, pa kod 3-NNvidimo da pone padati uspjenost. Za vee k-ove uspjenost dalje lagano opada.Ovi rezultati su prikazani tablicom 5.2 i slikom 5.1.

14

Tablica 5.1: Tonosti klasifikatora za razne parametre k i razne udaljenosti. Stupcisu tonosti za parametar k u vrijednosti od 1 do 8. Koriteno je 100 znaajki.

Udaljenosti 1 2 3 4 5 6 7 8

euclid 81.01 81.01 79.57 80.08 77.71 76.01 74.74 74.74cosine 80.33 80.33 77.88 77.20 75.67 74.49 73.30 72.20cityblock 83.98 83.98 82.71 82.96 81.52 80.59 79.49 78.98

Slika 5.1: Graf uspjenosti PCA za razliite postotke znaajki. Ruiastom bojom jeoznaen cityblock 1-NN, crvenom bojom euklidski 1-NN, plavom bojom kosinus 1-NN,a zelenom bojom korelacijski 1-NN klasifikator.

15

Tablica 5.2: Tonosti PCA za razne postotke uzetih znaajki uz 1-NN klasifikator.

Broj znaajki Postotak uzetih znaajki Cityblock Euclid

50 4.2373 79.7458 78.305160 5.0848 81.4407 79.745870 5.9322 82.1186 80.000080 6.7797 82.8814 80.932290 7.6271 84.1525 80.5085100 8.4746 83.9831 81.0169110 9.3320 84.1525 81.1017120 10.1695 83.8983 81.1017130 11.0170 83.3898 81.1017140 11.8644 83.6441 81.1864150 12.7119 83.5593 81.1017160 13.5594 82.7119 80.9322170 14.4068 82.8814 81.1017180 15.2543 82.6271 81.0169190 16.1017 82.4576 81.1017200 16.9492 82.2881 81.1017300 25.4238 80.0847 81.1017400 33.8984 77.7966 81.1017500 42.3730 76.6102 81.0169600 50.8476 75.3390 81.1017700 59.3222 75.0847 80.9322800 67.7968 75.3390 81.0169900 76.2714 75.7627 81.01691000 84.7460 76.4407 81.01691100 93.2206 76.7797 81.0169

16

6. Zakljuak

Cilj projekta je primijeniti metodu PCA na raspoznavanje lica. Opisani pristupprepoznavanju lica preko svojstvenih vektora proizaao je iz ideje da se lice moeprepoznati na osnovu manje skupine karakteristika lica koje najbolje aproksimi-raju skupinu poznatih lica. Kljuno je da se to radi bez zahtijevanja da te znaajnekarakteristike moraju odgovarati karatkeristikama prema kojima mi ljudi prepoz-najemo lica (npr. oi, kosa, nos...). Iako ova metoda ne pokriva generalno problemprepoznavanja, taj pristup pokazao se u praksi kao praktino rjeenje koje je vrloefikasno za konkretni problem prepoznavanja lica.

Postupak se pokazao relativno jednostavan za implementaciju, izvodi se urealnom vremenu i uspjenost klasifikacije je dobra uz ogranienja za slike iz bazekoja su nam prethodno omoguena.

Vidjeli samo da je prepoznavanje lica k-NN algoritmom bez primjene PCAdalo priblino iste rezultate kao i u sluaju kada je primjenjena metoda PCA, alije izvoenje programa trajajalo znatno due jer je uzorak bio dimenzije 4096, tj.imao je 4096 znaajki. Primjenom PCA metode dobili smo da je dovoljno raditiklasifikaciju sa samo 90 relevantnih znaajki tako da uspjenost ostane jednakodobra. Dimenzionalnost prostora je tako smanjena za ak 45.5 puta, pa je zato iizvoenje programa bre. Time je pokazana izrazita efikasnost primjene metodePCA u problemu raspoznavanja lica.

17

7. Literatura

Richard O. Duda, Peter E. Hart, i David G. Stork. Pattern classification. Wiley,2 izdanju, November 2001.

Garcia E. Cosine similarity and term weight tutorial. http://www.miislita.com/information-retrieval-tutorial/cosine-similarity-tutorial.html, 2006.

Paula Faist. Prepoznavanje lica primjena algoritama strojnog uenja. PMF-MO.

S. Ribari L. Gyrgyek, N. Pavei. Uvod u raspoznavanje uzoraka. Tehnikaknjiga Zagreb, 1988.

Alex Pentland Mathew Turk. Eigenfaces for recognition. Journal of CognitiveNeuroscience, 1991.

Lindsay I. Smith. A tutorial on principal components analysis, 2002.

18