Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[1]
Algorytmy Rozpoznawania WzorcówAlgorytmy Rozpoznawania Wzorców
Metody oceny podobieństwaMetody oceny podobieństwadr inż. Paweł Forczmańskidr inż. Paweł Forczmański
[email protected]@wi.zut.edu.pl
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[2]
• Podstawowe pojęcia– Odległość
– Metryka
– Klasyfikacja
• Rodzaje metryk• Przykłady
Spis treści:
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[3]
Które obrazy są do siebie podobne?
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[4]
To zależy...
W środku Obrót w lewoObrót w prawo
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[5]
mężczyźni
kobiety
To zależy...
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[6]
… to zależy, czego szukamy...
student
nauczyciel
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[7]
...lub od treści obrazu (kontekstu)
Tło złożone
Jednolite tło
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[8]
Przestrzeń euklidesowa: przestrzeń o geometrii euklidesowej.
Jest naturalnym elementem modeli świata rzeczywistego (łac. geometria = mierzenie ziemi) i stanowi dobre przybliżenie przestrzeni fizycznych w warunkach makroskopowych
(Nie nadają się do opisu rzeczywistości w bardzo małych, atomowych, lub bardzo wielkich, astronomicznych, wielkościach).
Jednowymiarowa przestrzeń euklidesowa nazywana jest prostą euklidesową, zaś dwuwymiarowa – płaszczyzną euklidesową.
Przestrzeń Euklidesowa
365 r. p.n.e., - 300 r. p.n.e
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[9]
Przestrzeń metryczna – zbiór z określonym pojęciem odległości (nazywanej metryką) między jego elementami.
Przestrzenie metryczne tworzą najogólniejszą klasę obiektów, w których używa się pojęcia odległości wzorowanej na odległości znanej przestrzeni euklidesowych (prostej, płaszczyzny czy przestrzeni trójwymiarowej).
Przestrzeń metryczna:
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[10]
Odległością w niepustym zbiorze X nazywamy funkcję, która każdej parze elementów a, b należących do X przyporządkowuje taką liczbę d(a, b), że :
1a) d(a, b) jest większa lub równa 0
1b) d(a, b) = 0 wtedy i tylko wtedy, gdy a = b (odległość wyraża się liczbą nieujemną oraz jest równa zeru tylko wtedy, gdy elementy się pokrywają)
2 ) d(a, b) – odległość z a do b jest taka sama jak z b do a. Mówimy, że od-ległość jest symetryczna.
3) d(a, b) jest mniejsza lub równa d(a, c) + d(c, b) – to odległość z a do b jest nie większa niż suma odległości z a do c i z c do b. Tą własność nazywa-my nierównością trójkąta .
Odległość
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[11]
Odległość – wartość metryki.
Potocznie wiąże się z nią metrykę euklidesową.
Kula w metryce euklidesowej
Odległość:
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[12]
Kula to : zbiór punktów oddalonych nie bardziej niż pewna zadana odległość r (promień kuli) od wybranego punktu O (środek kuli).
Koło: zbiór wszystkich punktów płaszczyzny, których odległość od ustalonego punktu na tej płaszczyźnie (środka koła) nie przekracza pewnej wartości (promienia koła). Jest to kula w metryce euklidesowej na płaszczyźnie
Kula i koło w metryce euklidesowej
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[13]
Metryki w rozpoznawaniu obrazów :
metryka euklidesowametryka miejskametryka kolejowametryka Czebyszewametryka Hausdorffametryka Mahalanobisametryka Minkowskiego
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[14]
Metryka Euklidesowa to "zwykła" odległość punktów na płaszczyźnie.
Metryka Euklidesowa
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[15]
Metryka Manhattan, inaczej metryka miasto lub miejska. Odległość dwóch punktów w tej metryce to suma wartości bezwzględnych różnic ich współrzędnych.
Przyjmuje się założenie, że możemy poruszać się jedynie w kierunkach wschód-zachód oraz północ-południe.
Wtedy droga, jaką będziemy przebywać z jednego punktu do drugiego, wyniesie właśnie tyle, ile określa metryka miejska.
Metryka „miejska”
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[16]
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[17]
Kluczowa własność metryki miejskiej:
dla dowolnych punktów A, B i C
A B C d A C d A B d B Ci i i , , , , i d1…
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[18]
Metryka nieskończoność, maksimum, Czebyszewa, szachowa – metryka opisana wzorem
Dla dowolnych dwóch punktów x i y, metryka maksimum określona jest wzorem:
Miara ta została wprowadzona przez Pafnutija Czebyszewa i jest specjalnym przypadkiem odległości Minkowskiego.
W szachach jest to odległość między polami szachownicy wyrażona w ruchach, które musi wykonać figura króla. Stąd pochodzi jej angielska nazwa chessboard distance.
Metryka maksimum
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[19]
Metryka kolejowa, centrum – metryka na płaszczyźnie. Odległość dwóch punktów w tej metryce jest sumą euklidesowych ich odległości od punktu 0 = (0,0) lub – w przypadku, kiedy prosta łącząca te punkty przechodzi przez punkt – zwykła euklidesowa odległość.
Przykładem może być labirynt, którego korytarze są prostymi rozchodzącymi się gwiaździście z jednego punktu.
Wtedy, aby dojść z jednego punktu do drugiego, musimy najpierw dojść do skrzyżowania (centrum), by skręcić w odpowiedni korytarz.Nie porównujemy więc rzeczywistej odległości między tymi punktami, lecz właśnie taką, jaką określa metryka centrum.
Metryka „kolejowa”
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[20]
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[21]
Odległość Minkowskiego – uogólniona miara odległości między punktami przestrzeni euklidesowej; niekiedy nazywa się także odległością Lm
Można o niej myśleć jako o uogólnieniu odległości euklidesowej (L2), miejskiej (L1, w teorii informacji znanej jako odległość Hamminga) oraz Czebyszewa (L∞, tzn. Lm w granicy przy m ∞).→
Metryka Minkowskiego
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[22]
Klasyfikacja statystyczna to rodzaj algorytmu statystycznego, który przydziela obserwacje statystyczne do klas, bazując na atrybutach (cechach) tych obser-wacji.
Formalnie, ten problem można przedstawić następująco: dla danego zbioru da-nych trenujących:
znaleźć klasyfikator h: który przydziela obiektowi klasę y .
Przykładowe klasyfikatory:•Klasyfikatory liniowe
•Naiwny klasyfikator bayesowski,•Perceptron,
•K-najbliższych sąsiadów•Drzewa decyzyjne•Sieci bayesowskie
Klasyfikacja
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[23]
Rozróżniamy klasyfikację nadzorowaną (supervised classification) i nienadzorowaną (unsupervised classification). Klasyfikacja nadzorowana:
–etykiety klas nieznanych obiektów odgaduje się na podstawie zbioru obiektów o znanych etykietach; tj. zbioru uczącego (training set, learning set).
Klasyfikacja nienadzorowana:–zbiór uczący nie jest dany.
Zadanie: rozdzielenie zbioru obiektów na dwa lub więcej podzbiorów; obiekty w obrębie pojedynczego podzbioru powinny być możliwie podobne (w przestrzeni zadanych cech i w sensie określonej metryki lub miary podobień-stwa).
Klasyfikacja
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[24]
Klasyfikacja nienadzorowana: segmentacja obiektów w obrazach 2- i 3-wymiarowych; kategoryzacja dokumentów tekstowych, np. na potrzeby wyszukiwarek siecio-wych; automatyczne grupowanie słów o wspólnym rdzeniu.
Klasyfikacja nadzorowana: wspomaganie diagnostyki medycznej; kontrola jakości artykułów przemysłowych; detekcja obiektów na zdjęciach satelitarnych i lotniczych (remote sensing); rozpoznawanie pisma maszynowego i ręcznego (Optical Character Recogni-tion, OCR).
Klasyfikacja - Zastosowania
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[25]
Przykład z prezentacji (Cunningham, 2001). 2 klasy (jabłka i gruszki), 10 obiektów w zbiorze uczącym, 6 cech (5 liczbowych, jedna symboliczna). Potrzebna reguła decyzyjna ustalająca klasę obiektu w wierszu na dole.
Klasyfikacja - przykład
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[26]
Sieci neuronowe (neural networks)
Zalety:– zwykle duża szybkość klasyfikacji;– elastyczność (duża przestrzeń rozpatrywanych modeli);– stosunkowo duża odporność na zbędne cechy.
Wady:– powolne uczenie;– kryterium średniego błędu kwadratowego (w pełni adekwatne tylko w niektórych problemach);– znaczące niebezpieczeństwo przeuczenia.
Podstawowe rodziny klasyfikatorów
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[27]
Drzewa decyzyjne (decision trees)
Zalety:– często duża szybkość klasyfikacji;– prostota ogólnej koncepcji;– niewrażliwość na skalowanie cech;– względna odporność na zbędne cechy.
Wady:– trudność w aproksymacji prostych, lecz nierównolegle do osi ułożonych granic decyzyjnych; – niestabilność (małe zmiany na wejściu powodują duże zmiany w strukturze drzewa);
– problematyczna obsługa brakujących wartości cech.
Podstawowe rodziny klasyfikatorów, c.d.
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[28]
Klasyfikatory minimalnoodległościowe (nearest neighbor classifiers)
Zalety (oryginalnej reguły k-NN):– asymptotyczna optymalność;– wysoka jakość klasyfikacji w praktyce;– prostota, podatność na liczne modyfikacje.
Wady (oryginalnej reguły k-NN):– wolna klasyfikacja;– wrażliwość na zbędne cechy;– mała przestrzeń rozpatrywanych modeli.
Klasyfikacja próbki q regułą 3-NN
Podstawowe rodziny klasyfikatorów, c.d.
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[29]
Podstawowe rodziny klasyfikatorów, c.d.Reguła k scentrowanych sąsiadów
(k Nearest Centroid Neighbors, k-NCN) — Sánchez i in., 1997; koncepcja NCN: Chaudhuri, 1996
Reguła k-NCN, k=3
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[30]
Podstawowe rodziny klasyfikatorów, c.d.
Głosowanie 3 klasyfikatorów typu k-NN
Analogiczne schematy z głosowaniem zaproponowaliśmy dla reguł k-NCN i k-NSN.
W przeciwieństwie do większości klasyfikatorów równoległych, strata prędkości klasyfikacji w stosunku do „pojedynczego” klasyfikatora
jest umiarkowana (w przypadku voting k-NN zaniedbywalna).
Klasyfikator voting k-NN, c.d.
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[31]
Klasyfikatory minimalnoodległościowe (nearest neighbor classifiers)
Podstawowe rodziny klasyfikatorów, c.d.
x2
x1
x2
x1
Dwuwymiarowa przestrzeń cech:
Podejmowanie decyzji w metodzie NN:
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[32]
Klasyfikacja na podstawie wzorców(template matching)
Podstawowe rodziny klasyfikatorów, c.d.
Dwuwymiarowa przestrzeń cech:pojęcie wzorca
Podejmowanie decyzji w metodzie TM:
Przy dyskretnych cechach prawdopodobieństwo rozpoznania metodą pokrycia punktów jest bardzo duże
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[33]
Problem separowalności klasPodstawowe rodziny klasyfikatorów, c.d.
Przykład liniowej separowalności klas:Przykład zadania, które nie jest liniowo separowalne:
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[34]
Podstawowe rodziny klasyfikatorów, c.d.
Zjawisko przeuczenia (overfitting)
Którą płaszczyznę rozdzielającą klasy zbioru uczącego należy wybrać?
Pojedyncza odstająca od pozostałych próbka (ang. outlier) ma znaczący wpływ na wyuczone granice decyzyjne.
Płaszczyzna (b) prawdopodobnie lepiej odpowiada rozkładowi prawdopodobieństwa.
Możliwe hipotezy dla tego samego zbioru
Prawdziwa inteligencja polega na tym, aby wiedzieć kiedy przestać myśleć.
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[35]
Podstawowe kryteria oceny klasyfikatorów:• jakość klasyfikacji;
• szybkość klasyfikacji;• szybkość uczenia;
• zrozumiałość wygenerowanego modelu dla człowieka.
Podstawowe zagadnienia badawcze:• konstrukcja możliwie dokładnych klasyfikatorów;
• redukcja zbioru odniesienia;• selekcja cech;
• topologia i dobór komponentów w klasyfikatorach o strukturze sieciowej;
• dobór metryki.
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[36]
1. Metoda resubstytucji (resubstitution method) — cały dany zbiór jest używany zarówno do uczenia, jak i do testowania. Wada: zawyżone (zbyt optymistyczne) wyniki.
2. Metoda wydzielania (holdout method) — losowa połowa zbioru służy do konstrukcji klasyfikatora, a druga połowa do jego testowania. Wada: pesymistyczna estymacja jakości klasyfikatora.
3. Metoda minus jednego elementu (ang. leave-one-out method) — klasyfikator generowany jest n–1 razy, tj. dla każdego (n–1)-elementowego podzbioru pełnego zbioru, podczas gdy zbiorem testowym dla każdego wygenerowanego klasyfikatora jest tylko jedna pozostała próbka. Estymacja błędu jest w tej metodzie nieobciążona (tj. sprawiedliwa), ale wariancja błędu jest znaczna; ponadto nie jest łatwo osiągnąć satysfakcjonującą szybkość działania tej metody.
Jak mierzyć jakość klasyfikacji?
Algorytmy Rozpoznawania Wzorców :: S2/Inf :: Paweł Forczmański :: 2014/2015
[37]
4. Metoda k-krotnej walidacji skrośnej (ang. k-fold cross validation) — kompromis pomiędzy metodą wydzielania a metodą minus jednego elementu: dostępny zbiór dzielony jest losowo na k równych podzbiorów, a następnie każda z k części jest po kolei zbiorem testowym, zaś pozostałe k–1 części zbiorem uczącym. Błąd estymacji tej metody jest stosunkowo niski (generalnie tym niższy, im większe k), wariancja błędu jest niższa niż przy metodzie minus jednego elementu, zaś koszt czasowy realizacji dla praktycznych wartości k=5..10 – umiarkowany. Metoda ta jest obecnie najczęściej stosowana w praktyce.
Jak mierzyć jakość klasyfikacji (c.d.)?