6/10/2013

1

Materiay/konsultacje

http://www.ibp.pwr.wroc.pl/KotulskaLab

Konsultacje wtorek, pitek 9-11 (uprzedzi)D1-115

malgorzata.kotulska@pwr.wroc.pl

Automatyczna predykcja

Co to jest uczenie maszynowe? Uczenie maszynowe to wnioskowanie o nieznanych

zalenociach pomidzy danymi wejciowymi (zmienne niezalene, cechy, predyktory) a wyjciowymi (zmienne zalene, odpowied).

Zaleno pomidzy WE i WY nie zawsze moe by przedstawiona w formie analitycznej funkcji lub innej relacji typu explicite. Czsto przyjmuje form czarnej skrzynki, dziaajcej wg. okrelonego algorytmu uzyskanego z uczenia

W przypadku danych, dla ktrych nie istnieje WY jest to wnioskowanie o prawdopodobiestwie rwnoczesnego wystpienia pewnego zespou cech

Przykad

Biaka ->

Tuszcze ->

Wglowodany ->

Nieznane relacje

zakane

miadyca

Alzheimer

wzrok

Dieta: X=[X1,X2,X3]

Przewidywana zapadalno na schorzenia (klasachoroby lub przewidywana data)

Google buduje wehiku czasu Google Prediction API, maj 2010

http://code.google.com/intl/pl/apis/predict/

6/10/2013

2

Rozpoznawanie twarzy Kiedy uczenie maszynowe?

W przypadku danych okrelonych deterministycznie wystarczy zna funkcj wic dane wejciowe z wyjciowymi.

Majc zestaw uczcy mona prbowa t funkcj aproksymowa (dopasowanie, z ang.fitowanie), co jest tym skuteczniejsze im lepiej znamy typ funkcji (np. wielomian, wykadnicza, etc) i ilo wolnych parametrw.

W przypadku danych ze skadow losow, np. seria pomiarw okrelona za pomoc pewnego cigu funkcji gstoci prawdopodobiestwa lub zaburzona losowym szumem (patrz poprzedni wykad o analizie medycznych szeregw czasowych) zadanie jest znacznie trudniejsze.

Czsto nie istnieje adna funkcja analityczna wica dane wyjciowe z klas obiektu lub wartoci odpowiedzi. Aproksymacja opiera si moe na modelu nauczonym na danych uczcych (czyli o znanej odpowiedzi na zadane dane wejciowe).

Model moe szacowa zaleno pewn funkcj (np. regresja liniowa) lub generowa odpowied za pomoc czarnej skrzynki , czyli bez ujawniania typu zaleno w postaci analitycznej -explicite

Kiedy uczenie maszynowe (cd)?Jakie obszary wykorzystuj uczenie maszynowe?

Data mining wyuskiwanie niewielkiej, uytecznej czci danych z ogromnych zbiorw danych

Sztuczna inteligencja wnioskowanie

Rodzaje uczenia maszynowego

Uczenie maszynowe z nadzorem (ang. supervised learning)

Uczenie maszynowe bez nadzoru (ang. unsupervised learning)

Popularna metoda uczenia maszynowego z nadzorem

Sieci neuronowe

6/10/2013

3

Uczenie z nadzorem

Mamy pewien zbir danych tzw. zbir uczcy, w ktrym znamy zmienn wejciow i wynikajc z niej zmienn wyjciow.

Na tej podstawie moemy prbowa znale relacje, ktre cz WE z WY i przewidywa WY dla nowych danych (spoza zbioru uczcego)

Komputerowa metoda znajdowania tych relacji (na podstawie odpowiednio duego zbioru uczcego) jest metod uczenia maszynowego

Uczenie z nadzorem

Mamy pewien zbir danych tzw. zbir uczcy, w ktrym znamy zmienn wejciow i wynikajc z niej zmienn wyjciow.

Na tej podstawie moemy prbowa znale ukryterelacje, ktre cz WE z WY i przewidywa WY dla nowych danych (spoza zbioru uczcego)

Model to komputerowa metoda znajdowania tych relacji (na podstawie odpowiednio duego zbioru uczcego) - metoda uczenia maszynowego

Przykad spam w emailu

Zbir uczcy: e-maile, o ktrych wiemy, czy s spamem, czy wiadomociami

Zbir testowy: e-maile przychodzce na serwer, o ktrych nie mamy takiej informacji, a jest nam potrzebna do ustawienia filtru

Cechy (zmienna niezalena): np. zbir sw w tytule albo.?

Problemy w uczeniu maszynowym

Wybr optymalnej metody do wyznaczenia modelu

Waciwy dobr cech znaczcych w uczeniu (redukcja cech nadmiarowych). Podaj moliwe zestawy cech w przykadzie ze spamem emailowym i redukcj.

Waciwy dobr optymalnego i reprezentatywnego zbioru uczcego

Funkcja oceny akceptowalnoci wyniku

Przykadowe metody w uczeniu z nadzorem

Sieci neuronowe

Drzewa decyzyjne

SVM (ang. Support Vector Machines)

Metody liniowe i najmniejszych kwadratw

Metoda najbliszych ssiadw

Metody Bayesa

Ukryte modele Markova

Algorytmy genetyczne

Gramatyki formalne .

Uczenie z nadzoremPodstawowe modele klasyfikacji

6/10/2013

4

Uczenie z nadzorem: klasyfikacja i regresja

KLASYFIKACJA - Uczenie z nadzorem, w ktrym WY jest podane w sposb jakociowy podzia na klasy (np. spam- niespam; choroba krenia czy choroba zakana)

REGRESJA - Uczenie z nadzorem, w ktrym WY jest podane w sposb ilociowy liczbowo (np. przewidywany czas zapadnicia na schorzenie; poziom korelacji pomidzy wielkociami)

WEKA

http://www.cs.waikato.ac.nz/ml/weka

Uczenie bez nadzoru - klastering

Obserwujemy tylko cechy (zmienn wejciow) ale zmiennej wyjciowej nie znamy (lub nie istnieje) .

Nie istnieje wic zbir uczcy, ktry umoliwi nam wyznaczenie modelu zalenoci

Nie wyznaczamy wic tych zalenoci interesuje nas tylko grupowanie danych w tzw. klastry, ktrych elementy s w jaki sposb do siebie podobne. Innymi sowy chcemy wnioskowa o prawdopodobiestwie (tzn. funkcji gstoci prawd.) znalezienia si obiektu (zdefiniowanego poprzez wektor cech) w okrelonym miejscu przestrzeni

Problem do uczenia bez nadzoru (klastrowanie; grupowanie)

Kompresja obrazw (np. grupowanie waciwoci kolorystycznych)

Jak pogrupowa ludzi podobnych na podstawie danych demograficznych ? Np. jak dowiedzie si o prawdopodobiestwie wystpienia pewnych zestawwcech w populacji (np. osoby o duych dochodach i nie leczonych zbach)?

6/10/2013

5

Przykad do uczenia bez nadzoruPrzykadowe metody w uczeniu bez

nadzoru

Algorytm k-rednich

Grupowanie hierarchiczne

Grupowanie skupione (ang. agglometrative clustering)

Grupowanie dzielce (ang. divisive clustering)

Grupowanie spektralne

Skalowanie wielowymiarowe

Zachowanie klasyfikatora dla rnych k w metodzie k-rednich

Sztuczne sieci neuronowe.Zastosowanie w uczeniu z

nadzorem i analizie skupie

Literatura

R. Tadeusiewicz, Sieci neuronowe

S. Ossowski, Sieci neuronowe w ujciu algorytmicznym

Samouczek - http://nrn.prv.pl/

MZG

ODPORNY NA USZKODZENIA;

ELASTYCZNY ATWO DOSTOSOWUJE SI DO ZMIENNEGO OTOCZENIA;

UCZY SI - NIE MUSI BY PROGRAMOWANY;

POTRAFI RADZI SOBIE Z INFORMACJ ROZMYT, LOSOW, ZASZUMION LUB NIESPJN;

W WYSOKIM STOPNIU RWNOLEGY;

MAY, ZUYWA BARDZO MAO ENERGII.

6/10/2013

6

Inspiracje biologiczne Neuron McCullocha-Pittsa

Odpowied pojedynczego neuronu liniowego Perceptron wielowarstwowy

Ile warstw?

Sie 1 warstwowa rozwizuje tylko problemy liniowe

Sie dwuwarstwowa dzieli obszar na spjne i wypuke klasy

Sie trzywarstwowa rozwie kady problem klasyfikacji/regresji, ale ze wzgldu na redukcj wzw w jednej warstwie stosuje si czasem sieci czterowarstwowe

Ile wzw?

Warstwy WE i WY w zalenoci od problemu

Warstwa ukryta drog eksperymentw

6/10/2013

7

Moliwoci klasyfikacji Wyznaczanie wag

Algorytm wstecznej propagacji bdw

Jest to podstawowy algorytm uczenia nadzorowanego wielowarstwowych jednokierunkowych sieci neuronowych.

Podaje on przepis na zmian wag wij dowolnych pocze elementw przetwarzajcych rozmieszczonych w ssiednich warstwach sieci.

Oparty jest on na minimalizacji sumy kwadratw bdw uczenia z wykorzystaniem optymalizacyjnej metody najwikszego spadku.

Funkcje aktywacji

Neuron typu sigmoidalnego ma struktur podobn do modelu McCullocha-Pittsa, z t rnic, e w przeciwiestwie do perceptronu funkcja aktywacji jest ciga i przyjmuje posta funkcji sigmoidalnej unipolarnej (0,1) lub bipolarnej (-1,1). Funkcja unipolarna ma zwykle posta

natomiast bipolarna

Sie Hopfielda to sie autoasocjacyjna (kady z kadym)