Definicija Uporaba Raskorak ciljeva i trenutnih problema Ostvarenje Usporedba s drugim metodama

NeuronskNeuronskee mr mreže s učiteljemeže s učiteljem

Fakultet elektrotehnike i računarstvaFakultet elektrotehnike i računarstvaZEMRISZEMRISProf. Bojana Dalbelo BašićProf. Bojana Dalbelo Bašić28.01.2004 Irena Kezić28.01.2004 Irena Kezić

22Neuronske mrežeNeuronske mreže

DefinicijaDefinicija

UporabaUporaba

Raskorak ciljeva i trenutnih problemaRaskorak ciljeva i trenutnih problema

OstvarenjeOstvarenje

Usporedba s drugim metodamaUsporedba s drugim metodama

ZaključakZaključak


Neuronske mreže s učiteljemNeuronske mreže s učiteljem

Međusobno povezani jednostavni procesni Međusobno povezani jednostavni procesni elementati čija seelementati čija se funkcijonalnost temelji funkcijonalnost temelji na biološkom neuronuna biološkom neuronu

Služe distribuiranoj paralelnoj obradi Služe distribuiranoj paralelnoj obradi podatakapodataka

PPostoji unaprijed poznat sostoji unaprijed poznat skupkup primjera primjera oblika (ulaz, izlaz)oblika (ulaz, izlaz)


UporabaUporaba

Procesiranje signalaProcesiranje signala

RobotikaRobotika

Raspoznavanje uzorakaRaspoznavanje uzoraka

Reproduciranje i raspoznavanje govoraReproduciranje i raspoznavanje govora

U mediciniU medicini

Kompresija podatakaKompresija podataka

Klasifikacija tekstaKlasifikacija teksta


Ciljevi u razvoju neuronskih mrežaCiljevi u razvoju neuronskih mreža

Oblikovanje modela koji će imati sve bitne Oblikovanje modela koji će imati sve bitne funkcije čovjekovog mozgafunkcije čovjekovog mozga

Paralelno procesiranje podatakaParalelno procesiranje podataka

Visok stupanj povezanosti glavnih komponentiVisok stupanj povezanosti glavnih komponenti

Veze se mijenjaju ovisno o iskustvuVeze se mijenjaju ovisno o iskustvu

Učenje kontinuiran procesUčenje kontinuiran proces

Malen pad učinkovitosti ako se neki dijelovi izgubeMalen pad učinkovitosti ako se neki dijelovi izgube


Neuronske mreNeuronske mreže danas...že danas...PrednostiPrednosti

Dobre u procjeni nelinearnostiDobre u procjeni nelinearnostiSposobnost rada s nejasnim podacimaSposobnost rada s nejasnim podacimaRobusne na pogreške u podacimaRobusne na pogreške u podacimaPrilagodljivost okoliniPrilagodljivost okoliniVelik broj varijbliVelik broj varijbli

NedostaciNedostaciU praksi ne postoji nužno skup za učenjeU praksi ne postoji nužno skup za učenjeNe daju objašnjenje pri klasifikacijiNe daju objašnjenje pri klasifikacijiNe postoji učinkovit način kvalitativne i Ne postoji učinkovit način kvalitativne i

kvantitativne obrade podataka istovremenokvantitativne obrade podataka istovremenoRezultat ovisi o početnom stanju mrežeRezultat ovisi o početnom stanju mreže


Ostvarenje i osnovni pojmoviOstvarenje i osnovni pojmoviDvije fazeDvije faze

Faza učenjaFaza učenja

Faza obrade podatakaFaza obrade podataka

Skup primjera za učenje dijelimo naSkup primjera za učenje dijelimo naSkup za učenje (iterativno podešavanje Skup za učenje (iterativno podešavanje težina)težina)

Skup za tSkup za testiranje (provjera rada mreestiranje (provjera rada mreže)že)

Skup za provjeru (konačna provjera)Skup za provjeru (konačna provjera)


Ostvarenje i osnovni pojmoviOstvarenje i osnovni pojmoviOsnovni element (model Osnovni element (model neurona) nazivamo čvor ili neurona) nazivamo čvor ili jedinicajedinica

Čvor prima ulazne Čvor prima ulazne podatke od drugih čvorova podatke od drugih čvorova ili vanjskog izvoraili vanjskog izvora

Svaki ulaz ima pridruženu Svaki ulaz ima pridruženu promjenjivu težinu promjenjivu težinu ww

Izlaz se izračunava prema Izlaz se izračunava prema izrazu izrazu yyii = f(Σw = f(Σwijijyyijij))


Ostvarenje i osnovni pojmoviOstvarenje i osnovni pojmovi

PerceptronPerceptron

Sastoji se od Sastoji se od osnovnih jedinica čiji osnovnih jedinica čiji ulazi dolaze od ulazi dolaze od pretprocesirajučih A-pretprocesirajučih A-jedinica (association jedinica (association unit)unit)


Ostvarenje i osnovni pojmoviOstvarenje i osnovni pojmoviPravilo perceptronaPravilo perceptrona

Ukoliko se uzorak klasificira ispravno -Ukoliko se uzorak klasificira ispravno -> ne radi korekciju> ne radi korekcijuUkoliko se uzorak ne klasificira Ukoliko se uzorak ne klasificira ispravno -> primjeni korekcijuispravno -> primjeni korekcijuCiklički uzimaj sve uzorke redom, a Ciklički uzimaj sve uzorke redom, a postupak zaustavi kad su svi uzorci postupak zaustavi kad su svi uzorci ispravno klasificiraniispravno klasificirani

WWii(k+1) = W(k+1) = Wii(k) + (k) + μμ(t-o)x(k)(t-o)x(k)



Kako bi mreža mogla Kako bi mreža mogla predstaviti visoko predstaviti visoko nelinearne funkcije, nelinearne funkcije, prijenosna funkcija prijenosna funkcija procesnih elementa mora i procesnih elementa mora i sama biti nelinearnasama biti nelinearna

Sigmoidalna funkcija Sigmoidalna funkcija

Metoda gradijentnog spusta Metoda gradijentnog spusta za smanjenje pogreške nad za smanjenje pogreške nad skupom primjera za učenjeskupom primjera za učenje



Neuronska mreža s više izlaza ima slojevitu Neuronska mreža s više izlaza ima slojevitu strukturu (sloj ulaznih podataka, sloj težina, strukturu (sloj ulaznih podataka, sloj težina, izlazni sloj)izlazni sloj)



Gradijent G funkcije gubitaka s obzirom na Gradijent G funkcije gubitaka s obzirom na svaku od težina wsvaku od težina wijij

G=∂EG=∂E//∂w∂wijij

Kolika će biti promjena težina određuje Kolika će biti promjena težina određuje learning rate – learning rate – μμ (stopa učenja) (stopa učenja)

za malu stopu algoritmu treba mnogo vremena da za malu stopu algoritmu treba mnogo vremena da konvergirakonvergira

za veliku stopu algoritam divergiraza veliku stopu algoritam divergira


Uporaba u data miningu 1Uporaba u data miningu 1

Journal of Machine Learning ResearchYoshua Bengio, Réjean Ducharme, Pascal Vincent,Christian Jauvin

Département d’Informatique et Recherche Opérationnelle

Centre de Recherche Mathématiques

Université de Montréal, Montréal, Québec, Canada

UUsporesporedbadba s sa statističkim a statističkim trigratrigramm i back- i back-off n-gram modeloff n-gram modelima ima

Cilj je bio prepoznati povezane nizove Cilj je bio prepoznati povezane nizove riječi u teksturiječi u tekstu


Uporaba u data mininguUporaba u data miningu 1 1

Usporedba je izvršena na Usporedba je izvršena na BrownBrown korpusu korpusu (1 181 041 riječi, sastoji se od velikog (1 181 041 riječi, sastoji se od velikog broja engleskoh tekstova i knjiga)broja engleskoh tekstova i knjiga)

Prvih 800 000 riječi za učenje, sljedećih Prvih 800 000 riječi za učenje, sljedećih 200 200 000 za ocijenu, a preostalih 181 041 za 000 za ocijenu, a preostalih 181 041 za testiranje.testiranje.

Usporedba izvršena i na APN bazi Usporedba izvršena i na APN bazi novinskih članakanovinskih članaka

Set za učenje veličine 14 000 000 riječi,Set za učenje veličine 14 000 000 riječi,setovi za ocijenu i testiranje veličine 1 000 setovi za ocijenu i testiranje veličine 1 000

000 riječi.000 riječi.



Neuronska mreža dala je značajno bolje Neuronska mreža dala je značajno bolje rezultate rezultate

razlika složenosti ispitivanja je 24% na razlika složenosti ispitivanja je 24% na Brown te 8% na APN bazi podatakaBrown te 8% na APN bazi podataka

Statističke metode su bržeStatističke metode su brže

MMetodetode griješee griješe na različitim mjestima, te na različitim mjestima, te su ipak najbolji rezultati postignuti su ipak najbolji rezultati postignuti kombinacijom metoda klasifikacijekombinacijom metoda klasifikacije



University Park, Pa.University Park, Pa. Iowa Iowa

Za prepoznavanje Za prepoznavanje elektroničkog otiskaelektroničkog otiska uljeza koriste se neke od data mining uljeza koriste se neke od data mining metodametoda

Napravljena je usporedba tri takve metodeNapravljena je usporedba tri takve metode Neuronske mrežeNeuronske mreže

Induktivno učenjeInduktivno učenje

Rough setsRough sets



Induktivno uInduktivno učenje i neuronske mreže već čenje i neuronske mreže već su prije upotrebljavane u tu svrhusu prije upotrebljavane u tu svrhu

Rough sets metoda je relativno nov pristupRough sets metoda je relativno nov pristup Ne zahtjeva dodatne podatke o podacimaNe zahtjeva dodatne podatke o podacima

Može obrađivati neprecizne vrijednosti Može obrađivati neprecizne vrijednosti

Nesmetano radi ako neke vrijednosti Nesmetano radi ako neke vrijednosti nedostajunedostaju



Istraživanje koristi podatke programa Istraživanje koristi podatke programa sendmailsendmail

Podatci uključuju Podatci uključuju normalnenormalne i i abnormalneabnormalne otiskeotiske

Normalan otisak ostavlja sam program te Normalan otisak ostavlja sam program te ne uzrokuje smetnjene uzrokuje smetnje

Abnormalan otisak sadrži smetnje koje Abnormalan otisak sadrži smetnje koje uzrokuju tipične Unix problemeuzrokuju tipične Unix probleme


Uporaba u data miningu 2Uporaba u data miningu 2Postotak točnosti klasifikacije za tri Postotak točnosti klasifikacije za tri metode jemetode je

75,6875,68%% za rough sets za rough sets

69,7869,78%% za neuronske mreže za neuronske mreže

51,1651,16%% za induktivno učenje za induktivno učenje

Bolji rezultati su postignuti kada set za Bolji rezultati su postignuti kada set za učenje ima jednak broj normalnih i učenje ima jednak broj normalnih i abnormalnih otisakaabnormalnih otisaka


Uporaba u data mininguUporaba u data miningu 3 3Raspoznavanje jezikaRaspoznavanje jezika

Shane MacNamara, Pádraig CunninghamShane MacNamara, Pádraig Cunningham i i John John ByrneByrneDepartment of Computer Science, Trinity College Department of Computer Science, Trinity College Dublin Dublin 2 IrelandDublin Dublin 2 Ireland

Upotrebljene neuronske mreže s paralelno Upotrebljene neuronske mreže s paralelno distribuiranim procesiranjemdistribuiranim procesiranjem

Procesiranje kratkih uzoraka tekstaProcesiranje kratkih uzoraka teksta



Učinkovitost uspoređena s trigram Učinkovitost uspoređena s trigram metodom i metodom sufiksne/morfološke metodom i metodom sufiksne/morfološke analizeanalize

Postotak pravilno klasificiranih uzorakaPostotak pravilno klasificiranih uzoraka92% trigram metoda92% trigram metoda

88% neurnska mreža88% neurnska mreža

85% morfološka analiza85% morfološka analiza

Trigram metoda značajno bržaTrigram metoda značajno brža



J. Mostafa, W. Lam J. Mostafa, W. Lam School of Library and Information Science, Indiana School of Library and Information Science, Indiana University, BloomingtonUniversity, Bloomington

Department of Systems Engineering and Engineering Department of Systems Engineering and Engineering Management, Chinese University of Hong Kong, Shatin, New Management, Chinese University of Hong Kong, Shatin, New Territories, Hong Kong, People's Republic of ChinaTerritories, Hong Kong, People's Republic of China

Klasifikacija medicinskih članaka iz Klasifikacija medicinskih članaka iz područja stanične biologijepodručja stanične biologije

Usporedba s klasifikacijom koju obavlja Usporedba s klasifikacijom koju obavlja čovjekčovjek



Dvije faze Dvije faze Faza učenjaFaza učenja

Faza klasifikacijeFaza klasifikacije

Neuronske mreže pokazale su Neuronske mreže pokazale su zadovoljavajuće rezultatezadovoljavajuće rezultate

Performanse mreže variraju u ovisnosti o Performanse mreže variraju u ovisnosti o postotku točnosti predpostavljenih klasapostotku točnosti predpostavljenih klasa


ZaključakZaključakNeuronske mreže uobičajno nisu Neuronske mreže uobičajno nisu upotrebljavane u data miniguupotrebljavane u data minigu

Ne daju objašnjenje svojih postupakaNe daju objašnjenje svojih postupaka Treba im dugo vremena za klasifikacijuTreba im dugo vremena za klasifikaciju

Ipak postoje dva oblika neuronskih mreža Ipak postoje dva oblika neuronskih mreža prikladna za data miningprikladna za data mining

Izdvajanje pravila (izdvajanje simboličkih modela Izdvajanje pravila (izdvajanje simboličkih modela iz trenirane neuronske mreže)iz trenirane neuronske mreže) Jednostavne mreže s direktnim učenjemJednostavne mreže s direktnim učenjem

((Future Generations Computer Systems. 13(2-Future Generations Computer Systems. 13(2-3):211-229 3):211-229 ))


LiteraturaLiteratura

http://baze.irb.hr

http://search.epnet.com

http://www3.interscience.wiely.com

http://www.zemris.fer.hr/education/ml

http://www.willamette.edu/~gorr/classes/cs449/intro.html

Documents

Definicija Uporaba Raskorak ciljeva i trenutnih problema Ostvarenje Usporedba s drugim metodama