UI 14 Umjetne Neuronske Mreze

Zavod za elektroniku, mikroelektroniku, raunalne i inteligentne sustave

v4.6, 08. lipnja 2010.

Bojana Dalbelo Bai Marko upi Jan najder

Umjetne neuronske mree

2MotivacijaMotivacija

Automatiziranu obradu podataka danas uglavnom rade digitalna raunala.

Ipak, jo je uvijek daleko vie podataka ija obrada nije automatizirana. Te podatke obrauju

ivani sustavi ivih organizama!

Razvoj jedne grane raunarstva motiviran je razmatranjem prevladavajueg naina obrade podataka u svijetu u kojem ivimo.

Traimo drugaiji koncept obrade podataka koji bi bio sliniji funkcioniranju biolokog mozga.

A.I. - sustav koji uspjeno oponaa rad mozga bio bi inteligentan.

1.1.

SadrajSadraj

1. Uvod u neuro-raunarstvo Povijesni pregled Pravci AI Definicija i vrste Primjena Uenje ivani sustav i bioloki neuron Model neurona i vrste Arhitektura mrea

2. Procesni elementiPerceptron Pravilo perceptrona Primjer Uenje booleovih funkcija Linearna odvojivost XOR problem Linearna regresija Srednja kvadratna pogreka Gradijentni spust LMS algoritam

3. Backpropagation algoritamBACKPROPAGATION algoritam i interpretacija skrivenog sloja Primjeri uporabe neuronskih mrea Primjer sustava za raspoznavanje

4Motivacija razvoja neuro-raunarstvaMotivacija razvoja neuro-raunarstva

Istraivanja u neurofiziologiji i kognitivnoj znanosti upuuju: mozak se sastoji od velikog broja neurona koji rade paralelno.

Najsliniji model: raunalni sustav u kojem brojni procesni elementi podatke obrauju paralelno.

Paradigma: umjetna neuronska mrea - UNM[artificial neural network ANN]

Podruje koje se bavi tim aspektom obrade: neuro-raunarstvo

Grane raunarstva iz skupine tzv. mekog raunarstva (engl. softcomputing).

1.1.

5Usporedba ljudskog mozga i raunalaUsporedba ljudskog mozga i raunala

Arhitektura i organizacija mozga gotovo je potpuno razliita od arhitekture konvencionalnih raunala koja su danas u irokoj uporabi (von Neumannova raunala):

atribut mozak raunalo

gradbeni element neuron (>100 vrsta) logika vrata

brzina prijenosa 2 ms ciklus ns ciklus

broj procesora oko 1011

6...mozga i super-raunala?...mozga i super-raunala?

Danas najbre raunalo: Jaguar (11/2009, 06/2010) AMD x86_64 Opteron Six Core 2600 MHz (10.4 GFlops) 224 162 jezgri 2 331 000 GFlopsa = 2,3 1015 Flopsa Cray Inc. Linux OS

http://www.top500.org (koristi se LINPACK benchmark test)

1.1.

7Pravci razvoja umjetne inteligencijePravci razvoja umjetne inteligencije

Od prvih dana razvoja umjetne inteligencije (rane 50) postoje dva pristupa razvoju inteligentnih sustava: Simboliki pristup: znanje iz neke domene nastoji se obuhvatiti

skupom atomikih semantikih objekata (simbola) i zatim initi manipulacija tih simbola pomou algoritamskih pravila

Konektivistiki pristup: temelji se na izgradnji sustava arhitekture sline arhitekturi mozga koji, umjesto da ga se programira, ui samostalno na temelju iskustva

Razliita podruja zahtijevaju razliite pristupe. Simboliki pristup je dobar u mnogim podrujima (osobito isplativ

postao je razvojem ekspertnih sustava), ali nije ispunio rana ekstravagantna obeanja.

Neuspjeh lei u pogrenoj pretpostavci da je svako znanje mogue formalizirati i da je mozak stroj koji podatke obrauje formalnim pravilima.

1.1.

8Konektivistiki pristupKonektivistiki pristup

Mnogi su svakodnevni zadaci previe sloeni za simboliko predoavanje, npr. raspoznavanje uzoraka

Majku moemo prepoznati u 0.1 s Neuroni u mozgu pale svake ms U seriji, dakle, pali samo 100 neurona Oigledno paralelna obrada!

1.1.

9Umjetne neuronske mree vs. von NeumannUmjetne neuronske mree vs. von Neumann

Von Neumannova raunala odlina su za simboliki pristup jer se problemi rjeavaju algoritamski na sekvencijalnom stroju.

Umjetne neuronske mree su distribuirani i paralelni sustavi. Bitne karakteristine razlike dviju paradigmi/arhitektura:

von Neumann ANN

Unaprijed detaljno opisujemoalgoritam kroz korake Ui samostalno ili s uiteljem

Samo se precizni podaci adekvatno obrauju

Podaci mogu biti nejasni (um) ili neizraziti

Funkcionalnost ovisi o svakom elementu

Obrada i rezultat ne ovisi mnogo o jednom elementu

Eksplicitna veza: sematiki objekt - sklopovi raunala

Implicitno znanje (teka interpretacija)

1.1.

Umjetna neuronska mrea - definicijaUmjetna neuronska mrea - definicija

U irem smislu: umjetna replika ljudskog mozga kojom se nastoji simulirati postupak uenja i obrade podataka.

Zapravo dosta klimava analogija. Neuronska mrea skup meusobno povezanih jednostavnih

procesnih elemenata (jedinica, vorova) ija se funkcionalnost temelji na biolokom neuronu i koji slue distribuiranoj paralelnojobradi podataka.

1.1.

11

Primjena umjetnih neuronskih mreaPrimjena umjetnih neuronskih mrea

Odlino rjeavaju probleme klasifikacije i predvianja sve probleme kod kojih postoji sloena (nelinearna) veza ulaza i izlaza.

Neke osobitosti: Dobre u procjeni nelinearnosti. Mogu raditi s nejasnim ili

manjkavim podacima (sensor data). Robusne na pogreke u podacima. Rade s velikim brojem varijabli i parametara. Prilagodljive okolini. Sposobne uiti. ...

Najei zadaci: Raspoznavanje uzoraka. Obrada slike i govora. Problemi

optimizacije. Nelinearno upravljanje. Obrada nepreciznih i nepotpunih podataka. Simulacije. Prognoza vremenskih serija. ...

1.1.

12

Uenje umjetne neuronske mreeUenje umjetne neuronske mree

Dvije faze rada s ANN: Faza uenja (treniranja) i Faza obrade podataka (iskoritavanja, eksploatacije).

Uenje iterativan postupak predoavanja ulaznih primjera (uzoraka, iskustva) i eventualno oekivana izlaza pri emu dolazi do postupnog prilagoavanja teina veza neurona

Jedno predoavanje svih uzoraka naziva se epohom Razlikujemo:

Pojedinano uenje (on-line) za svaki primjer podeavamo faktore Grupno uenje (batch) cijela epoha u jednoj iteraciji

Znanje o izlazu kao funkciji ulaza pohranjeno je implicitno u teinama veza neurona

1.1.

13


Dva naina uenja: Uenje s uiteljem (supervised learning) postoje primjeri oblika

(ulaz, izlaz) Uenje bez uitelja (unsupervised learning) izlaz je a priori

nepoznat

1.1.

14


Skup primjera za uenje esto dijelimo na: Skup za uenje slui za iterativno podeavanje teina Skup za testiranje provjeravamo rad mree Skup za provjeru konana provjera

Uenje se provodi dok mrea ne daje odgovarajuu tonost obrade podataka (uvodi se mjera pogreke)

PretreniranostANN gubi poeljno svojstvo generalizacije i postaje strunjak za podatke iz skupa za uenje (treber)

1.1.

15

Na ivani sustavNa ivani sustav

1011 neurona, 100 razliitih vrsta, rasporeeni po definiranom rasporedu, svaki povezan s 104 drugih

Dijelovi: soma, dendriti, akson, zavrni lanci

1.1.

16

Umjetni neuronUmjetni neuron

McCulloch-Pitts model (1943.): Threshold Logic Unit (TLU) Analogija: signali su numerike vrijednosti, jakost sinapse opisuje

teinski faktor w, tijelo stanice je zbrajalo, akson je prijenosna (aktivacijska) funkcija f

1.1.

17

Umjetni neuronUmjetni neuron

X0=1, w0=-theta )()(0

netfxfon

iii ==

=

=

=++++=n

iiinn xxxxxnet

0221100 ...

+++= nnxxxnet ...2211

1.1.

18

Umjetni neuron Umjetni neuron

Razliite funkcije dolaze u obzir kao prijenosne funkcije:

ADALINE

TLU

Sigmoidalna jedinica

1.1.

19

Arhitektura mreaArhitektura mrea

Mogue arhitekture:

Aciklika (feedforward) Mrea s povratnom vezom (recurrent net) Lateralno povezana mrea (reetkasta)

1.1.

SadrajSadraj


2. Procesni elementiPerceptron Pravilo perceptrona Primjer Uenje booleovih funkcija Linearna odvojivost XOR problem Vieslojna mrea perceptrona Linearna regresija Srednja kvadratna pogreka Gradijentni spust LMS algoritam

3. Backpropagation algoritamBACKPROPAGATION algoritam i interpretacija skrivenog sloja Primjeri uporabe neuronskih mrea Primjer sustava za raspoznavanje

21

KlasifikacijaKlasifikacija

ovjek svakodnevno i neprestano obavlja klasifikaciju! Postoji skup objekata/uzoraka koji imaju odreen skup znaajki. Klasifikacija pridjeljivanje naziva/oznaka svakom uzorku iz prostora

uzoraka.

Uzorci Prostor uzoraka

2.2.

22


Jedna mogua klasifikacija

Dominantno uti likovi

Dominantno plavi likovi

2.2.

23


Druga mogua klasifikacija

Ne moe pisati

Moe pisati

2.2.

24


Svaki uzorak posjeduje odreene znaajke (boja, oblik, dimenzije, ).

Klasifikaciju inimo na temelju nekih od znaajki.

Uzoraka moe biti beskonano ne moemo unaprijed generirati sve uzorke i pripadne klasifikacije ovjek ipak dobro generalizira

elimo postupak kojim bismo na temelju malog broja poznatih uzoraka mogli nauiti pravilno klasificirati neviene primjere.

2.2.

25


Primjer koncepta Dobra tajnica svaki objekt ima dvije znaajke: Znaajka Komunikativnost Znaajka Snalaljivost

Za potrebe raunala znaajke treba kvantizirati raunalo radi s brojevima.

Ocjenjujemo znaajke na skali od 1 do 5. 1 je najloija vrijednost. 5 je najbolja vrijednost.

Oznake Dobra tajnica i ne-Dobra tajnica kodiramo: Dobra tajnica 1 Ne-Dobra tajnica -1

2.2.

26


Primjer Dobra tajnica

Kada su ulazi i izlazi brojevi, za klasifikaciju moemo koristiti TLU perceptron.

Komunikativnost Snalaljivost Oznaka Kodirano

2 5 "Dobra tajnica" 1

5 2 "Dobra tajnica" 1

1 5 ne-"Dobra tajnica" -1

5 1 ne-"Dobra tajnica" -1

2.2.

27

TLU perceptronTLU perceptron

1943. McCulloch i Pitts TLU Perceptron.

2.2.

28

Step(x) = 1, x 0

1943. McCulloch i Pitts TLU Perceptron.

Dvije definicije prijenosne funkcije:

Oba oblika koriste se podjednako. U primjerima emo koristiti TLU:-1,1.

Step(x) = 0, x < 0

Step(x) = -1, x < 0

TLU perceptronTLU perceptron2.2.

29


Izlaz raunamo u opem sluaju prema formuli:

Eksplicitno se uvodi:

[ ]

)(

1

)()(

011

10

wxwxwStep

x

x

wwStepxwStepnetStepo

nn

n

nT

+++=

===

K

MLrr

10

2.2.

=x

30


Kada dolazi do promjene klasifikacije?

Toke koje zadovoljavaju ovu jednadbu ine granicu! (decizijska funkcija)

Kada imamo dvije znaajke granica je pravac. Vie znaajki rezultira hiperravninom.

Bitno je uoiti granica je linearna.

2.2.

00 011 =+++= wxwxwnet nn K

31


U naem primjeru perceptron ima dva ulaza:

Snalaljivost x1 Komunikativnost x2

Pretpostavimo:

2.2.

[ ] [ ]85.53.11012 =www

32


U naem primjeru izlaz raunamo prema formuli:

2.2.

[ ] )(1

011221

2

012 wxwxwStepxx

wwwStepo ++=

=

Teinski faktori Komun. Snal. Suma Izlaz Toan Ispravno

w2 w1 w0 x2 x1 net o=S(net) t

1 1.3 -5.85 2 5 2,65 1 1 DA

1 1.3 -5.85 5 2 1,75 1 1 DA

1 1.3 -5.85 1 5 1,65 1 -1 NE

1 1.3 -5.85 5 1 0,45 1 -1 NE

33


1949. Hebb uiti znai mijenjati jakosti veza! Potrebno je mijenjati teinske faktore. 1958. Rosenblatt: spoj Hebbove ideje i McCulloch-Pitts modela

Pravilo Perceptrona Ukoliko se uzorak klasificira ispravno ne radi korekciju Ukoliko se uzorak klasificira neispravno primjeni korekciju Cikliki uzimaj sve uzorke redom, a postupak zaustavi kada su

svi uzorci za redom klasificirani ispravno

Korekcija:

2.2.

)()()()1( kxotkwkw ii +=+

34


Uenje perceptrona uz:

Postupak zavrava s:

[ ] [ ]93.594.092.0012 =www

02.0=

2.2.

[ ] [ ]85.53.11012 =www

http://www.zemris.fer.hr/predmeti/nenr/simulacije/fsit/fsitprg.html

35


Kako se klasificira novi uzorak [5 5]?

Kako se klasificira novi uzorak [1 1]?

Vidimo da je perceptron NAUIO klasificirati uzorke koje prethodno nije vidio!

1)37.3()93.5594.0592.0( ==+ StepStep

1)07.4()93.5194.0192.0(

2.2.

==+ StepStep

36


TLU moe nauiti neke logike funkcije I, ILI, NE, ...

2.2.

1-1

1

-1

x1

x2 Logiko I

Istinu kodiramo s 1 La kodiramo s -1

11

0

21

===

www

Logiko I s M ulaza:

}1{1

0

1

+====

Mwww ML

37

XOR problemXOR problem

to je s logikom funkcijom XOR? Nije linearno razdvojivo!

2.2.

1969. Minsky i Papert Perceptrons Perceptron nije dobar kada ne moe

rjeiti tako jednostavan problem poput XOR elementarne logike funkcije!

1-1

1

-1

x1

x2

???

38

XOR problemXOR problem

to je s logikom funkcijom XOR? Treba konstruirati mreu!

2.2.

212121 xxxxxx +=

1-1

1

-1

x1

x2

TLU

TLU

TLU

x1

x2

-1

-1

1

-1

1

-1

1

1

1

21 xx

21 xx

2121 xxxx +

21 xx

39


Problem s mreama TLU perceptrona jest nemogunost uenja konvencionalnim postupcima!

Rjeenje traimo na drugom mjestu...

2.2.

40

Nelinearna prijenosna funkcija?Nelinearna prijenosna funkcija?2.2.

Linearna kombinacija linearnih kombinacija opet je linearna kombinacija...

Trebamo nelinearne prijenosne funkcije!

esto se koristi sigmoidalna (logistika) prijenosna funkcija.

Ovakve mree su univerzalni aproksimatori mogu aproksimirati proizvoljnu funkciju s proizvoljnom preciznou.

SadrajSadraj


2. Procesni elementiPerceptron Pravilo perceptrona Primjer Uenje booleovih funkcija Linearna odvojivost XOR problem Vieslojna mrea perceptrona Linearna regresija Srednja kvadratna pogreka Gradijentni spust LMS algoritam

3. Backpropagation algoritamBACKPROPAGATION algoritam Primjeri uporabe neuronskih mrea Primjer sustava za raspoznavanje

42

BACKPROPAGATION algoritamBACKPROPAGATION algoritam

Kako bi mrea mogla predstaviti visoko nelinearne funkcije, prijenosna funkcija procesnih elemenata mora i sama biti nelinearna funkcija

elimo li koristiti gradijentne metode, prijenosna funkcija mora biti i derivabilna

Rjeenje sigmoidalna funkcija

koja ima prvu derivaciju df(x)/dx = f(x) [1-f(x)]

3.3.

43


Koristimo neuron sa sigmoidalnom funkcijom

Algoritam koristi metodu gradijentnog spusta kako bi minimiziraonastalu pogreku E(w) na izlazu mree nad skupom primjera za uenje D

Kod vieslojne mree izlazni sloj moe sainjavati vie neurona, pa definiramo pogreku kao

3.3.

44


Uenje se svodi na pretraivanje u n-dimenzijskom prostoru hipoteza (n = ukupan broj teina)

Povrina pogreke E(w) nije parabolika kao kod jednog procesnog elementa, ve sadrava brojne lokalne minimume

Unato tome algoritam daje dobre rezultate (osobito stohastika varijanta)

3.3.

45


Notacija:

3.3.

ioj

jo

46


Inicijaliziraj teinske faktore na sluajne vrijednostiDok nije ispunjen uvjet zaustavljanja ini

Za svaki (x,t) iz D iniIzraunaj izlaz ou za svaku jedinicu uZa svaku izlaznu jedinicu k izraunaj pogreku

Za svaku skrivenu jedinicu izraunaj pogreku

Ugodi svaki teinski faktor wij

gdje jeKraj

Kraj

))(1( kkkkk otoo

)(

)1(hDownstreams

shshhh oo

ijijij +

3.3.

k

ijij o =

47


h

Downstream(h) = {s1, s2}

s1, s1whs1

whs2s2, s2

izlazni slojulazni sloj

s1 = os1 (1 - os1) (ts1 - os1) s2 = os2 (1 - os2) (ts2 os2)

h = oh (1 - oh) (whs1 s1 + whs2 s2) h e sluiti za ugaanje ulaza u h

skriveni slojskriveni sloj

3.3.

48

Primjer: Raspoznavanje novanica Primjer: Raspoznavanje novanica

Zadatak klasificiranje etiri vrste papirnatih novanica neovisno o orijentaciji

Skup primjera za uenje sainjava 16 razliitih uzoraka uzorkovanih s 45x22 slikovna elementa:

3.3.

49


Uzorci se prije dovoenja na ulaze ANN predprocesiraju:

3.3.

50

Primjer: Raspoznavanje novanicaPrimjer: Raspoznavanje novanica

Uzorci su u stvari digitalizirane slike, pa e se meusobno razlikovati u intenzitetu odgovarajuih slikovnih elemenata (posljedica razlike u stupnju istroenosti novanice, izguvanosti papira, oteenosti).

U primjeru je koriten generator umjetnih uzoraka koji generira uzorke razliitog stupnja oteenja u svrhu provjere rada mree i ugaanja njezinih parametara.

Prednosti: dostupnost velikog broja uzoraka za provjeru, mogunost promatranja odziva mree u ovisnosti o promjeni

samo jednog parametra uzorka, mogunost definiranja praga tolerancije oteenih uzoraka.

Nedostaci: generirani uzorci nisu u potpunosti stohastike prirode, generatorom se rijetko mogu obuhvatiti sva obiljeja pravih

uzoraka.

3.3.

51


Parametri mree aciklika potpuno spojena uniformno-slojevita mrea strukture 990x3x4, stopa uenja=0.02, moment=0.02, provjera nad skupom za testiranje svakih 2500 epoha

Rezultat klasifikacije odgovara neuronu iji je izlaz najvei Mrea nije uena s anti-primjerima, no meusoban odnos izlaznih

vrijednosti moe posluiti kao mjera pouzdanosti klasifikacije Mogue je utvrditi neki prag tolerancije oteenja uzorka

3.3.

52

ZakljuakZakljuak

Neuroraunarstvo: vrlo ivo i aktivno podruje zanimljivo inenjerima, biolozima, neurolozima, psiholozima, medicini,

Puno razliitih vrsta neuronskih mrea: unaprijedne, samoorganizirajue, rekurentne,

Omoguavaju uenje iz samih podataka, s uiteljem ili bez njega Rjeavaju zadatke koje mi ne znamo algoritamski opisati i rijeiti Izuzetno robusne Primjena: modeliranje sloenih procesa, regresija, predikcija

trendova, raspoznavanje uzoraka, klasifikacijski problemi,

3.3.

LiteraturaLiteratura

T. M. Mitchell, Machine Learning. The McGraw-Hill Companies, Inc., 1997. R. S. Michalski, I. Bratko, M. Kubat, Machine Learning And Data Mining,

John Wiley & Sons Ltd., 1998 P. Picton, Neural Networks. PALGRAVE, 1994. B. Dalbelo Bai, Biljeke s predavanja. Fakultet elektrotehnike i

raunarstva, Zagreb, 2001. K. Gurney, "Computers and Symbols versus Nets and Neurons". Dept.

Human Sciences, Brunel University, Uxbridge, 2001. K. Gurney, "Drawing things together some perspectives". Dept. Human

Sciences, Brunel University, Uxbridge, 2001. D. Miljenevi, I. Mari, Umjetna inteligencija. kolska knjiga, Zagreb,

1991. AutomataTheory. Encyclopaedia Britannica Inc., 2001 CD-ROM Edition.

MotivacijaSadrajMotivacija razvoja neuro-raunarstvaUsporedba ljudskog mozga i raunala...mozga i super-raunala?Pravci razvoja umjetne inteligencijeKonektivistiki pristupUmjetne neuronske mree vs. von NeumannUmjetna neuronska mrea - definicijaPrimjena umjetnih neuronskih mreaUenje umjetne neuronske mreeUenje umjetne neuronske mreeUenje umjetne neuronske mreeNa ivani sustavUmjetni neuronUmjetni neuronUmjetni neuron Arhitektura mreaSadrajKlasifikacijaKlasifikacijaKlasifikacijaKlasifikacijaKlasifikacijaKlasifikacijaTLU perceptronTLU perceptronTLU perceptronTLU perceptronTLU perceptronTLU perceptronTLU perceptronTLU perceptronTLU perceptronTLU perceptronXOR problemXOR problemTLU perceptronNelinearna prijenosna funkcija?SadrajBACKPROPAGATION algoritamBACKPROPAGATION algoritamBACKPROPAGATION algoritamBACKPROPAGATION algoritamBACKPROPAGATION algoritamBACKPROPAGATION algoritamPrimjer: Raspoznavanje novanica Primjer: Raspoznavanje novanica Primjer: Raspoznavanje novanicaPrimjer: Raspoznavanje novanica ZakljuakLiteratura

Documents

UI 14 Umjetne Neuronske Mreze