UNIVERZITET U TRAVNIKUFAKULTET ZA TEHNIKE STUDIJE

Vieeslojni perceptron(Seminarski rad)

Travnik, April 2014Sadraj

1.UVOD32.PERCEPTRON43.VIESLOJNI PERCEPTRON64.UENJE74.1.Algoritam backpropagation74.2.Algoritam roja estica85.STRUKTURA I SVOJSTVA VIESLOJNOG PERCEPTRONA106.ZAKLJUAK127.LITERATURA13

Sadraj Osnove ovog seminarskog rada ini posebna vrsta neuronskih mrea Vieslojni perceptron. Uloga perceptrona kao jednog od modela neuronskih mrea iskazuje se u klasifikaciji i raspoznavanju uzoraka.

Kljune rijei: Perceptron, vieslojni perceptron, neuronske mree

Abstract The basics of this seminar paper makes a special type of neural network - multilayer perceptron. The role of the perceptron as one of the models of neural networks is presented in the classification and pattern recognition.

Keywords: Perceptron, Multilayer Perceptron, Neural Network

1. UVOD

Vieslojni perceptron (engl.multilayer perceptron) jedna je od najrairenijih primijenjenih neuronskih mrea. Uenje se u navedenoj mrei odvija pomou algoritma irenje unatrag. Algoritam mree irenje unatrag bio je od iznimne, mogli bismo rei i presudne, vanosti te je neuronske mree uinio iroko upotrebljavanom i vrlo popularnom metodom u razliitim podrujima. Ovu je mreu 1974. godine kreirao Paul Werbos, a 1986. godine proirili su ju David Rumelhart, Geoffrey Hinton i Stephen Williams (alac, 1997.). Mrea irenja unatrag bila je prva neuronska mrea s jednim ili vie skrivenih slojeva. Mrea funkcionira na nain da se ulazne vrijednosti ire kroz skriveni sloj do izlaznog sloja, nakon ega se odreuje greka koja se iri unatrag do ulaznog sloja i ugrauje u formulu za uenje.

2. PERCEPTRON

Perceptroni su jedna od najkoritenijih i najpoznatijih neuronskih mrea. Sam je pojam prvi upotrijebio Frank Rosenblatt (Rosenblatt, 1958) kako bi opisao razliite modele neuronskih mrea. Od njega je potekla ideja da se funkcijski opis rada neurona implementira u obliku programskog algoritma umjesto da se pokuava izgraditi fiziki model neurona.

Slika 1 Osnovna struktura neurona

Najjednostavnija neuronska mrea sastoji se od jednog perceptrona kao to je prikazano na slici 2. Jednoslojnu neuronsku mreu mogu initi vie perceptrona kao osnovnik mrenih vorova.

Slika 2 Perceptron sa tri ulaza pragom 0 i jednim izlazom Svaki ulaz je mnoen teinskim faktorom i zajedno ine zbroj umnoaka. Na tu vrijednost primjenjuje se "aktivacijska funkcija" iji rezultat predstavlja izlaz, aktivacijsku vrijednost vora. Jedna takva funkcija je i step funkcija prikazana na slici 3

Slika 3 Step FunkcijaZa svaki ulaz, perceptron proizvodi odreeni izlaz, ovisno o ulaznoj vrijednosti i teinskim faktorima. Teine se mogu podesiti tako da se postigne eljeni izlaz za odreeni ulaz.

Slika 4 Prikaz izgleda biolokog neurona i perceptrona

Slika 5 Prikaz matematikog modula neurona3. VIESLOJNI PERCEPTRON

Najee koritena vrsta neuronske mree je vieslojni perceptron (engl. Multilayer perceptron, MLP) koji ima ulazni sloj, barem jedan skriveni sloj i izlazni sloj. Neuroni su povezani samo s neuronima iz susjednih slojeva. Signal se alje u jednom smjeru, od ulaza prema izlazu (engl. feed-forward). Za aktivacijsku funkciju najee se koristi sigmoidalna funkcija. Na slici 6 je primjer vieslojnog perceptrona sa 3 ulaza, jednim skrivenim slojem od 4 neurona i 2 izlaza.Odbrambena mo mree pohranjena je u jaini veza izmeu neurona odnosno teinama do kojih se dolazi postepenom prilagodbom tj. uenjem (treniranjem) iz skupa podataka za uenje. Uobiajen nain uenja mree je s algoritmom backpropagation, ali se moe uiti i na druge naine, npr. s algoritmom roja estica.

Slika 6 Vieslojni perceptron Zbir svih ulaza u neuron ini teinsku sumu.

Data formula se odnosi na izraunavanje teinske sume pri prenosu signala od sloja iji su neuroni oznaeni sa j, ka neuronu oznaenog sa i.4. UENJE

Kao i u sluaju ostalih neuronskih mrea potrebno je izvriti proces uenja. Postoje dve vrste uenja sa i bez nagledanja, pri emu se prvo vie koristi. Da bi se dato uenje izvrilo potrebno je imati obuavajui skup, koji se sastoji od razliitih vektora ulaza, sa eljenim vektorom izlaza iz celokupne mree. Neobuena mrea generie rezultat koji se razlikuje od eljenog, to predstavlja greku. Svrha celokupnog procesa uenja jeste da se ta greka minimizuje do odreene granice. Postoje razliiti naini redukcije greke. Najee korieni algoritam jeste algoritam prostiranja greke unazad (Backpropagation Learning Algorithm).

4.1. Algoritam backpropagation

Algoritam uenja Back-Propagation (irenje greke unatrag) bio je presudan za iroku komercijalnu potrebu ove metodologije, te je neuronske mree uinio iroko upotrebljavanom i popularnom metodom u razliitim podrujima. U osnovi, ovaj algoritam propagira input kroz mreu od ulaznog do izlaznog sloja, a zatim odreuje greku I tu greku propagira unazad sve do ulaznog sloja ugraujui je u formulu za uenje. Standardni algoritam mree irenje greke unatrag ukljuuje optimizaciju greke koristei deterministiki algoritam gradijentnog opadanja. Glavni nedostatak ovog algoritma je problem estog pronalaenja lokalnog umjesto globalnog minimuma greke. Zbog toga novija istraivanja ukljuuju njegovo unapreivanje drugim metodama.Algoritam uenja irenje greke unatrag je univerzalni algoritam primjenjiv na probleme kod kojih je potrebno predvidjeti vrijednost jedne ili vie izlaznih varijabli, a mogue ga je koristiti i za probleme klasifikacije, gdje se ulazni vektor rasporeuje u jednu od klasa zadanih na izlazu, Ovaj algoritam se ne preporuuje za upotrebu na nestacionarnim podacima ili za sluajeve kada podaci u sebi skrivaju vie, u osnovi razliitih, problema. Rjeenje za takve probleme moe se pronai u upotrebi vie neuronskih mrea od kojih e svaka rjeavati pojedini problem zasebno, ili u izboru nekog drugog algoritma.Algoritam uenja irenje greke unatrag prikazana je na Slici 7, pri emu je zbog jasnoe prikazan samo jedan skriveni sloj.

Slika 7 Back-propagation algoritam uenja

4.2. Algoritam roja estica

Algoritam roja estica (engl. particle swarm optimization) je optimizacijski algoritam inspiriran kretanjem jata ptica kojeg su 1995. godine opisali James Kennedy i Russell Eberhart u svom lanku. estice se nekom brzinom kreu u viedimenzijskom prostoru pretraivanja i trae optimalno ili skoro optimalno rjeenje. Da bi algoritam bio bolji od sluajnog pretraivanja kod izbora slijedee pozicije mora uzeti u obzir prethodno pretraena stanja i njihovu dobrotu. Pri odreivanju smjera kretanja svaka jedinka uzima u obzir do tada najbolje pronaeno rjeenje cijele populacije (socijalnakomponenta) gbest (engl. global best solution) i najbolje rjeenje te jedinke (individualna komponenta) pbest (engl. particle's best solution). Za sve estice se smatra da imaju masu te zbog inercije ne mogu naglo mijenjati smjer kretanja. Zato kod auriranja brzine postoji inercijska komponenta koja ima smjer jednak prethodnoj brzini estice ali manju (ili jednaku) amplitudu.Algoritam roja estica je populacijski algoritam. Populacija se sastoji od niza jedinki (estica) koje lete kroz viedimenzijski prostor koji pretrauju, i pri tome svoj poloaj mijenjaju temeljem vlastitog iskustva, te iskustva bliskih susjeda (ime se modeliraju socijalne interakcije izmeu jedinki). Prilikom odreivanja smjera kretanja, svaka jedinka u odreenoj mjeri uzima u obzir svoje do tada pronaeno najbolje rjeenje (individualni faktor), te najbolje pronaeno rjeenje svoje bliske okoline (socijalni faktor). Utjecaj koji svaka od ovih komponenti ima uvelike odreuje ponaanje same jedinke: radi li istraivanje prostora stanja (ukoliko je dominantni individualni faktor) ili fino podeavanje pronaenog rjeenja (ukoliko je dominantni socijalni faktor). Na ovaj nain sam algoritam kombinira globalno pretraivanje prostora stanja te lokalnu pretragu kojom se obavlja fino podeavanje rjeenja.

5. STRUKTURA I SVOJSTVA VIESLOJNOG PERCEPTRONA

Vieslojni perceptron MLP (MultiLayer Perceptron) sastoji se od vie slojeva meusobno povezanih procesnih elemenata vorova ili neurona. Openito, svi su vorovi MLP-a potpuno povezani, svaki sa svakim (slika 8.) to znai da je svaki neuron u svakom sloju povezan sa svim vorovima/neuronima prethodnog sloja. Signal prolazi kroz mreu unaprijed, s lijeva na desno i sloj po sloj.

Slika 8 Prikaz structure vieslojnog perceptronasa dva skrivena sloja

Slika 9 Prikaz smjera kretanja signala kroz vieslojni perceptron

Postoje dvije vrste signala u mrei ( Slika 9 ):1. Funkcijski signalFunkcijski signal je ulazni signal (pobuda) koji poinje na ulaznom dijelu mree, iri se dalje unaprijed (neuron po neuron) i javlja na izlaznom dijelu mree kao izlazni signal. Ovakav signal nazivamo "funkcijskim" iz dva razloga. Prvo, podrazumijeva se da obavlja korisnu funkciju na izlazu iz mree. Drugo, u svakom neuronu kroz koji funkcijski signal prolazi, signal se rauna kao funkcija ulaza i pripadnih teina pridruenih tom neuronu. Funkcijski signal esto se naziva i ulazni signal.

2. Signali grekeSignal greke javlja se kod izlaznog vora mree i propagira se unatrag (sloj po sloj) kroz mreu. Nazivamo ga "signal greke" jer se njegov izraun u svakom neuronu mree temelji na nekom od oblika funkcije greke.

Izlazni neuroni (procesni elementi, vorovi) ine izlazni sloj mree. Preostali neuroni ine jedan ili vie skrivenih slojeva. Tako, skriveni vorovi nisu dio ni ulaza ni izlaza mree otuda njihov naziv "skriveni". Prvi se skriveni sloj puni podacima iz ulaznog sloja kojeg ine senzorni elementi (ulazni vorovi): rezultirajui izlazi prvog sloja predstavljaju ulaze u sljedei skriveni sloj; i tako dalje za ostatak mree.Svaki skriveni ili izlazni neuron vieslojnog perceptrona dizajniran je za obavljanje dva izrauna:1. Izraun funkcijskog signala koji se pojavljuje na izlazu neurona, izraen u obliku kontinuirane nelinearne funkcije ulaznog signala i sinaptikih teina pridruenih tom neuronu.2. Izraun procjene gradijenta (npr., gradijenti pogreke u odnosu na teine povezane s ulazima neurona) koji je potreban pri prolasku unatrag kroz mreu.

6. ZAKLJUAK

U seminarskom radu je prikazana posebna vrsta neuronskih mrea Vieslojni perceptron. Takoer je objanjen sam pojam perceptrona I vieslojnog perceptrona.Obraena je tema nain uenja, posebno su objanjeni algoritam backpropagation i algoritam roja estica. Objanjena je struktura i svojstvo vieslojnog perceptrona, kao i nacini smjera kretanja signala kroz vieslojni perceptron.

7. LITERATURA

Vjetake neuronske mree, URL: http://infoteh.etf.unssa.rs.ba/zbornik/2013/radovi/PRS/PRS-12.pdf Vieslojni perceptronURL: http://www.ktios.net/stari/images/stories/clanovi_katedre/dragan_letic/Lekcija%2018%20-%20viseslojni%20perceptroni.pdf S. Lonari, Neuronske mree: Vieslojni perceptronURL: https://www.fer.unizg.hr/_download/repository/06-ViseslojniPerceptron-1s.pdf S. Lonari, Neuronske mree: PerceptronURL: https://www.fer.unizg.hr/_download/repository/04-Perceptron-1s.pdf Dodatne Pretrage, URL: http://www.google.com

2