SVEUILITE U SPLITU PRIRODOSLOVNO-MATEMATIKI FAKULTET ODJEL ZA INFORMATIKU

SIMULACIJA NEURONSKIH MREAZAVRNI PREDDIPLOMSKI RADPreddiplomski studij: INFORMATIKA

Split

Studentica: Petra Sirievi

Mentor: Andrina Grani, dr. sc. Neposredni voditelj: Saa Mladenovi, dr. sc.

1

SADRAJSADRAJ........................................................................................................................................2 1.UVOD...........................................................................................................................................3 2.UMJETNA INTELIGENCIJA.....................................................................................................4 2.1Povijest umjetne inteligencije.................................................................................................6 Joseph Weizenbaum autor je prvog dijalokog sustava (engl. dialogue system) poznatog pod nazivom ELIZA, koji nastaje 1967. godine. ELIZA predstavlja simulaciju Rogerovog psihoterapeuta koji postavlja pitanja i pokazuje empatiju s pomou kratkih iskaza, a zapravo ne daje savjete. Interakcija izmeu dijalokog sustava i ovjeka odvija se na sljedei nain: 1. ovjek upisuje pitanje upueno dijalokom sustavu .............................................................8 2. dijaloki sustav odgovara na pitanje uporabom metode prepoznavanja uzoraka i odabira fraze spremeljene u njegovu bazu znanja....................................................................................8 3.NEURONSKE MREE................................................................................................................9 3.1 Uvod u neuronske mree .....................................................................................................9 3.3 Bioloka neuronska mrea...................................................................................................11 Ljudski i umjetni neuroni: slinosti ..........................................................................................11 3.4 Umjetne neuronske mree....................................................................................................12 3.4.1 Pristup ininjerstvu.......................................................................................................12 3.4.2 Arhitektura neuronskih mrea.......................................................................................14 Neuroni su spojeni u mreu na nain da izlaz svakog neurona predstavlja ulaz u jedan ili vie drugih neurona. Prema smjeru, veza izmeu neurona moe biti jednosmjerna ili dvosmjerna, a prema intenzitetu mogua je pobuujua (egzitatorna) ili smirujua (inhibitorna) veza. Neuroni su obino u umjetnoj neuronskoj mrei organizirani u grupe ili slojeve u kojima se informacije paralelno obrauju..................................................................................................18 3.4.3 Proces uenja................................................................................................................21 3.4.4 Prijenosna funkcija........................................................................................................24 3.5 Neuronske mree u odnosu na konvencionalna raunala....................................................26 3.6 Primjene neuronskih mrea .................................................................................................28 2

4. SIMULACIJA NEURONSKIH MREA

.........................................................................29

4.1 NetLogo...............................................................................................................................29 4.2 Perceptron............................................................................................................................31 4.3 Umjetna neuronska mrea....................................................................................................33 5. ZAKLJUAK............................................................................................................................36 LITERATURA..............................................................................................................................38

1.UVODU dananje vrijeme nastaje, razvija se i prouava velik broj sustava koji pokazuju odreene znaajke ljudske inteligencije, kao to su razumijevanje i obradba prirodnog jezika, automatsko zakljuivanje, uenje pa ak i izraavanje osjeaja. Oni su i danas predmet istraivanja velikog broja podruja kao to su raunalna znanost, neurolingvistika, lingvistika, psihologija, filozofija i informacijske znanosti. Iako je zabiljeen velik napredak u razvoju inteligentnih sustava od samih poetaka do danas, ni jedan stroj jo uvijek nije u mogunosti replicirati sva svojstva ljudske inteligencije.

3

2.UMJETNA INTELIGENCIJAUmjetna inteligencija (engl. Artificial intelligence) je disciplina koja se bavi oblikovanjem inteligentnih sustava koji implementiraju ona svojstva ljudskog ponaanja koja se smatraju inteligentnim. Naziv je smislio John McCarthy prije tri desetljea. Ovo je jedno od najzanimljivijih i najperspektivnijih podruja razvoja znanosti. Podruja koja se bave istraivanjem umjetne inteligencije su raunarstvo, filozofija, matematika, ekonomija, psihologija i lingvistika . Ljudsko razmiljanje je proces koji kao svoju bazu upotrebljava inteligenciju i znanje pojedinca. Inteligencija nam omoguuje stjecanje znanja i olakava mogunost njegove primjene u praksi. Umjetna inteligencija daje raunalu dodatnu mogunost procjene moguega kapaciteta koji se ogleda u inteligentnom ponaanju (to je jedan od osnovnih ciljeva umjetne inteligencije). Iako 4

raunalo ne moe uiti i stjecati iskustvo kao ljudsko bie, ipak moe upotrebljavati znanje i iskustvo pojedinaca i tako ga spojiti u kvalitetne raunalne programe.

Slika 1 Odgovori temeljem baze znanja

Kao to intelektualni kapaciteti na osnovi postignute i formirane baze znanja mogu utjecati na sposobnost zakljuivanja, tako i raunalo moe "razmiljati" i "donositi zakljuke", ali je sposobnost prosuivanja temeljem injenica i odnosa sadrana u bazi znanja. Baza znanja je skup injenica i pravila koja opisuju konkretno podruje. Svaka baza znanja pisana je jezikom reprezentacije (iskazivanja znanja), a sadrava deklerativna znanja o konkretnom podruju; pritom podrazumijeva tipian postupak ili procesiranje donoenja zakljuka ukljuujui najvie proceduralnih znanja o tome kako ostvariti loginu dedukciju, Slika 1. S bazom znanja i sa sposobnosti da se iz toga izvode zakljuci raunalo se moe staviti u praktinu upotrebu kao rjeava problema i donosilac odluka. Jedno od najvanijih podruja istraivanja jesu vidni sustavi i strojno opaanje, tj. prerada ulazne informacije u podatke na temelju kojih stroj sainjava plan djelovanja.Tu se javljaju neki od osnovnih problema kao to su prepoznavanje oblika, pronalaenje rubova, opaanje struktura i trodimenzionalnog prostora, te drugih klasinih problema kojima se bavi percepcija. Razvoj teorije neuronskih mrea (neural nets) prua objanjenja razliitih problema u psihologiji percepcije, pri emu se uzima u obzir neuroanatomska struktura mozga, te sloenim matematikim modelima simuliraju razliite perceptivne situacije.

5

2.1Povijest umjetne inteligencijeRani poeci Koncept inteligentnih strojeva moe se u tragovima pronai ve u grkoj mitologiji. U srednjemu vijeku pojavljuju se primitivni strojevi koji oponaaju ljudski govor. Njihovi idejni zaetnici bili su filozofi Roger Bacon i Albert Magnus. U 18. stoljeu pojavljuju se strojevi za igranje aha pod nazivom Turk. Ispostavilo se da se u unutranjosti takvog stroja skrivao mali ovjek te da se cijeli koncept zapravo zasnivao na mehanikoj iluziji. U 19. stoljeu Charles Babbage i Ada Byron kreiraju analitiki stroj koji se smatra preteom dananjih raunala. U istome je stoljeu objavljena pria Frankenstein: ili moderni Prometej autorice Mary Shelley, koja opisuje pokuaj znanstvenika Victora Frankensteina da stvori umjetni ivot.

6

Prva polovica 20.stoljea: vei pomak Matematiar i kriptoanalitiar Alan Mathison Turing obiljeio je prvu polovicu 20. stoljea i doprinio razvoju podruja umjetne inteligencije postavljenjem teorije poznate kao Turingov test. Turingov test koncipiran je kao igra u kojoj se provjerava teza mogu li raunala misliti. U igru su ukljuena tri sudionika : - ispitanik A (ovjek) - ispitanik B (raunalo) - ispitiva C (ovjek)

Slika 2: Turingov

tekst

Uloga je ispitivaa, koji se nalazi u odvojenoj prostoriji od ispitanika, da na temelju primljenih odgovora na pitanja koja je postavio procijeni je li ispitanik ovjek ili raunalo. Ako raunalo uspije zavarati ispitivaa, moe se tvrditi da je stroj inteligentan. Do danas ni jedan stroj nije proao Turingov test. 1956. godine ameriki je znanstvenik John McCarthy prvi put upotrijebio naziv "umjetna inteligencija" na konferenciji u Dartmouthu, koja je ujedno bila i prva konferencija posveena ovomu podruju. Dvije godine nakon toga kreirao je prvi programski jezik LISP (Locator Identifier Separation Protocol), namijenjen u prvome redu izradbi inteligentnih sustava. Allen Newell, J. C. Shaw i Herbert Simon 1956. godine kreirali su prvi raunalni program Logic Theorist (LT) koji ima svojstva inteligentih sustava. Glavni zadatak toga programa bilo je dokazivanje teorema postavljenih u radu Principia Mathematica. Program je uspio dokazati 38 teorema. Godinu dana nakon toga kreirali su program GPS (engl. General Problem Solver), koji predstavlja prvi program koji replicira ljudski nain razmiljanja.

7

1960-te: Dijaloki sustav Joseph Weizenbaum autor je prvog dijalokog sustava (engl. dialogue system) poznatog pod nazivom ELIZA, koji nastaje 1967. godine. ELIZA predstavlja simulaciju Rogerovog psihoterapeuta koji postavlja pitanja i pokazuje empatiju s pomou kratkih iskaza, a zapravo ne daje savjete. Interakcija izmeu dijalokog sustava i ovjeka odvija se na sljedei 1. ovjek upisuje pitanje upueno dijalokom sustavu 2. dijaloki sustav odgovara na pitanje uporabom metode prepoznavanja uzoraka i odabira fraze spremeljene u njegovu bazu znanja. nain:

1970-te i 1980-te: Eksperimentni sustavi i komercijalizacija 1970-ih godina kao podruja umjetne inteligencije razvijaju se struni ili ekspertni sustavi (engl. expert system). Glavne osobine tih sustava su da rjeavaju jednostavne probleme jednako dobro kao i ljudi koji su strunjaci u odreenome podruju. Ekspertni sustavi sastoje se od baze znanja (injenica i pravila), mehanizma za zakljuivanje te korisnikog suelja koje slui za komunikaciju izmeu ovjeka i stroja. Svoju primjenu pronali su u matematici, pravu, vojnim i medicinskim znanostima te bankarstvu. Prvi ekspertni sustav bio je MYCIN (1976.), a primjena mu je bila vezana uz podruje medicinske dijagnostike i terapeutike. 1980-ih zapoinje razdoblje globalizacije, industrijalizacije i komercijalizacije podruja umjetne inteligencije, posebice na polju ekspertnih sustava.

8

3.NEURONSKE MREE3.1 Uvod u neuronske mreeNeuronska mrea (engl.: Neural Network) je zbir neurona koji su meusobno povezani i interaktivni kroz operacije obrade signala. Tradicionalno, pojam neuronska mrea se odnosi na bioloku neuronsku mreu dok moderno znaenje ovog pojma ukljuuje i umjetne neuronske mree, graene od umjetnih neurona ili vorova. Umjetna neuronska mrea (Artifical Neural Network ANN) je paradigma za obradu podataka koja je inspirirana biolokim modelom ivanog sustava, koji poput mozga obrauje informacije. Kljuni element ove paradigme je nova struktura sustava obrade informacija. Sastoji se od velikog broja meusobno povezanih procesnih elemenata (neurona) koji rade u tijesnoj suradnji zbog rjeavanja konkretnih problema. Umjetna neuronska mrea kao ljudi, ue primjerom. Konfigurirana je za specifine primjene (aplikacije), poput prepoznavanja uzorka ili klasifikaciju podataka, kroz proces uenja. Uenje u biolokim sustavima ukljuuje prilagodbe sinoptikih veza koje postoje izmeu neurona. To vai i za umjetne neuronske mree.

3.2 Povijesni razvoj neuronske mree9

ini se da je simulacija Neuronske mree razvijena tek nedavno. Meutim, ovo podruje je osnovano prije pojave raunala, i preivjelo je barem jedan veliki neuspjeh i nekoliko razliitih razdoblja. Mnogi vani napreci su bili potaknuti koritenjem jeftinih raunalnih emulacija. Nakon poetnog razdoblja entuzijazma, to polje je preivjelo period frustracija. Tijekom ovog perioda, kada je financiranje i struna podrka istraivaa. Neki vrlo vani dogaaji za razvoj neuronskih mrea:

bila minimalna, vane napretke postiglo je relativno malo

1943 - McCullock i Pitts postavljaju temelje za razvoj neuronskih mrea tako to prvi dokazuju da neuroni mogu imati dva stanja (pobuujue i umirujue) i da njihova aktivnost ovisi o nekom pragu vrijednosti.

1949 - Hebb prvi predloio pravilo kojim se opisuje proces uenja (Hebb-ovo pravilo) 1956 - Dartmouth Summer Conference na kojoj su Rochester i skupina autora predstavili prvu simulaciju Hebb-ovog modela koja je pretea modela neuronskih mrea 1958 - Rosenblatt razvio prvu neuronsku mreu perceptron, koja je dvoslojna i nije mogla rjeavati probleme klasifikacije koji nisu linearno djeljivi (npr. XOR problem) 1974 - razvijena vieslojna perceptron mrea - MLP (Paul Werbos), kao pretea Backpropagation mree, koja prevladava nedostatak perceptrona uvoenjem uenja u skrivenom sloju

1986 - Backpropagation mreu usavruju Rumelhart, Hinton i Williams, ona vraa ugled neuronskim mreama, jer omoguuje aproksimiranje gotovo svih funkcija i rjeavanje praktinih problema

Od tada raste znanstveni i komercijalni interes za neuronske mree. Razvijeni su brojni algoritmi za neuronske mree, no najveu komercijalnu upotrebu do danas ima mrea "irenje unatrag" (eng. Backpropagation).

10

3.3 Bioloka neuronska mrea Ljudski i umjetni neuroni: slinostiMnogo toga jo uvijek je nepoznato kako mozak sam sebe trenira za obradu informacija. Bioloke neuronske mree sastavni su dio ovjeka iji se mozak sastoji od desetak milijardi neurona, a zaslune su za izvoenje vrlo vanih funkcija kao to su razmiljanje, uenje, emocije, percepcija, motorika itd. Neuron skuplja signale od drugih kroz niz finih struktura koje zovemo dendriti. Tada neuroni alju impulse elektrine aktivnosti kroz dugi prolaz poznat kao akson, koji se dijeli na tisue grana. Na kraju svake grane, struktura koju zovemo sinapsa pretvara aktivnost iz aksona u elektrine efekte koji koe ili pobuuju aktivnost iz aksona u elektrine efekte koji dalje koe ili pobuuju aktivnost u povezanim neuronima. Kada neuron primi pobuujui ulaz koji je dovoljno velik u usporedbi sa svojim zakoenim ulazom, alje impuls elektrine aktivnosti dolje kroz akson. Uenje nastaje putem promjena uinkovitosti sinapsa, tako da se utjecaj jednog neurona na drugi mijenja. Izraujemo ove neuronske mree najprije pokuavajui utvrditi bitne znaajke neurona kao i njihove meupovezanosti. Onda obino programiramo raunalo za simulaciju ovih znaajki. Meutim, zbog naeg nedovoljnog znanja o neuronima, i nae ograniene snage raunala, nai modeli su neizbjeno velike idealizirane kopije ljudskih mrea.

Slika 2. Bioloki neuron

11

3.4 Umjetne neuronske mree3.4.1 Pristup ininjerstvu Jednostavni neuron

Umjetni neuron je ureaj s mnogo ulaza i jednim izlazom. Neuron ima dva naina rada: vjebanje i koritenje . Kod vjebanja neuron se moe ukljuiti (ili ne ukljuiti) kod odreenog ulaznog uzorka. Kod koritenja kada se otkrije naueni ulazni uzorak, tada njegov pridrueni izlaz postaje trenutani izlaz. Ako ulazni uzorak ne spada u nauene ulazne uzorke, pravilo o ukljuivanju se koristi za odreivanje mogunosti ukljuivanja ili ne ukljuivanja mree.

Slika 3. Jednostavan neuron

12

Pravila ukljuivanja

Pravilo ukljuivanja je vaan koncept kod neuronskih mrea, i vaan je radi fleksibilnosti. Pravilo ukljuivanja odreuje hoe li se neuron ukljuiti kod nekog ulaznog uzorka. To se odnosi na sve ulazne uzorke, a ne samo na one na kojima je vor vjebao. Jednostavno udaljenosti. To pravilo glasi: Uzmi skup uzoraka za vjebanje vora, od kojih neki izazivaju ukljuivanje (1-naueni set uzoraka), i drugi skup koji ga sprjeava da to uini (0-naueni set uzoraka). Tada uzorci koji nisu u skupu izazivaju ukljuivanje vora ukoliko imaju vise zajednikih ulaznih elemenata s najbliim uzorkom u (1-nauenom setu uzoraka), nego s najbliim uzorkom u (0-nauenom setu uzoraka). Ako je nerijeeno onda uzorak ostaje u nedefiniranom stanju. Prepoznavanje uzoraka pravilo ukljuivanja se moe primijeniti upotrebom Hammingove tehnike

Vana primjena neuronskih mrea je prepoznavanje uzoraka. Moe se provesti pomou feedforward (Slika 4) neuronske mree koja je vjebana u skladu s tim. Tijekom vjebanja, mrea je uvjebana za povezivanje izlaza s ulaznim uzorcima. Kada je mrea u upotrebi ona identificira ulazni uzorak i pokuava dati izlaz povezan sa izlaznim uzorkom. Snaga neuronskih mrea oivljava kada se uzorak koji nema izlaz povezan s njom, pojavljuje kao ulaz. U tom sluaju, mrea daje izlaz koji odgovara nauenom ulaznom uzorku koji se najmanje razlikuje od danog uzorka.

Slika 4. Feed-forward neuronska mrea

13

3.4.2 Arhitektura neuronskih mreaSa strukturnog stajalita, umjetne neuronske mree se dijele na statike (unaprijedne ili feed forward mree) i dinamike (povratne ili feedback mree), ovisno o modelu neurona od kojeg su graene, te o nainu prostiranja signala kroz mreu. S obzirom na broj slojeva u kojima su rasporeeni neuroni, razlikuju se jednoslojne i vieslojne umjetne neuronske mree. Feed-forward mree

Feed-forward umjetne neuronske mree omoguuju signalima da putuju samo na jedan nain, od ulaza do izlaza. Nema petlje, odnosno izlaz iz bilo kojeg svakog sloja ne utjee na sami sloj. Feed-forward mree imaju tendenciju ravnih (straight forward) mrea koje povezuju ulaze s izlazima. One se najvie koriste kod prepoznavanja uzoraka. Ovaj tip organizacije se takoer naziva "bottom-up ili top-down. Klasini primjeri Feed-forward neuronskih mrea su perceptron i adalin

Slika 5. Primjer jednostavne feed-forward mree

14

Perceptron Perceptron je matematiki model biolokih neurona. U stvarnih neurona dendrit prima signale aksona drugih neurona,dok kod perceptrona elektrini signali su prikazani kao numerike vrijednosti. Ovo je prva neuronska mrea, iji je kreator Frank Rosenblatt. Sastojala se samo od ulaznog i izlaznog sloja, te nije mogla aproksimirati funkcije koje nisu bile linearno odvojive. Funkcije ARE, OR i NOT su linerarno odvojive, tj. one se mogu izvesti pomou jednog perceptrona. Grafovi pokazuju linearno odvojive logike funkcije:

Slika 6. Grafovi pokazuju linearno odvojive logike funkcije

U ovim grafovima dvije osi su ulazi koje mogu uzeti vrijednost 0 ili 1, a brojevi na grafikonu su oekivani izlazi za odeen ulaz. Za svaki od ovih sluajeva, jedan perceptron moe obaviti sve ove funkcije. Meutim, nisu svi logiki operatori linearno odvojivi, XOR funkcija ne moe se postii jednim perceptronom. Ipak ovaj problem se moe rijeiti ako uzmemo vie od jednog perceptrona i rasporedimo u feed-forward mreu.

Slika 7. XOR funkcija, nije linearno odvojiv,nemogue je povui crtu

15

Problem je rijeen tek desetak godina kasnije uvoenjem dodatnog skrivenog sloja (Werbos, Rumelhart, Hinton, Wiliams), ime je postignuta nelinearnost u mrei, i dokazano je da su takve mree u mogunosti aproksimirat bilo koju kontinuiranu funkciju. Godine 1969. Minsky i Papert napisali su knjigu u kojoj su opisali ogranienja jednoslojnih Perceptrona. Utjecaj koji je knjiga imala je bio golem i potakao je mnoge istraivae neuronskih mrea da izgube zanimanje. Knjiga je bila vrlo dobro napisana i pokazala je matematiki da jednoslojni Perceptroni ne mogu napraviti neke osnovne operacije poput odreivanja povezanosti oblika. Ono to nisu shvatili sve do 80-ih, je da s obzirom na odgovarajue vjebanje, vierazinski Perceptroni mogu obaviti te operacije. pariteta oblika ili odreivanje

Slika 8. Umjetni neuron-Perceptron

16

Adaptivni linearni neuron (Adalin) Adalin (Adaptive Linear Neuron ili kasnije Adaptivni Linearni Element) je vrsta jednoslojne neuronske mree. Razvijen je od strane profesora Bernard Widrowa i njegova apsolventa Ted Hoffa na Sveuilitu Stanford 1960. godine. Adalin neuronska mrea temelji se na McCullochPitts neuronima, tako da neuron zapravo rauna teinsku masu ulaza. Razlika izmeu Adalin i standardne (McCulloch-Pitts) Perceptron je da u fazi uenja teine se podeavaju prema ukupnom zbroju ulaza (mrea). U standardnom perceptronu, mrea je prela na aktivaciju (prijenos) funkcije i izlaz funkcije se koristi za podeavanje teine.

Mree s povratnom vezom

Mree s povratnom vezom (eng. Feedback network) mogu imati signale koji putuju u oba smjera uvoenjem petlje u mrei. Feedback mree su vrlo snane i mogu biti vrlo komplicirane. Dinamine su, njihovo "stanje" se mijenja kontinuirano sve dok ne dosegnu toku ravnotee. One ostaju u toki ravnotee sve do ulaznih promjena i nove ravnotee koju treba pronai. Arhitektura feedback takoer se spominje kao interaktivna ili rekurentna (ponovno uspostavljena), iako ovaj drugi termin se esto koristi za oznaavanje povratnih veza u jednoslojnim organizacijama.

Slika 9: jednostavne mree

Primjer feedback

Mreni slojevi 17

Neuroni su spojeni u mreu na nain da izlaz svakog neurona predstavlja ulaz u jedan ili vie drugih neurona. Prema smjeru, veza izmeu neurona moe biti jednosmjerna ili dvosmjerna, a prema intenzitetu mogua je pobuujua (egzitatorna) ili smirujua (inhibitorna) veza. Neuroni su obino u umjetnoj neuronskoj mrei organizirani u grupe ili slojeve u kojima se informacije paralelno obrauju. Tipina neuronska mrea sastoji se od nekoliko slojeva,najee dva vanjska,te jednog ili vie meuslojeva ili tzv. skrivenih slojeva. Vanjski slojevi su: ulazni sloj koji uitava podatke iz okoline izlazni sloj koji prikazuje rezultat mree za zadani ulaz

Skriveni sloj je onaj u kojem se ue meuzavisnosti u modelu, informacije neurona se tu obrauju i alju u neurone izlaznog sloja.

Slika 10. Mreni slojevi

Razlikujemo jednoslojne i vieslojne arhitekture. Jednoslojna organizacija, u kojoj su sve jedinice povezane jedna s drugom, sainjavaju najei sluaj i ima mnogo jai potencijal za raunalnu snagu nego hijerarhijski strukturirana vieslojna organizacija. U vieslojnim mreama, jedinice su esto numerirane po sloju, umjesto da slijede globalno numeriranje.

18

Mrea "irenje unatrag" (eng.backpropagation) Algoritam mree "irenje unatrag" bio je presudan za iroku komercijalnu upotrebu ove metodologije, te je neuronske mree uinio iroko upotrebljavanom i popularnom metodom u razliitim podrujima. Njezin prvi kreator bio je Paul Werbos 1974., a proirena je od strane Rumelhart-a, Hinton-a i Williams-a 1986. Bila je to prva neuronska mrea s jednim ili vie skrivenih slojeva. U osnovi, ova mrea propagira ulaz (input) kroz mreu od ulaznog do izlaznog sloja, a zatim odreuje greku i tu greku propagira unazad sve do ulaznog sloja ugraujui je u formulu za uenje. Standardni algoritam mree "irenje unatrag" ukljuuje optimizaciju greke koristei deterministiki algoritam gradijentnog opadanja (eng. gradient descent). Glavni nedostatak ovog algoritma je problem estog pronalaenja lokalnog umjesto globalnog minimuma greke, stoga novija istraivanja ukljuuju njegovo unapreivanje nekim drugim deterministikim (npr. metode drugoga reda) ili stohastikim metodama (npr. simulirano kaljenje).

Slika 11. Arhitektura mree "irenje unatrag"

19

Strukturu mree ine ulazni sloj, izlazni sloja i najmanje jedan skriveni sloj, s vezom unaprijed. Tipina arhitektura "irenje unatrag" prikazana je na donjoj slici (zbog jasnoe je prikazan samo jedan skriveni sloj): Tok podataka kroz mreu moe se ukratko opisati u nekoliko koraka: 1. od ulaznog sloja prema skrivenom sloju: ulazni sloj uitava podatke iz ulaznog vektora X, i alje ih u prvi skriveni sloj, 2. u skrivenom sloju: jedinice u skrivenom sloju primaju vagani ulaz i prenose ga u naredni skriveni ili u izlazni sloj koristei prijenosnu funkciju, 3. kako informacije putuju kroz mreu, raunaju se sumirani ulazi i izlazi za svaku jedinicu obrade, 4. u izlaznom sloju: za svaku jedinicu obrade, rauna se skalirana lokalna greka koja se upotrebljava u odreivanju poveanja ili smanjenja teina, 5. propagiranje unazad od izlaznog sloja do skrivenih slojeva: skalirana lokalna greka, te poveanje ili smanjenje teina rauna se za svaki sloj unazad, poevi od sloja neposredno ispod izlaznog sve do prvog skrivenog sloja, i teine se podeavaju. Mrea "irenje unatrag" je univerzalni algoritam primjenjiv na probleme previanja, gdje je potrebno predvidjeti vrijednost jedne ili vie izlaznih varijabli, no mogue ga je koristiti i za probleme klasifikacije, gdje se ulazni vektor rasporeuje u jednu od klasa zadanih na izlazu, npr. odreivanje da li neka dionica pripada u grupu rastuih ili padajuih dionica u nekom razdoblju.

20

3.4.3 Proces uenjaMemoriranje uzoraka i naknadna reakcija paradigme: 1) ASOCIJATIVNO MAPIRANJE u kojem mrea ui kako proizvesti odreeni uzorak na skupu ulaznih jedinica kad god se drugi pojedinani uzorak primjenjuje na skupu ulaznih jedinica. Asocijativno mapiranje openito se moe podijeliti u dva mehanizma: a) auto asocijacija: ulazni uzorak je povezan sa samim sobom,a stanje ulaznih i izlaznih jedinica se poklapa. Ovo se koristi za kompletiranje uzorka, odnosno za proizvodnju uzorka kad god dio uzorka ili iskrivljeni uzorak se prikazuje U drugom sluaju, mrea zapravo sprema parove uzoraka gradei vezu izmeu dva skupa uzoraka. b) hetero asociacija: odnosi se na dva pozivna mehanizma: - pozivanje najblieg susjeda (nearest -neighbour recall), gdje se izlazni uzorak povezuje sa ulaznim uzorkom koji je pohranjen,i najblii prikazanom uzorku. - interpolativno pozivanje (interpolative recall), gdje je izlazni uzorak slian ovisnoj interpolaciji obrazaca koji su pohranjeni i odgovaraju prikazanom uzorku. Jo jedna paradigma, koja je varijanta asocijativnog mapiranja je klasifikacija, tj. kada postoji fiksni skup kategorija u kojima se ulazni obrasci trebaju klasificirati. 2) OTKRIVANJE REGULARNOSTI u kojima su jedinice nauene na reakciju na pojedine osobine ulaznih uzoraka. Dok kod asocijativnog mapiranja mrea pohranjuje veze izmeu uzoraka, kod otkrivanja regularnosti reakcija svake jedinice ima odreeno "znaenje". Ovaj tip mehanizma uenja je bitan za otkrivanje oblika i prikaz znanja. mree moe se kategorizirati u dvije glavne

21

Svaka neuronska mrea posjeduje znanje koje je sadrano u vrijednosti optereenja veze. Izmjena znanja pohranjenog u mrei kao funkcije iskustva podrazumijeva pravilo uenja za izmjenu vrijednosti optereenja.

Slika 12. Umjetni neuron

Informacija se pohranjuje u matricu optereenja W u neuronskoj mrei. Uenje je odreivanje optereenja. Pratei nain uenja, moemo razlikovati dvije glavne kategorije neuronskih mrea: a) fiksne mree u kojima se optereenja ne mogu mijenjati, odnosno dW / dt = 0. U takvim mreama,optereenja su fiksirana a priori (najprije) na problem kojeg treba rijeiti. b) adaptivne mree koje mogu mijenjati svoja optereenja, odnosno dW / dt ne(not) = 0. Sve metode uenja koje se koriste za adaptivne neuronske mree mogu se svrstati u dvije glavne kategorije: nadgledano uenje ili uenje pod nadzorom (supervised learning) Nadgledano uenje ukljuuje vanjskog uitelja, tako da svaka izlazna jedinica ima nalog to odgovor na ulazni signal treba biti. Tijekom procesa uenja moe se zahtijevati globalna informacija. Paradigme nadgledanog uenja ukljuuju ispravljanje greaka, pojaano uenje i stohastiko uenja (uenje na primjeru). Vano pitanje u vezi nadgledanog uenja je problem konvergencije greke, odnosno minimiziranje greke izmeu eljenih i izraunatih jedininih vrijednosti. 22

Cilj je odrediti skup optereenja koja minimiziraju greku. Jedna dobro poznata metoda, koja je zajednika mnogim paradigmama uenja je najmanja srednja kvadratna vrijednost (LMS) konvergencije. nenadgledano uenje ili uenje bez nadzora (unsupervised learning) Nenadgledano uenje ne koristi vanjskog uitelja i temelji se na lokalnoj informaciji. Takoer se spominje kao samo-organizacija, u smislu da se ono samo-organizira u odnosu na podatke u mrei i otkriva svoja izraena zajednika svojstva. Paradigme nenadgledanog uenja su uenje po Hebbianu i natjecateljsko uenje. Kaemo da neuronska mrea ui off-line ako je faza uenja i faza rada razdvojena. Neuronska mrea ui on-line ako ui i radi u isto vrijeme. Obino, nadgledano uenje se obavlja off-line, dok se nenadgledano uenje provodi on-line.

23

3.4.4 Prijenosna funkcijaPonaanje umjetne neuronske mree ovisi i o optereenju i o funkciji ulaz-izlaz (prijenosna funkcija) koja je odreena za jedinice. Ova funkcija obino se dijeli u tri kategorije: linearna - prag (granina) - sigmoidna Kod linearnih funkcija, izlazna aktivnost je proporcionalna ukupnom optereenom izlazu. Moe uzeti vrijednosti 0 i 1 ali takoer moe poprimiti vrijednosti izmeu te ovisno o pojaanju faktora u odreenom podruju linearnih operacija.

Kod graninih (prag) funkcija, izlaz je odreen na jednoj od dvije razine, ovisno o tome je li ukupni ulaz vei ili manji od neke vrijednosti praga(granice). - granina (prag) funkcija poprima vrijednost 0 ako je zbrojeni ulaz manji od odreenog praga vrijednosti (v) - granina(prag) funkcija poprima vrijednost 1 ako je zbrojeni ulaz vei ili jednak od vrijednosti praga

24

Kod sigmoidnih funkcija, izlaz varira stalno, ali ne linearno, kako se ulaz mijenja. Ova funkcija moe biti u rasponu izmeu 0 i 1, ali je ponekad bolje koristiti je u rasponu izmeu -1 i 1. Sigmoidne funkcije imaju veu slinost sa stvarnim neuronima nego linearne ili granine funkcije, ali sve tri se moraju smatrati grubim aproksimacijama (procijenama). Primjer sigmoidne funkcije je funkcija hiperboliki tangens.

25

3.5 Neuronske mree u odnosu na konvencionalna raunala

Neuronske mree imaju drugaiji pristup rjeavanju problema u usporedbi s obinim raunalima. Obina raunala koriste algoritamski pristup, tj. raunalo slijedi skup uputa zbog rjeavanja problema. Ukoliko odreeni koraci koje raunalo treba napraviti nisu poznati, raunalo ne moe rijeiti problem. To ograniava rjeavanje problema kod obinih raunala u sluaju problema koje smo ve razumjeli i znamo kako ih rijeiti. Ali raunala su korisnija kad rade stvari koje mi ne znamo napraviti. Neuronske mree obavljaju funkcije na slian nain kao i ljudski mozak. Mrea se sastoji od velikog broja meusobno povezanih elemenata (neurona) koji rade paralelno da bi rijeiti odreeni problem. Neuronske mree ue primjerom. One ne mogu biti programirane za obavljanje odreenog zadatka. Primjeri moraju biti odabrani paljivo inae korisno vrijeme je izgubljeno ili jo gore mrea moe funkcionirati pogreno. Nedostatak je u tome to mrea pronalazi nain kako rijeiti problem za sebe pa njena operacija moe biti nepredvidljiva. S druge strane, obina raunala koriste kognitivni (spoznajni) pristup rjeavanja problema, pa nain na koji problem treba biti rijeen mora biti poznat od prije i naveden putem malih nedvosmislenih instrukcija. Ove instrukcije tada se pretvaraju u jezik visoke kvalitete programa, a zatim u strojni kod koji raunalo moe razumjeti. Ovi strojevi su potpuno predvidljivi, a ako neto poe po zlu onda je to zbog greke u softveru ili hardveru. Neuronske mree i obina algoritamska raunala nisu u konkurenciji, ve se meusobno nadopunjuju. Postoje zadaci koji su vie prilagoeni algoritamskom pristupu kao aritmetike operacije i zadaci koji su vie odgovaraju neuronskim mreama.

26

tovie, veliki broj zadataka, zahtijeva sustave koji koriste kombinaciju ova dva pristupa (obino se, konvencionalno raunalo koristi za nadzor neuronske mree), kako bi se postigla maksimalna uinkovitost.

27

3.6 Primjene neuronskih mreaNEURONSKE MREE U PRAKSI S obzirom na ovaj opis neuronskih mrea i njihov nain rada, za to su ove mree u stvarnom svijetu pogodne? Neuronske mree imaju iroku primjenu u stvarnome svijetu poslovnih problema. U stvari,ve su uspjeno primijenjene u mnogim industrijama. Kako su neuronske mree najbolje za identificiranje uzoraka ili trendova kod podataka vrlo su pogodne za predvianje ili najavljivanje ukljuujui tu i sljedee: predvianje prodaje kontrola industrijskog procesa istraivanje kupaca provjera valjanosti podataka upravljanje rizicima ciljani marketing

Evo jo nekoliko specificiranih primjera gdje se ANN takoer koristi kod sljedeih posebnih paradigmi: prepoznavanje govornika u komunikacijama, dijagnoza hepatitisa, oporavak telekomunikacija od neispravnog softwera, tumaenje vieznanih kineskih rijei, detekcija ruda pod morem, analiza teksture, trodimenzionalno prepoznavanje objekta; prepoznavanje rukom pisanih rijei i prepoznavanje lica.

28

4. SIMULACIJA NEURONSKIH MREA4.1 NetLogoNetLogo je programibilno modeliranje okruenja za simulaciju prirodnih i drutvenih pojava. To je autora Uri Wilnesky iz 1999. godine i u stalnom je razvoju otkad je u Centru za povezano uenje i modeliranje na bazi raunala. NetLogo je posebno dobro prilagoen za modeliranje sloenih sustava u razvoju tijekom vremena. Modelari mogu dati upute za stotine ili tisue "agenata" koji rade samostalno. To omoguuje da istrai vezu izmeu mikro-razine ponaanja pojedinaca i makro-razine koji proizlaze iz interakcije mnogih pojedinaca. NetLogo programski paket omoguuje studentima otvorene simulacije i igranje s njima istraujui njihovo ponaanje pod razliitim uvjetima. To je takoer autorski okoli koji omoguuje studentima i profesorima kreirati vlastite modele. NetLogo je jednostavno dovoljan da studentima i profesorima omogui lako izvoenje simulacija ili ak izgradnju vlastite.A to je dovoljno napredno da moe posluiti kao moan alat istraivaima u mnogim podrujima. NetLogo je opsena dokumentacija, takoer dolazi sa modelskom knjinicom, to je velika zbirka unaprijed napisanih simulacija koje se mogu koristiti i mijenjati. Ove simulacije bave se mnogim podrujima prirodnih i drutvenih znanosti, ukljuujui biologiju, medicinu, fiziku, kemiju, matematiku, raunalne znanosti, te ekonomiju i socijalnu psihologiju. Nekoliko modela na temelju nastavnih planova i programa koristei NetLogo su trenutno u razvoju. Takoer moe dati mo alatu u uionici participativne-simulacije nazvane HubNet. Kroz uporabu umreenih raunala ili runih ureaja poput Texas Instruments grafikih kalkulatora, svaki uenik moe kontrolirati agenta u simulaciji. NetLogo je sljedea generacija serije multi-agentskih modeliranja jezika koja je zapoela s StartLogom. Ona nastaje na funkcionalnosti naih proizvoda StartLogoT i dodaje znaenje nove 29

mogunosti i redizajniranih jezika i korisniko suelje. Radi na bazi virtualnog stroja, tako da radi na svim veim platformama ( Mac, Windows, Linux itd.). Pokree samostalan program ili iz komadne linije Modeli i HubNet aktivnosti mogu se pokrenuti kao Javaapleti u web-pregledniku.

30

4.2 PerceptronKoristei program NetLogo moemo vidjeti kako radi umjetna neuronska mrea Perceptron. Ona pokuava klasificirati ulazne signale i izlazne rezultate. To ini tako to daje puno primjera i pokuava ih klasificirati, te isto ima supervizora koji e rei je li klasifikacija u redu ili nije. Na temelju ove informacije Perceptron obnavlja svoja optereenja sve dok sve ulaze ne klasificira ispravno. Neko vrijeme mislilo se da bi Perceptroni mogli dati dobar opi uzorak jedinica za raspoznavanje. Meutim, Perceptron ne moe nauiti neke osnovne zadatke poput "XOR", jer oni nisu linearno odvojivi.

Slika 13. Prikaz Perceptrona u NetLogo programu

Rad Perceptorn vorovi koji se nalaze na lijevoj strani su ulazni vorovi. Oni mogu imati vrijednost 1 ili -1. To je nain kako jedan vor predstavlja ulaz u perceptron. vor u sredini je vor odstupa. Njegova vrijednost stalno je namjetena na "1", a omoguuje perceptronu koritenje konstante kod izrauna. Jedan izlazni vor je na desnoj strani. vorovi su povezani vezama. Svaka veza ima optereenje. Za odreivanje vrijednosti, izlazni vor izraunava zbroj optereenja svojih ulaznih 31

vorova. Vrijednost svakog ulaznog vora se mnoi s optereenjem veze koja ga povezuje s izlaznim vorom da bi dobili vrijednost optereenja. Vrijednosti optereenja se onda zbrajaju. Ako je rezultat iznad praga vrijednosti, onda je vrijednost 1,a inae to je -1. Granina vrijednost za izlazni vor u ovom modelu je 0. Dok se mrea provjerava, ulazi se unose u Perceptron. Vrijednost izlaznog vora usporeuje se s oekivanom vrijednosti, te se teine veza obnavljaju kako bi se isprobali i ispravno klasificirali ulazi. Pokretanjem programa,provjerava se rad. Koritenje programa NetLogo U programu NetLogo botun Setup (Osvjei) resetira program, Train (Pokreni) uvodi grupu primjera Perceptrona. Pomiui Examples-Per-Epoch (Primjeri-po-Epohama) mijenja se broj provjera koji su uvedeni perceptronu, dok Learning Rate (Naueno - Pravilo) mijenja maksimalni broj pokreta koji svaki primjer moe imati kod odreenog optereenja. Izbornik Target-Function (Ciljna - Funkcija) omoguuje koju e funkciju Perceptron pokuat nauit. Graf Rule Learned (Brzina uenja) vizualno pokazuje liniju razdvajanja koju je Perceptron nauio, i predstavlja trenutne ulaze i njihove klasifikacije. Zelene toke predstavljaju toke koje bi trebale biti klasificirane pozitivno. Tokice koje su crvene predstavljaju toke koje bi trebale biti klasificirane negativno. Crta koja je iznesena predstavlja ono to je nauio Perceptron. Sve na jednoj strani crte e biti klasificirano pozitivno,a sve na drugoj strani crte e biti klasificirano negativno. Gledajui graf, nemogue je povui ravnu crtu koja razdvaja crvene i zelene tokice u "XOR" funkciji. To je ono to se misli kada se kae da "XOR" funkcija nije linearno odvojiva. Graf Error vs. Epochs (Greka-Ciklus) prikazuje odnos izmeu utvrenih pogreaka i broja provjera ciklusa.

32

4.3 Umjetna neuronska mrea

Slika 14. Prikaz simulacije umjetne neuronske mree

Ovo je model vrlo male neuronske mree. Ona se temelji na modelu percepcije, ali umjesto jednog sloja, ova mrea ima dva sloja "Perceptrons". To znai da moe nauiti one operacije koje jedan sloj ne moe. Cilj mree je da uzme ulaz iz svojih ulaznih vorova krajnje lijevo i klasificira one ulaze u odgovarajue izlazne vorove na desnoj strani. To ini tako to daje puno primjera i pokuava ih klasificirati,a supervizor govori je li klasifikacija bila u redu ili ne. Na temelju ove informacije neuronska mrea obnavlja svoju teinu (kvalitetu) sve dok ispravno ne klasificira sve ulaze.

33

Rad programa U poetku optereenja na vezama mree su sluajne.Kada se ulazi ubacuju u mreu na krajnje lijevoj strani, oni ulaze pomnoeni sa sluajnim optereenjima i dodaju se radi stvaranja aktivacija za sljedei vor u mrei. Sljedei vor zatim alje aktivaciju uzdu svoje izlazne veze. Ova optereenja veze i aktivacije se zbrajaju u konanom izlaznom voru koji iznosi vrijednost. Ova aktivacija prolazi kroz sigmoidnu funkciju to znai da su vrijednosti blizu nule dodijeljene vrijednosti blizu nule, a obrnuto za 1. Vrijednosti se poveavaju nelinearno izmeu 0 i 1. Radi provjere mree mnotvo ulaza se uvodi u mreu zajedno s nainom na koji mrea treba ispravno klasificirati ulaze. Mrea koristi algoritam stranje propagacije kako bi greku vratila s izlaznog vora te koristi ovu greku za obnavljanje optereenja uzdu svake veze. Koritenje programa NetLogo Za koritenje programa pritisnemo botun Setup (Osvjei) radi kreiranja mree i uvoenja optereenja na malim sluajnim brojevima. Pritiskom Train Once (Pokreni jednom) pokreemo jedan ciklus treninga. Broj primjera iznesenih u mrei tijekom ovog ciklusa je pod kontrolom botuna Examples-PerEpoch (Primjeri-Po-Epohama ). Pritiemo Train (Pokreni) radi stalne provjere mree. U prikazu,vea veza ima vee optereenje. Ako je veza roza onda je to pozitivno optereenje. Ako je veza je zelena onda je to negativno optereenje. Za testiranje mrea, namjestimo Ulaz-1 i Ulaz-2, a zatim pritisnemo tipku Test. Pojavljuje se dijaloki okvir koji nam govori je li mrea u mogunosti ispravno klasificirati ulaz koji smo joj dali. Learning-Rate (Naueno pravilo) kontrolira koliko neuronska mrea moe nauiti iz bilo kojeg primjera. Target-Function (Ciljna-Funkcija) omoguuje nam da odaberemo koju funkciju mrea pokuavamo rijeiti. Za razliku od modela Perceptrona, ovaj model je sposoban nauiti i OR i XOR funkciju.Moe nauiti XOR radi skrivenog sloja (srednji vorovi) koji omoguuje mrei da povue dvije crte 34

koje klasificiraju ulaz kao pozitivano i negativano podruje. Kao rezultat toga jedan od vorova e nauiti OR funkciju u sutini tako da svaki od ulaza koji je ukljuen e biti ukljuen a drugi vor e nauiti iskljuiti funkciju tako da ako su oba ulaza ukljuena bit ce ukljuen (ali e zato biti optereen negativno). Meutim za razliku od modela Perceptona model neuronske mree moe nauiti svaku od funkcija ukljuujui i jednostavnu OR funkciju . To je zato jer ima mnogo vie elemenata koje treba nauiti. Model Perceptrona mora nauiti tri razliita optereenja(ulazne veze i vezu odstupanja). Model neuronske mree mora nauiti 10 optereenja (4 ulaza do skrivenog sloja optereenja, 2 skrivena sloja do izlaznog optereenja i 3 optereenja odstupanja). Ovo je drugi u seriji modela posveenih razumijevanju umjetne neuronske mree. Prvi model je bio Perceptron.

35

5. ZAKLJUAKPojam neuronska mrea, tradicionalno, se odnosi na bioloku neuronsku mreu, kao sastavni dio ovjeka iji se mozak sastoji od desetak milijardi neurona, a koje su zaslune za izvoenje vrlo vanih funkcija kao to su razmiljanje, uenje, emocije, percepcija, motorika itd.; meutim moderno znaenje ovog pojma ukljuuje i umjetne neuronske mree, graene od umjetnih neurona ili vorova. Umjetna neuronska mrea inspirirana je biolokim modelom ivanog sustava i njegovim mogunostima, i upravo zbog tih mogunosti predstavlja tenju ovjeka da jo od najranijih civilizacija, pa preko sredine 20. stoljea, kada je prvi put upotrjebljen naziv umjetna inteligencija, i sve do danas, stvori i razvija koncept inteligentnog stroja. Umjetna inteligencija je, kao disciplina koja se bavi oblikovanjem inteligentnih sustava koji implementiraju ona svojstva ljudskog ponaanja koja se smatraju inteligentnim, nala svoju primjenu, kako u brojnim drugim podrujima kao to su lingvistika, psihologija, ekonomija, matematika i sl., tako i u raunalnoj znanosti, putem razvoja i primjene neuronskih mrea. Sa strukturnog stajalita, umjetne neuronske mree se dijele na statike (unaprijedne ili feed forward mree) i dinamike (povratne ili feedback mree), ovisno o modelu neurona od kojeg su graene, te o nainu prostiranja signala kroz mreu. Klasini primjeri feed-forward neuronskih mrea su perceptron i adalin. S obzirom na broj slojeva u kojima su rasporeeni neuroni, razlikujemo jednoslojne i vieslojne umjetne neuronske mree. Jednoslojne neuronske mree najjednostavniji su oblik neuronskih mrea organiziranih u slojeve i sastoje se od jednog sloja, dok za razliku od njih vieslojne neuronske mree imaju i skriveni sloj. S razvitkom moderne znanosti potraga za umjetnom inteligencijom krenula je u dva osnovna smjera. Prvi je fizioloko i psiholoko prouavanje ljudskog uma, dok je drugi tehnoloki razvoj sofisticiranih kompjuterskih sustava. Neuronske mree imaju drugaiji pristup rjeavanju problema u usporedbi s obinim raunalima, one obavljaju funkcije na slian nain kao i ljudski mozak. Meutim, neuronske mree i obina algoritamska raunala nisu u konkurenciji, ve se nadopunjuju. Usprkos konstantnog napredovanja pri spomenutim istraivanjima jedan dio znanstvenika jo uvijek smatra kako istinska umjetna inteligencija nikad nee biti ostvarena. Ljudski um je, kako 36

oni misle, komplicirani sustav da bi ga se kopiralo i uvijek e ostati tajnom za sve koji ga pokuavaju deifrirati. Meutim, neuronske mree ve danas imaju iroku primjenu u stvarnome svijetu poslovnih problema, kao i u mnogim industrijama. Nadalje, u prilog daljnjem istraivanju i razvijanju neuronskih mrea, osim to je upravo njihovim razvojem dolo do velikog napretka na podruju umjetne inteligencije, idu i slijedei primjeri njihove praktine primjene: prepoznavanje govornika u komunikacijama, dijagnoza hepatitisa, oporavak telekomunikacija od neispravnog softwera, tumaenje vieznanih kineskih rijei, detekcija ruda pod morem, analiza teksture, trodimenzionalno prepoznavanje objekta, prepoznavanje rukom pisanih rijei i prepoznavanje lica.

U NetLogo programu sluila sam se gotovim modelom Perceptron i modelom umjetne neuronske mree. NetLogo je programibilno modeliranje okruenja za simulaciju prirodnih i drutvenih pojava. Posebno je dobro prilagoen za modeliranje sloenih sustava Razlika izmeu tih neuronskih mrea je u tome to je Preceptron jednoslojna neuronska mrea, koja moe obavljati funkcije ARE, OR i NOT jer su one linerarno odvojive, tj. mogu se izvesti od jednog Perceptrona, dok funkcija XOR nije linearno odvojiva i ne moe se izvesti jednim Perceptronom. Umjetna neuronska mrea se temelji na modelu percepcije, ali umjesto jednog sloja, ona ima dva sloja "Perceptrons". To znai da moe nauiti one operacije koje jedan sloj ne moe, to je i navedenim modelima prikazano.

37

LITERATURAhttp://ccl.northwestern.edu/netlogo/docs/ http://ccl.northwestern.edu/netlogo/models/ArtificialNeuralNet http://en.wikipedia.org/wiki/Artificial_neural_network http://www.learnartificialneuralnetworks.com/ http://eris.foi.hr/ http://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html http://www-cs-faculty.stanford.edu/~eroberts/courses/soco/projects/2000-01/neuralnetworks/History/history1.html http://www.tsrb.hr/meha/index.php?option=com_content&task=view&id=14&Itemid=1

38