Primjena Neuronskih Mreza u Obrazovanju

ЕLЕKТRОТЕHNIČKI FАKULТЕТ

UNIVЕRZIТЕТ ISТОČNО SАRАЈЕVO

NEURONSKE MREŽE:

ALGORITMI I PRIMJENE U OBRAZOVANJU

SЕМINАRSKI RАD

Studiје: II ciklus

Оdsјеk: Automatika i elektronika

Prеdmеt: Metode inteligentnog upravljanja

Studеnt:

Aleksandra Radovanović, M-92

Меntоr:

Prof.dr Milica Naumović

Istоčnо Sаrајеvо, septembar 2015.

Neuronske mreže: Algoritmi i primjene u obrazovanju

SADRŽAJ:

1 UVOD U VJEŠTAČKE NEURONSKE MREŽE.......................................................................2

1.1 Konekcionističke ili vještačke neuronske mreže...................................................................2

1.2 Sličnosti i razlike biološkog i vještačkog neurona................................................................3

1.3 Razlike između neuronskih mreža i računara........................................................................4

1.4 Arhitekture neuronskih mreža...............................................................................................5

1.5 Učenje neuronske mreže........................................................................................................5

1.5.1 Opšta forma pravila učenja neuronske mreže................................................................7

1.6 Koncepti vještačke inteligencije vezani uz neuronske mreže................................................8

1.6.1 Genetski algoritmi..........................................................................................................8

1.7 Fazi logika.............................................................................................................................9

2 KONSTRUKTIVISTIČKI PRISTUP NEURONSKIM MREŽAMA.......................................10

2.1 Konstruktivistički pristup vještačkoj inteligenciji...............................................................10

2.2 Konstruktivizam i inteligentni sistemi za podučavanje.......................................................11

2.3 Implementacija inteligentnih sistema za podučavanje pomoću neuronskih mreža.............12

2.3.1 Implementacija modela učenika pomoću neuronske mreže.........................................12

2.3.2 Upotreba neuronske mreže u svrhu predviđanja uspješnosti učenika..........................16

2.3.3 Opšti model učenika.....................................................................................................17

Slika 11. Uzorci kretanja kroz sistem.................................................................................................18

2.3.4 Implementacija modela učenika zasnovanog na fazi logici pomoću neuronske mreže22

Slika 14. Neuronska mreža kojom je implementiran fazifikator........................................................24

2.4 Primjena modula za analizu govora pomoću neuronske mreže...........................................26

2.4.1 Određivanje vrste riječi pomoću neuronske mreže......................................................27

2.5 Primjena animiranog učitelja pomoću neuronske mreže.....................................................27

3 ZAKLJUČAK............................................................................................................................30

4 LIТЕRАТURА...........................................................................................................................31

Ime autora 2


1 UVOD U VJEŠTAČKE NEURONSKE MREŽE

1.1 Konekcionističke ili vještačke neuronske mreže

Naučna istraživanja sa područja vještačke inteligencije zasnivaju na dva osnovna pristupa, simboličkom i konekcionističkom. Simbolički pristup nastoji razviti vještačku inteligenciju analizom kognicije, ne oslanjajući se pri tome na znanja o biološkoj strukturi mozga. Konekcionistički pristup se oslanja na izgradnju vještačke neuronske mreže koja oponaša strukturu mozga. [1]

Standardna konekcionistička mreža ili vještačka neuronska mreža sastoji se od mnogo jednostavnih procesora koji se nazivaju čvorovi ili neuroni. Čvorovi su međusobno povezani komunikacijskim kanalima kojima se prenose numerički podaci. Svaki čvor obrauđje svoje lokalne podatke i podatke koje dobija putem veza. Podaci koji se prenose preko veza različitog su intenziteta, odnosno težine. Težine se određuju kroz proces adaptacije neuronske mreže na skup uzoraka za uvježbavanje.

Slika 1. Jednostavna neuronska mreža

Na slici 1, prikazana je jednostavna neuronska mreža koja se sastoji od pet neurona. Četiri neurona, odnosno W, X, Y, Z predstavljaju ulaze, dok peti neuron, odnosno N, predstavlja izlaz. Svaki od ovih neurona može generisati ili ne generisati impuls. Pritom svaka veza među neuronima ima određenu težinu. Ukupni ulaz u N zapravo je zbroj težina svih veza koje vode do N, a koje generišu impuls. Tako ako npr. ulazni neuroni X i Y generišu impuls, pošto su težine veza između X i N 1,5 i između Y i N 0,5, ukupni ulaz u N iznosi 2,tako da neuron N neće generisati impuls. Ovo se dešava jer je njegov prag osjetljivosti 5, što znači da ukupni ulaz u N mora biti veći ili jednak od 5 da bi neuron generisao impuls. N će generisati impuls ako npr. neuroni W i Z generišu impuls ili npr. neuroni W, X i Y. [1]

Neuronske mreže imaju dvije ključne karakteristike: sposobnost paralelne obrade podataka i distribuiranost znanja kroz mrežu. Svaki neuron je ustvari jednostavni procesor koji podatke može obrađivati istovremeno kada i drugi neuroni u mreži. Distribuiranost znanja kroz mrežu se ogleda u nepostojanju posebne memorije za skladištenje podataka. Umjesto toga podaci (znanje) u mreži se

Aleksandra Radovanović 3


skladište u obliku vrijednosti težina veza, što je ekvivalentno načinu skladištenja znanja u ljudskome mozgu.

1.2 Sličnosti i razlike biološkog i vještačkog neurona

Vještački neuron je ustvari imitacija biološkog neurona, tj. vještački neuron nastoji oponašati osnovne funkcije biološkog neurona. Naravno, još uvijek nije moguće oponašati sve funkcije zbog toga što neke nisu poznate, a neke ne možemo matematički modelirati.Veze između bioloških i vještačkih neuronskih mreža date su u sledećoj tabeli.

TABELA 1: Poređenje dijelova bioloških i vještačkih neuronskih mreža

Biološka mreža Vještačka mreža

Soma (tijelo neurona) Čvor

Dendriti (stablo) Ulaz

Akson Izlaz

Sinapsa Težina

Kao što vidimo na slici 2a), dijelovi biološkog neurona su tijelo neurona, akson i dendriti. Putem dendrita neuron prima impulse od drugih neurona i oni čine ulaze u neuron. Ako neuron dođe u stanje dovoljne pobude, tada neuron putem aksona generiše impuls. Akson je dakle izlaz neurona. Krajevi aksona najčešće dodiruju dendrite drugog neurona, a takođe u nekim slučajevima dodiruju tijelo ili akson drugog neurona. Između aksona jednog neurona i dendrita (ponekad tijela ili aksona) drugog neurona, postoji mali razmak. Taj se razmak naziva sinapsa. Dok se unutar neurona komunikacija odvija električnim signalima, komunikacija među neuronima odvija se hemijskim signalima i to preko sinapsi. Koliko će prenos putem sinapsi biti učinkovit zavisi od impulsa koji kroz njih prolaze. Zbog toga možemo reći da sinapse uče kroz aktivnosti u kojima učestvuju. [1]

Slika 2. Poređenje: a) biološki neuron i b) vještački neuron-perceptron

Na slici 2b) prikazan je najjednostavniji oblik vještačkog neurona, tj. perceptron. Pošto vještački neuron simulira biološki neuron, njegove dijelove možemo uporediti sa dijelovima biološkog neurona. Ekvivalent tijela biološkog neurona je sumator vještačkog neurona, ekvivalent aksona su izlazi sumatora, a dendrita ulazi u sumator. Ulazne vrijednosti neurona (x1, x2, …xn) množe se sa odgovarajućim težinama (w1, w2, … wn). Težine su ekvivalent snage sinapsi kod



biološkog neurona. Vrijednost težine može biti pozitivan ili negativan broj. U sumatoru se vrši sumiranje težinskih signala, a rezultat sumiranja čini izlaz sumatora, koji je ujedno i ulaz u aktivacijsku funkciju. Aktivacijska funkcija je ekvivalent praga osjetljivosti biološkog neurona, a može biti linearna ili nelinearna. Kod perceptrona se koristi jednostavna funkcija praga (eng. threshold function) koja kao izlaz daje 0 ili 1. Kao aktivacijske funkcije takođe se mogu koristiti i druge funkcije kao npr. sigmoidalna, tanh i signum funkcija.

Ovdje opisan vještački neuron znatno je pojednostavljen u odnosu na biološki neuron. Kod njega se ulaz trenutno prosleđuje na izlaz, što znači da kašnjenje signala prisutno kod biološkog neurona nije uzeto u obzir. Pozitivna strana je ta što se time ubrzava obrada ulaznih signala, ali negativna strana je što se to odražava na dinamiku sistema. Kod bioloških neurona takođe je prisutna i sinhronizacija, tj. informacija se kodira slanjem impulsa određene učestanosti. Signali neurona su frekvencijski modulisani impulsi. Ova osobina takođe nije prisutna kod ovdje opisanog vještačkog neurona. Međutim, to se može djelimično savladati izborom adekvatne aktivacijske funkcije. Iako vještački neuron sam za sebe ima određenih nedostataka, ti se nedostatci umanjuju povezivanjem neurona u mrežu na odgovarajući način.

1.3 Razlike između neuronskih mreža i računara

Glavna razlika između neuronskih mreža i računara je u načinu na koji rješavaju problem. Računare koristimo za rješavanje onih problema za koje imamo algoritam, kao npr. za izvođenje aritmetičkih operacija. Neuronske mreže su efikasnije u rješavanju onih problema za koje nemamo definisan algoritam. One se ne programiraju za obavljanje specifičnog zadatka kao računari već uče putem primjera. Iako ovaj pristup ima mnogobrojne prednosti, nedostatak je taj što funkcionisanje neuronske mreže može biti nepredvidivo upravo zato što mreža sama uči kako riješiti problem.

Glavne razlike biloških mreža i konvencionalnih računara date su u sledećij tabeli.

TABELA 2: Poređenje karakteristika bioloških mreža i procesora konvencionalnog računara [2]

Biološka mreža-neuroni Vještačka mreža-procesor računara

Učenje na osnovu primera-zasnovano na podešavanju jačine konekcionih veza, pragova i strukture, fazi logika

Programiranje pomoću instrukcija (ako–onda analiza, logika koja razlikuje samo stanje 0 ili 1)

Smoorganizovanje u toku učenja Zavisan od programa

Paralelni i asinhroni rad (kontinualni ilidiskretni)

Sekvencijalni ili serijski rad, sinhronizovan zajedničkim taktom

Brzina: mala (~102 Hz) Brzina: velika (~109 Hz)

Broj: veliki (~109) Broj: mali (stotine)

Procesor: jednostavan Procesor: kompleksan

Obrada podataka: paralelna Obrada podataka: sekvencijalna



Primjena neuronske mreža je posebno pogodna u situacijama kada trebamo riješiti problem za koji nemamo sve podatke ili nismo sigurni da li su svi podaci ispravni. Čak i na osnovu takvih podataka ona nam može dati adekvatno rješenje. Algoritamski pristup korišten na računarima zahtjeva poznavanje svih relevantnih elemenata na osnovu kojih će rješavati problem, a takođe i svi podaci moraju biti ispravni kako bi dobili ispravno rješenje.

Sa inženjerskog stanovišta biološki neuroni su slabi procesori i prilično su nepouzdani. U mozgu ovo je prevaziđeno velikim brojem neurona i međusobnih veza. Neuronska mreža je u prednosti i zahvaljujući paralelnoj obradi podataka. Za razliku od nje klasični računar podatke obrađuje serijski, tj. dok ne završi s jednom sekvencom računanja, ne može preći na drugu.

1.4 Arhitekture neuronskih mreža

Neuronske mreže mogu biti potpuno povezane (eng. completelyconnected), proslijeđujuće (eng. feed-forward) i povratne (eng. feedback, recurrent). [3] Proslijeđujuće neuronske mreže specifične su po tome što omogućavaju signalima da se kreću u samo jednom smjeru i to od ulaza prema izlazu (slika 3). Kod povratnih mreža signali se kreću u oba smjera (slika 3), što je omogućeno uvođenjem petlji.

Slika 3. Tipovi arhitekture neuronskih mreža: a) potpuno povezana, b)proslijeđijuća i c) povratna

Neuronske se mreže takođe razlikuju i po broju slojeva od kojih se sastoje. Paralelno složen skup neurona gradi jedan sloj neuronske mreže. U skladu sa tim razlikujemo jednoslojne i višeslojne mreže. Višeslojne mreže sastoje se od ulaznog sloja, jednog ili više skrivenih slojeva i izlaznog sloja. Pritom se skriveni slojevi nalaze između ulaznog i izlaznog sloja. Neke od poznatijih arhitektura neuronskih mreža su: mreža perceptrona, ADALINE/MADALINE, Hopfieldova mreža, Bolcmanova mašina, višeslojna proslijeđujuća mreža, Kohonenova mreža i dr. O nekima će od ovih mreža u daljem tekstu biti više govora.

1.5 Učenje neuronske mreže

Potrebno je razlikovati arhitekturu neuronske mreže i njen algoritam učenja. Prvo se odnosi na opis određene arhitekture i postupka kojim neuronska mreža računa svoj izlazna osnovu skupa ulaza. Drugo je opis algoritma učenja koji se koristi za podešavanje mreže kako bi postala uspješnija u produkovanju željenog izlaza.

Neuronske su mreže sposobne rješavati one probleme koje možemo postaviti u obliku prepoznavanja uzoraka. Zadatak neuronske mreže je da nauči svrstati predstavljeni uzorak u jednu



od kategorija. Učenje ne podrazumijeva da mreža samo memoriše uzorke koji su joj predstavljeni, već da nauči generalizovati na osnovu tih uzoraka. [1]

Znanje neuronske mreže sačuvano je u vrijednostima težina veza, a učenje podrazumijeva mijenjanje vrijednosti težina sve dok mreža ne počne davati željene izlaze na osnovu datih ulaza. Sama faza učenja je proces podešavanja težina u mreži, koje se odvija u više iteracija ili prolaza kroz mrežu. Jedna iteracija predstavlja učitavanje jednog posmatranja iz podataka (jednog ulaznog i izlaznog vektora), ali se zbog povećanja brzine učenja ponekad preporučuje učitati više posmatranja odjednom, pri čemu se broj posmatranja koji se obrađuju u jednoj iteraciji zove epoha. U svakoj iteraciji računaju se nove težine. Obično se mreža trenira u nekoliko hiljada iteracija. Težine se mogu jednom odrediti, a njihova dalja promjena može se onemogućiti. To je karakteristično za fiksne neuronske mreže. Takve su mreže namijenjene rješavanju tačno jednog određenog problema. S druge strane postoje adaptivne neuronske mreže kod kojih je dalja promjena težina moguća. Početne vrednosti izuzetno utiču na krajnji rezultat učenja. Tipična inicijalizacija je malim slučajnim vrednostima. Velike vrednosti vode u zasićenje i zaglavljivanje u lokalnim ekstremumima bliskim startnoj poziciji. Praktična preporuka za inicijalizaciju je izbor početnih

težina u opsegu [−3

√k i

,3

√k i] , gde je k ibroj ulaznih veza u neuron.

Uopšteno možemo reći da postoje tri pristupa učenju neuronskih mreža, a to su supervizorsko učenje, nesupervizorsko učenje i učenje sa podsticajem. [2]

Slika 4. Supervizorsko učenje

Za supervizorsko učenje (slika 4) karakteristično je postojanje vanjskog učitelja koji neuronskoj mreži predstavlja parove ulaznih i izlaznih uzoraka na osnovu kojih mreža uči. Učenje se odvija podešavanjem težina na takav način da razlika između izlaza koje je dala mreža i željenih izlaza bude što manja.

Slika 5. Nesupervizorsko učenje



Nesupervizorsko učenje (slika 5) podrazumijeva samoorganizaciju neuronske mreže, tj. učenje koje se odvija bez vanjskog učitelja. Na osnovu ulaznih uzoraka mreža mijenja vrijednosti težina prema određenom algoritmu, sve dok se ne uspostavi stanje ravnoteže i nemogućnost daljih promjena težina. Rezultat učenja nije moguće predvidjeti, pošto za vrijeme učenja nije određen željeni izlaz. Nesupervizorske neuronske mreže koriste se za klasifikaciju ulaza, a velika im je prednost što se mogu koristiti i u onim slučajevima kada nismo sigurni šta bi neuronska mreža trebala klasifikovati. [2]

Slika 6. Učenje s podsticajem [2]

Učenje sa podsticajem (slika 6) podrazumijeva da inteligentna mašina zasnovana na neuronskoj mreži djeluje u okolini. Za svaku akciju dobija povratnu informaciju iz okoline na osnovu koje akciju procjenjuje uspješnom ili neuspješnom. U skladu sa tim koriguje vrijednosti težina. Učenje se vrši do postizanja stanja ravnoteže kada dalja promjena vrijednosti težina nije moguća. Cilj učenja je porast broja uspješnih akcija. Analogno obučavanju sa učiteljem, ova forma učenja se može tretirati na isti način s tim što umesto učitelja, koji egzaktno ukazuje kakav odziv neuronske mreže treba da bude, u ovom slučaju imamo “kritičara” koji daje grublju ocenu odziva neuronske mreže. Ovo učenje možemo okarakterisati kao srednji oblik izmeđĐu supervizorskog i nesupervizorskog učenja. [2]

Učenje neuronske mreže može biti odvojeno u posebnu fazu ili se može odvijati za vrijeme rada mreže. Pristup kod kojeg se učenje odvaja u posebnu fazu naziva se offline pristup, a zastupljen je kod supervizorskog učenja. Drugi pristup, tzv. online pristup, kod kojeg mreža uči kroz rad, prisutan je kod nesupervizorskog učenja.

1.5.1 Opšta forma pravila učenja neuronske mreže



Slika 7. Opšta šema učenja i-tog neurona

w i=(wi 1 ,wi 2 ,. . ., wim)T , i=1,2, . .. , n - vektor težina sinapsi i-tog neurona, d i- željeni izlaz.

Vrijednost prilagođavanja težine veze od neurona i prema sledećem neuronu se računa:

Δw i( t )=η r x ( t ), (1)

gdje su

η - koeficijent učenja – pozitivna konstanta,

r – signal učenja, u opštem slučaju funkcija oblika. [2]

r=f r ( wi , x , d i ) (2)

w i( t+1)=wi( t )+η f r (w i( t ) , x ( t ) , d i( t )) x ( t ) , (3)

Odnosno

w i (t +1 )=wi (t )+∆ wi(t ) (4)

Na osnovu opšte jednačine (4), generisani su mnogi zakoni učenja, u zavisnosti od variranja načina generisanja signala učenja r. [2]

1.6 Koncepti vještačke inteligencije vezani uz neuronske mreže

Pri rješavanju kompleksnih problema, neuronske se mreže često kombinuju sa genetskim algoritmima i fazi logikom. Njihovo često kombinovanje rezultovalo je davanjem naziva "soft-computing" ovoj kombinaciji. Ovdje ću ukratko biti objasnšnjeno što su to genetski algoritmi i fazi logika, te na koji su način vezani za neuronske mreže.

1.6.1 Genetski algoritmi

Genetske je algoritme osmislio John Holland 1975. godine, zasnivajući ih na idejama sa područja evolucijske biologije. Osnovna ideja koja stoji iza genetskih algoritama je odabir najodrživijeg rješenja problema, što je ekvivalent preživljavanju najsposobnijih i najprilagođenijih jedinki u prirodi. [1]



Postupak odabira najodrživijih rješenja pomoću genetskog algoritma iterativni je postupak koji se odvija kroz nekoliko koraka:

1. Odabir populacije rješenja,

2. Evaluacija svakog pojedinog rješenja,

3. Izbor najboljih rješenja,

4. Genetsko manipulisanje rješenjima kako bismo dobili novu populaciju rješenja.

Genetski algoritmi se koriste u tri glavna područja, a to su optimizacija, inteligentno pretraživanje i mašinsko učenje. Mogu funkcionisati u sprezi sa neuronskim mrežama na tri osnovna načina. Kao prvo njima se mogu podesiti parametri neuronske mreže,kao što su težina i nelinearnosti, kada su podaci za uvježbavanje dostupni. U ovom slučaju se koriste kao algoritam učenja neuronske mreže. Kao drugo, genetske algoritme možemo iskoristiti za određivanje strukture neuronskih mreža. Dakle, kada ne možemo adekvatno odrediti broj neurona u jednom ili više skrivenih slojeva, možemo se poslužiti genetskim algoritmima kako bismo riješili problem. Kao treće, genetski algoritmi se mogu upotrijebiti za automatsko podešavanje parametara prototipa jednačine učenja. To ima mnoge korisne primjene kod adaptivne kontrole, gdje se adaptacija zakona kontrole realizuje pomoću genetskih algoritama.

1.7 Fazi logika

Fazi logiku je utemeljio Lotfi Zadeh sredinom 1960-tih godina. Ovom logikom se nastoji opisati tzv. "nesigurno" znanje. Nesigurno znanje predstavljeno je fazi skupom koji se sastoji od nivoa istinitosti, odnosno vjerojatnoće. Nivoi istinitosti mogu imati bilo koju vrijednost između 0 i 1, uključujući i 0 i 1. Pritom 0 kao i u klasičnoj logici podrazumijeva da se npr. događaj nije dogodio ili da element ne pripada skupu, dok 1 podrazumijeva da se događaj dogodio, odnosno da neki element pripada skupu. Dok klasična logika ostaje na tome, fazi logika ostalim vrijednostima između 0 i 1 nastoji izraziti koliko je vjerojatno da se događaj dogodio ili da element pripada skupu.

Tako npr. ako se želimo izraziti pomoću klasične logike tada možemo reći da je voda hladna ili da je topla. Meutim, ako uzmemo u obzir fazi logiku tada voda može biti npr. zamrznuta, vrlo hladna, prilično hladna, mlaka, prilično topla, vrlo topla, vrela.

Sistemi bazirani na fazi logici 1980-tih godina smatrani su eksperimentalnom tehnologijom. Međutim, već 1990-tih godina počela je njihovo korištenje u komercijalne svrhe. Fazi logika se u praksi pokazala vrlo efikasnom za opisivanje sistema koji nisu jasno definisani, sistema koji su vrlo složeni ili ih se ne mogu adekvatno matematički analizirati.

Sistemi čiji je rad zasnovan na fazi logici imaju ugrađen poseban fazi kontroler koji se sastoji od fazifikatora, dijela za donošenje zaključka i defazifikatora. Fazifikator pretvara ulaznu vrijednost u fazi vrijednost, dio za donošenje zaključka zaključuje koristeći se bazom znanja, dok defazifikator pretvara rezultate zaključivanja u akcije.

Sistemi zasnovani na fazi logici koriste se u praksi u mašinama za pranje rublja, liftovima, grijačima vode, video kamerama, klima uređajima, fotokopir aparatima, sistemima za kočenje itd. Takođe se upotrebljavaju za realizaciju vida i govora računara, prepoznavanje rukopisa, donošenje



odluka. U nekima od svojih primjena poput npr. računarskog vida, kombinuju se sa neuronskim mrežama. [1]

2 KONSTRUKTIVISTIČKI PRISTUP NEURONSKIM MREŽAMA

Neuronske mreže su imitacija nervnog sistema čovjeka i uče na osnovu primjera. Iako su one znatno pojednostavljene u odnosu na nervni sistem čovjeka, pomoću njih možemo pokušati ukazati na to što se događa u glavi čovjeka za vrijeme učenja. U okviru istraživanja razvojne psihologije pomoću neuronskih mreža nastoji se doći do saznanja kako ljudi stvaraju koncepte. Teorija koja se nalazi u osnovi tih istraživanja je konstruktivistička teorija učenja.

U narednom poglavlju biće govora o primjeni neuronskih mreža u obrazovanju. Podučavanje pomoću inteligentnih sistema za podučavanje zasniva se na konstruktivističkoj teoriji učenja.

2.1 Konstruktivistički pristup vještačkoj inteligenciji

Konstruktivističkom teorijom nastoji se objasniti kako spoznajemo okolinu. Osnovna pretpostavka ove teorije učenja je da ljudi aktivno stvaraju vlastito znanje. Pritom ne spoznajemo okolinu kakva je objektivno nego u skladu sa iskustvima koja već posjedujemo.

Bitno je istaknuti zašto je konstruktivistički pristup vezan baš uz konekcionizam i neuronske mreže. Simbolički pristup vještačkoj inteligenciji posmatra okolinu kao skup objekata i veza među njima. Na objekte se gleda kao na nešto što postoji u okolini i posjeduje određena objektivna svojstva. Takvi se sistemi oslanjaju na skup unaprijed definisanih pravila koja govore o vezama među tim objektima na osnovu njihovih svojstava. Međutim, ako se izmjene svojstva objekata ili veze među njima, potrebno je prilagoditi sistem. Pošto ti sistemi ne posjeduju svojstvo adaptabilnosti, programer je taj koji mora unijeti izmjene. Neuronske mreže posjeduju svojstvo adaptabilnosti. Pri tome stepen adaptabilnosti zavisi od načina na koji uče. Mreže zasnovane na supervizorskom učenju adaptabilne su jer mreža može prepoznati i onaj uzorak koji joj nije predstavljan za vrijeme njenog učenja. Međutim, ako se promjene zahtjevi okoline, takođe je potrebna intervencija od strane čovjeka. Potrebno joj je dati nove primjere na osnovu kojih će naučiti generalizovati na novi način. Neuronske mreže zasnovane na nesupervizorskom učenju u potpunosti su adaptabilne jer posjeduju sposobnost konstantnog učenja. Kako se mijenjaju uslovi u okolini tako se mreža prilagođava novonastaloj situaciji i mijenja svoja unutrašnja stanja konstantnim učenjem. Zbog toga će mreža na neki ulaz u jednom trenutku reagovati dajući određeni



izlaz, dok će u drugom trenutku za taj isti ulaz dati drugačiji izlaz, što je posljedica učenja koje se odvijalo u međuvremenu.

Uopšteno možemo reći da su konstruktivizam i konekcionizam međusobno povezani na dva načina. S jedne se strane konstruktivističkom teorijom nastoje objasniti procesi učenja neuronske mreže, a sa druge strane se pomoću konekcionističkih, odnosno neuronskih mreža nastoje modelirati procesi stvaranja predstava kod ljudi.

Za konstruktivno učenje (eng. constructive learning) neuronskih mreža karakteristično je da neuronska mreža nema fiksnu arhitekturu. Uobičajeni pristup rada sa neuronskim mrežama podrazumijeva da unaprijed definišemo broj neurona, njihov raspored i veze među njima. Međutim, moć neuronske mreže zasnovane na konstruktivnom pristupu učenjuje u njenoj mogućnosti da učenje započne sa jednostavnom arhitekturom,a tokom učenja, prema potrebi, dinamički dodaje nove neurone i veze među njima. [1]

2.2 Konstruktivizam i inteligentni sistemi za podučavanje

Rad nastavnika s učenicima dugo se vremena zasnivao na objektivnim pretpostavkama koje imaju dominantnu ulogu u podučavanju. Po objektivizmu, objekti u našoj okolini stvarno postoje nezavisno od subjekata. Zbog toga je primarni cilj podučavanja da učenici usvoje objektivne istine. Komunikacija između nastavnika i učenika pri tome je uglavnom jednosmjerna, odnosno nastavnik prenosi učeniku informacije koje treba naučiti. Uloga učenika je pasivna. [1]

Iako se i u današnje doba nastavnici koriste takvim pristupom, sve više se nastoji da se rad sa učenicima zasniva na konstruktivističkim pretpostavkama. Ove pretpostavke ističu da učenik aktivnim odnosnom prema saznanjima gradi svoje znanje. Naglasak se sve više pomjera sa podučavanja na učenje. Komunikacija između nastavnika i učenika je dvosmjerna. Nastavnik nastoji potaknuti učenika na razmišljanje o problemu koji rješava i prenijeti mu potrebne informacije na način na koji ih učenik može razumjeti. Sa druge strane, učenik nastavniku postavlja pitanja kako bi na osnovu nastavnikovih odgovora razjasnio svoje dileme. Ovakav način rada s učenikom zahtjeva individualizaciju podučavanja pošto podučavanje treba prilagoditi iskustvima učenika.

Inteligentni sistemi za podučavanje (eng. Intelligent Tutoring Systems- ITS) zasnivaju se na ideji individualizacije podučavanja. ITS je kompjuterski program koji koristi tehnike vještačke inteligencije za modeliranje znanja pojedinog učenika i prilagođavanje procesa podučavanja potrebama toga učenika.

Konstruktivistički pristup podučavanju putem ITS-a počeo se primjenjivati sredinom 1980-tih godina. Ovaj pristup stavlja težište na detaljno objašnjenje procesa konstruisanja znanja u učenikovoj glavi. Dakle u radu s ITS-om usmjeravanje učenika ne vrši se isključivo na osnovu njegovog ponašanja (npr. učenik je tačno odgovorio i treba mu predstaviti sledeću lekciju), već sistem nastoji izvesti zaključke o kognitivnim sposobnostima učenika, njegovoj motivaciji, interesima i sl., na osnovu čega zatim može izvršiti prilagođavanje prezentacije sadržaja na način na koji učenik te sadržaje može razumjeti. Cilj sistema nije da učeniku prezentuje informacije koje treba naučiti određenim redoslijedom, već da mu ponudi okruženje pogodno za učenje



istraživanjem. Iako sistem učeniku pruža pomoć, ne nameće mu se određeni linearni redoslijed usvajanja znanja. Time je učeniku omogućeno da izabere svoj vlastiti put sticanja znanja.

Američki psiholog Daniel Wenger je sredinom 1980-tih godina kreirao model ITS-a zasnovan na pretpostavkama konstruktivističke teorije. U ovom slučaju, na ITS se gleda kao na alat za prenošenje znanja. Dijelovi ITS-a su: domen znanja, model učenika, pedagoški modul i okruženje ( eng. interface) a njihovi odnosi prikazani su na sledećoj slici.

Slika 8. Dijelovi inteligentnog sistema za podučavanje

Domen znanja je dio ITS-a u kojem se nalazi znanje koje će se predstaviti učeniku. Pošto je prezentacija znanja dinamična, potrebno je i da domen znanja bude organizovan na takav način. Na osnovu toga, domen se osim od informacija sastoji i od skupa pravila koja omogućavaju kreiranje više prihvatljivih odgovora. Ovim se učenik ne primorava da svoje znanje uskladi sa jednim tačno određenim odgovorom za koji su eksperti odredili da je idealan.

Model učenika je dio ITS-a koji omogućava individualizaciju podučavanja. Dijeli se na dva različita, ali usko povezana dijela: (1) model učenika koji je u najjednostavnijem obliku struktura podataka u kojoj je sačuvana informacija o učeniku; (2) dijagnostički modul koji vrši proces dijagnoze kojim se obnavlja model učenika. U okviru modela o svakom se učeniku čuvaju podaci iz kojih sistem može donijeti zaključak o nivou znanja, vještinama učenika i sl., a na osnovu kojih pedagoški modul određuje adekvatnu obuku.

Pedagoški modul ima dvije uloge, dijagnostičku i didaktičku. Dijagnoza se vrši na tri nivoa. Na biheviorističkom nivou posmatra se isključivo učenikovo ponašanje. Na epistemološkom nivou se na osnovu učenikovog ponašanja zaključuje o njegovom znanju. Na individualnom nivou nastoje ustanoviti karakteristike ličnosti učenika, njegova motivacija itd. Podacima dobijenim dijagnozom upotpunjuje se model učenika. Didaktička uloga pedagoškog modula je u odabiru odgovarajuće metode rada s učenikom koja je prilagođena njegovim specifičnostima. Odabir metode zavisi i od sadržaja iz domena znanja koji se koriste za rad s učenikom.

Putem interfejsa učenik komunicira s ITS-om. U skladu sa konstruktivističkom teorijom učenja interfejs se organizuje na takav način da učeniku omogući da bude što aktivniji. Zbog toga je najpogodnije ono okruženje koje omogućava učenje istraživanjem. Učenik nije u potpunosti prepušten sam sebi već se na određen način usmjerava kako se ne bi izgubio pri pregledanju sadržaja i propustio bitne aspekte domena. Wenger je predložio da se u sklopu okruženja definiše i model razgovora koji će rješavati nejasnoće u odgovorima učenika. Putem interfejsa ujedno se prikupljaju i informacije o učeniku.

U duhu konstruktivističke teorije mijenja se i pristup modeliranju učenika. Umjesto svođenja modeliranja na prikupljanje informacija o učeniku na osnovu kojih se zaključuje koliko učenikovo znanje odstupa od znanja eksperta, predloženo je da model bude dostupan učeniku kako



bi i sam u njega mogao unositi izmjene. Ovim je učeniku pružena veća sloboda u kreiranju svog pristupa učenju. [1]

2.3 Implementacija inteligentnih sistema za podučavanje pomoću neuronskih mreža

Ovo poglavlje sastoji se od pregleda ideja na koji se način neuronska mreža može primijeniti za implementaciju pojedinih dijelova inteligentnog sistema za podučavanje. Takođe se primjenjuje i u realizaciji interfejsa ITS-a.

2.3.1 Implementacija modela učenika pomoću neuronske mreže

2.3.1.1 Upotreba neuronske mreže u svrhu predviđanja učenikovih odgovora

Osnovna ideja je bila uvježbavanje neuronske mreže za matematičku operaciju oduzimanja kako bi se pomoću nje mogli predvidjeti učenikovi odgovori i greške pri oduzimanju. Neuronska mreža koja izvodi oduzimanje zapravo je simulacija učenikovog kognitivnog procesa izvođenja oduzimanja. Problem oduzimanja uzet je u obzir zbog njegove istraženosti, tj. evidentirane su sve moguće greške koje učenik može učiniti pri oduzimanju. Drugi razlog je mogućnost da se postupak oduzimanja pretvori u postupak prepoznavanja uzoraka.

Za arhitekturu neuronske mreže odabrana je višeslojna proslijeđujuća neuronska mreža zasnovanu na algoritmu “širenja unazad” (eng. backpropagation). Algoritam mreže "širenje unazad" bio je presudan za široku komercijalnu upotrebu ove metodologije, te je neuronske mreže učinio široko upotrebljavanom i popularnom metodom u različitim područjima. Kreator ovog algoritma bio je Paul Werbos 1974. godine , a proširena je od strane Rumelhart-a, Hinton-a i Williams-a 1986. Bila je to prva neuronska mreža s jednim ili više skrivenih slojeva. U osnovi, ova mreža šalje ulaz kroz mrežu od ulaznog do izlaznog sloja, a zatim određuje grešku i tu grešku vraća nazad sve do ulaznog sloja ugrađujući je u formulu za učenje. Standardni algoritam mreže “širenje unazad” uključuje optimizaciju greške koristeći deterministički algoritam gradijentnog opadanja (eng. gradient descent). Glavni nedostatak ovog algoritma je problem čestog pronalaženja lokalnog umjesto globalnog minimuma greške i zbog toga novija istraživanja uključuju njegovo unapređivanje nekim drugim determinističkim ili stohastičkim metodama. [5]

Strukturu mreže čine ulazni sloj, izlazni sloja i najmanje jedan skriveni sloj, s vezom unaprijed. Tipična arhitektura “širenje unazad” prikazana je na donjoj slici (zbog jasnoće je prikazan samo jedan skriveni sloj). [3]



Slika 7. Arhitektura mreže zasnovana na algoritmu „širenja unazad“

Struktura mreže prilagođavana je zavisno o vrsti eksperimenta. Podaci za uvježbavanje generisani su na osnovu rezultata studije o oduzimanju, kako bi se sa sigurnošću moglo reći da je mreža podučena svim mogućim situacijama vezanima uz oduzimanje. Dakle, broj uzoraka za uvježbavanje određen je brojem svih mogućih situacija oduzimanja. Broj prezentovanja cijelog skupa uzoraka mreži zavisi od vremena potrebnog za uvježbavanje mreže. Kao gornja granica određeno je 20.000 ponavljanja, ali da bi postupak učenja bio zaustavljen ranije u slučaju da mreža ne može naučiti nove uzorke, određen je iznos vrijednosti greške mreže koja označava kraj postupka učenja.

U okviru prvog eksperimenta cilj je bio izraditi neuronsku mrežu koja može izvesti postupak oduzimanja manjeg trocifrenog broja od većeg trocifrenog broja. To je naravno značilo da postoji 500.500 mogućih situacija oduzimanja, a pošto bi predugo trajalo uvježbavanje mreže na osnovu svih tih situacija, izvršen je odabir manjeg broja uzoraka, tačnije 20 uzoraka. Međutim, iako su isprobali nekoliko neuronskih mreža, eksperimenti nisu uspješno završeni. Drugi je eksperiment za cilj imao izradu neuronske mreže koja vrši oduzimanje na nivou jedne kolone. Ukupni broj situacija sveo se na 200 mogućih situacija, dakle 200 uzoraka koje je potrebno predstaviti mreži.

Što se tiče strukture mreže, ulazni sloj sastavljen je od 27 neurona (slika 8), od čega je 10 neurona predviđeno za predstavljanje jednog broja, 10 za predstavljanje drugog broja, 1 označava posuđivanje, 3 označavaju da li je prvi broj veći, jednak ili manji od drugog broja, a 3 označavaju da li je drugi broj veći, jednak ili manji od prvog broja. Dodatni podaci koji se mreži predstavljaju uz brojeve služe za ubrzavanje procesa uvježbavanja mreže. Oni mreži olakšavaju generalizaciju, pa se mreža može uvježbati na osnovu manjeg broja primjera. Osim što su povezani sa neuronima skrivenog sloja, dodatni neuroni su direktno povezani i sa neuronima izlaznog sloja kako bi imali veći uticaj na rezultat oduzimanja. Pošto je izlaz rezultat oduzimanja, dovoljno je bilo uzeti u obzir 10 izlaznih neurona, po jedan za svaki broj od 0 do 9. Ako bi pomoću ove neuronske mreže od 8 željeli oduzeti 5 bez posuđivanja iz prethodne kolone, onda bi to mreži predstavili kao uzorak 0000000010 0000010000 0 100 001. [1]



Slika 8. Neuronska mreža koja vrši oduzimanje na nivou jedne kolone

U svrhu uvježbavanja neuronske mreže korišteno je nekoliko skupova uzoraka, od kojih je jedan skup primjera tačno izvedenog oduzimanja a ostali skupovi su primjeri pojedinih grešaka koje učenici čine pri oduzimanju (npr. oduzimanje veće od manje cifre, upisivanje 0 u kolonu koja zahtjeva posuđivanje, greška da je n – n = n, greška da je n – 0 = 0 i sl.). Uvježbavanje mreže započeto je sa cijelim skupom primjera tačno izvedenog oduzimanja sastavljenog od 200 uzoraka. Drugi pokušaj uvježbavanja mreže podrazumijevao je upotrebu skupa primjera tačno izvedenog oduzimanja iz kojeg je metodom slučajnog uzorka izdvojeno 10 uzoraka. Dakle, mreža je uvježbana na osnovu 190 uzoraka. Svaki dalji pokušaj uvježbavanja podrazumijevao je uklanjanje još 10 uzoraka iz skupa, sve dok ukupno nije uklonjeno 60 uzoraka. Nakon svakog pokušaja uvježbavanja izvršeno je testiranje mreže uzorcima iz cijelog skupa, kako bi se uvidjelo koliki postotak uzoraka na kojima je uvježbavana, i koliki postotak uzoraka na kojima nije uvježbavana mreža prepoznaje. Uklanjanjem uzoraka trebalo je ispitati da li se mreža može adekvatno uvježbati na osnovu nepotpunih podataka. Isti postupak je ponovljen za svaki skup koji predstavlja određenu grešku pri oduzimanju.

Ukupno je izvršeno preko 70 eksperimenata od kojih su neki bili vršeni u svrhu pronalaženja optimalnog broja skrivenih neurona. Rezultati eksperimenta pokazali su da je neuronska mreža bila u stanju naučiti generalizovati na osnovu uzoraka predstavljenih za vrijeme uvježbavanja, i uspješno je mogla prepoznati preko 50% uzoraka. U slučaju prepoznavanja uzoraka na kojima nije uvježbavana bila joj je ipak potrebna pomoć. Mreža je takođe imala poteškoća sa učenjem skupova primjera nekih od grešaka u oduzimanju. Zbog toga je započeta izrada nove neuronske mreže.



Slika 9. Druga neuronska mreža koja vrši oduzimanje na nivou jedne kolone

U okviru trećeg eksperimenta neuronska mreža iz drugog eksperimenta nadograđena je još jednim skrivenim slojem i dodatnim izlaznim neuronom koji označava posuđivanje (slika 9). Dodatnim skrivenim slojem poboljšana je sposobnost učenja mreže, dok je dodatni izlazni neuron iskorišten u svrhu detektovanja kada učenik vrši ili ne vrši posuđivanje kako bi se taj podatak mogao iskoristiti u svrhu pomaganja učeniku koji je pogriješio pri oduzimanju. Iako u tu svrhu nije iskorišten u okviru eksperimenta, došlo se na ideju da bi se podatak o posuđivanju takođe mogao prenijeti ulaznom neuronu koji označava posuđivanje.

Pristup uvježbavanju i testiranju mreže isti je kao u prethodnom eksperimentu. Međutim, razlika je u tome što je u ovom eksperimentu broj skupova sa primjerima pojedinih grešaka povećan i mreži je predstavljeno 16 različitih grešaka. Osim toga dodati su i skupovi uzoraka sa nejasnim podacima. Nejasni podaci se odnose na greške koje učenik slučajno napravi, npr. uslijed umora. Skupovi uzoraka sa nejasnim podacima dobijeni su postepenim dodavanjem 10 po 10 nejasnih podataka u skup primjera tačno izvedenog oduzimanja, do maksimalnih 60 nejasnih primjera. Iako se u stvarnosti rijetko može dogoditi da učenik napravi toliko slučajnih grešaka, bilo je potrebno ispitati koliko je mreža robusna.

Ukupno je proveden 161 eksperiment sa ovom neuronskom mrežom. Mreža je pokazala bolje rezultate nego ona iz prethodnog eksperimenta. Prepoznala je više od 50% primjera ispravnog oduzimanja, performanse joj nisu u potpunosti opale kada su joj predstavljeni nejasni primjeri, te nije imala problema ni sa učenjem skupova primjera nekih grešaka koji su prethodnoj mreži predstavljali problem. Osim 16 grešaka na kojima je uvježbavana mreža se takođe može nositi i sa nekim drugim greškama, zbog toga što su mnoge greške u principu slične.

Potrebno je istaći da se testirana neuronska mreža može uvježbavati i stvarnim podacima, tj. podacima dobijenim praćenjem načina na koji učenik oduzima. Na ovaj način mreža se može prilagoditi pojedinom učeniku, tako da se mogu predvidjeti i koraci učenika u rješavanju problema.[1]



2.3.2 Upotreba neuronske mreže u svrhu predviđanja uspješnosti učenika

Upotreba neuronske mreže za predviđanje uspješnosti učenika namijenjena je za rješavanje dva problema. Sa jedne strane korištena je za predviđanje broja grešaka koje će učenik napraviti za vrijeme rješavanja problema. Sa druge strane korištena za određivanje sledećeg problema koji se učeniku može dati na rješavanje, a koji bi mu trebao pomoći da napreduje, odnosno da koriguje svoje znanje u slučaju greške. Cilj je bila procjena moći predviđanja neuronske mreže.

Korištena je višeslojna proslijeđujuća neuronska mreža zasnovana na algoritmu “širenja unazad”. Mreža je građena od 4 ulazna, 4 skrivena i 1 izlaznog neurona (slika 10). Ulazi u mrežu su vrijeme potrebno da učenik riješi problem, stepen pomoći koju je učenik tražio, nivo problema i nivo učenika. Međutim, pošto se mreža koristi za predviđanje broja grešaka prije nego što učenik započne sa rješavanjem zadatka da bi se na osnovu toga mogao odabrati adekvatan problem za učenika, krajnja mreža je realizovana bez podatka o vremenu koje je potrebno učeniku da riješi problem. Zbog toga su u daljem razvoju mreže uključeni neki drugi podaci zabilježeni u okviru modela učenika. Izlaz predstavlja predviđen broj grešaka. [1]

Slika 10 . Neuronska mreža koja predviđa broj grešaka učenika

Neuronska mreža je uvježbavana na podacima prikupljenim kroz rad učenika sa verzijom sistema koja nije koristila neuronsku mrežu za modeliranje učenika. Mreža je bila uvježbana u 57 epoha, a pritom su za uvježbavanje korišteni svi dostupni podaci. Tačnom procjenom smatrala se ona koja ne odstupa za više od 0.5 od tačnog broja grešaka. Time su dobili neuronsku mrežu koja predviđa broj grešaka učenika određene studentske populacije.

Sledeći je korak bio ustanoviti kolika je tačnost predviđanja broja grešaka za svakog pojedinog učenika kako bi se ispitala mogućnost individualizacije mreže. Za testiranje su izdvojili 244 pojedinačne situacije rada učenika sa sistemom od kojih su neke uključivale samo jedan riješeni problem, pa sve do 153 riješena problema. Tačnost predviđanja mreže provjeravana je tako da su podaci o svakoj situaciji rješavanja problema određenog učenika propušteni kroz mrežu, a zatim je upoređen broj predviđenih grešaka i broj grešaka koje je učenik stvarno napravio. Od 4541 situacije rješavanja problema, mreža je pogrešno predvidjela broj grešaka u 72 situacije i to su većinom situacije u kojima je mreža predvidjela da uopšte neće biti grešaka. Od 72 situacije 52 su bile takve, a daljim testiranjem je ustanovljeno da modifikovanjem praga i novim uvježbavanjem mreže, mreža u 40 situacija od tih 52 ipak može izvršiti tačnu procjenu. Neuronska mreža uvježbana na osnovu podataka određene studentske populacije može se prilagoditi pojedinom učeniku u šest situacija rješavanja problema.



2.3.3 Opšti model učenika

Cilj je istražiti mogućnosti izrade opšteg modela učenika koji neće biti vezan za određeni domen znanja, tj. isti model će se moći primjenjivati pri podučavanju više različitih područja.

Modeliranje učenika zasniva se na praćenju sposobnosti učenika da pređe lekcije, praćenju njegovog rada sa sistemom što se manifestuje u obliku uzoraka kretanja kroz sistem i praćenju zainteresovanosti učenika koju možemo uočiti na osnovu načina pristupa pregledanja domena znanja. Upotreba neuronskih mreža i fazi logike ovdje posebno pogodna zbog toga što je prepoznavanje ponašanja učenika u suštini prepoznavanje nediskretnih (fazi) uzoraka u potencijalno nejasnom okruženju. [1]

Model učenika podijeljen je na četiri dijela, a to su dio za nadzor lekcija, dio za prepoznavanje uzoraka kretanja kroz sistem, dio koji bilježi iskustva učenika i dio sa pravilima zasnovanima na fazi logici. Ovdje je posebna pažnja posvećena pojašnjavanju dijela za prepoznavanje uzoraka kretanja kroz sistem i dijela za nadzor lekcija, pošto su zasnovani na neuronskim mrežama.

2.3.3.1 Dio za prepoznavanje uzoraka kretanja kroz sistem

Za realizaciju dijela za prepoznavanje uzoraka kretanja kroz sistem korištena je višeslojna proslijeđujuća neuronsku mrežu zasnovanu na algoritmu povratnog širenja. Arhitektura neuronske mreže određena je na osnovu proučavanja sličnih primjera primjene neuronske mreže. Primjećeno je da je problem prepoznavanja uzoraka kretanja zapravo sličan problemu prepoznavanja rukom pisanih znakova, zbog toga što oba problema uključuju klasifikaciju konačnog broja uzoraka iz potencijalno beskonačnog broja mogućih ulaza. Broj izlaznih neurona odredio je na osnovu broja različitih uzoraka kretanja koje mreža treba prepoznati. Uzorci kretanja su rezultat korisnikovog prelaska sa čvora na čvor hipermedije, a prikazani su kao niz brojeva od kojih svaki predstavlja jedan čvor. Pri tome su u ispitivanju rada neuronske mreže korištene cjelobrojne vrijednosti u jednom slučaju i realne vrijednosti u drugom. U slučaju primjene cjelobrojnih vrijednosti, sa 0 je označen čvor koji nije posjećen, a 1 onaj kojeg je korisnik posjetio. Realne vrijednosti su korištene s ciljem dodavanja vremenske dimenzije, tj. da se iz uzorka može vidjeti prije koliko vremena je čvor bio posjećen. U tom je slučaju čvor koji nije bio posjećen označen je sa 0, čvor koji je upravo posjećen sa 1, a vrijednost broja koji predstavlja svaki prethodno posjećeni čvor umanjen je za unaprijed određenu vrijednost, tako da npr. predzadnji posjećeni čvor može biti označen sa vrijednošću 0.9, čvor posjećen prije njega sa 0.8 itd.

Izdvajaju se četiri osnovna uzorka kretanja, a to su: put, šiljak, prsten i petlja (slika 11).

Put je zapravo niz posjećenih (1, 1, 1, 1, 1, 1) ili niz neposjećenih (0, 0, 0, 0, 0, 0) čvorova (radi jednostavnosti primjera ovdje su uzimani u obzir samo primjeri sa cjelobrojnim vrijednostima). Put pokazuje da je učenik posjetio niz čvorova, a da se pritom nije vratio ni na jedan prethodno posjećen čvor.

Šiljak se sastoji od niza neposjećenih čvorova a zatim slijedi niz posjećenih čvorova (0, 0, 0, 1, 1, 1), dakle učenik je posjetio niz čvorova, da bi se zatim istim putem vratio natrag do početnog čvora, npr. upotrebom naredbe back u pretraživaču.



Prsten možemo prikazati kao niz neposjećenih čvorova a zatim slijedi posjećeni čvor (0, 0, 0, 0, 0, 1), što ukazuje na to da se učenik vratio na početni čvor različitim putem od onog kojim je do tog čvora došao.

Petlje su prikazane kao nizovi neposjećenih čvorova koji završavaju posjećenim čvorom (niz 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1 predstavlja nekoliko petlji). Petlja podrazumijeva kruženje putem kojim je učenik već prolazio.

Slika 11. Uzorci kretanja kroz sistem

Zadatak neuronske mreže je, dakle,da nizove ulaznih vrijednosti koji predstavljaju posjećene i neposjećene čvorove klasifikuje u četiri navedene kategorije. Izlazne vrijednosti su realni brojevi koji predstavljaju postotak u kojima ulazni niz sadrži svaku od četiri navedene karakteristike (npr. put 0.5 = 50%, šiljak 0.1 = 10%, prsten 0.15 = 15% i petlja 0.25 = 25%).

Dok je određivanje broja izlaza bilo jasno postavljeno, broj ulaznih i skrivenih neurona bilo je potrebno odrediti eksperimentisanjem. Broj ulaznih neurona zavisi od toga koliko dugačak niz čvorova se želi uzeti u obzir. U slučaju prekratkog niza mreža može imati problema oko prepoznavanja uzorka kretanja. Npr. svaki šiljak sadrži u sebi i put. Ako uzmemo u obzir prekratak niz, tada mreža može detektovati put, a zapravo se radi o šiljku. Mogli bi uzeti u obzir kompletan niz čvorova nastao za vrijeme rada učenika sa sistemom, međutim tada ne bi mogli pružiti pomoć učeniku u toku rada sa sistemom. Osim toga, veći broj ulaza sa sobom nosi i veću kompleksnost neuronske mreže što ujedno proces uvježbavanja mreže čini složenijim. [1]

Skrivenih neurona takođe ne smije biti premalo, pošto njihov broj predstavlja sposobnost učenja mreže. Ako ih ima previše tada se javlja tzv. problem pretjerane prilagođenosti mreže (eng. over-fitting problem), koji se manifestuje u vidu nesposobnosti generalizacije. Mreža u tom slučaju ustvari memoriše podatke za uvježbavanje umjesto da utvrdi njihove ključne karakteristike i nije u stanju prepoznati podatke na kojima nije uvježbavana.

2.3.3.2 Dio za nadzor lekcija

Dio za nadzor lekcija zadužen je za utvrđivanje kompetencije učenika u području koje se uči putem sistema za učenje, a u skladu s kojom će se učeniku nuditi lekcije određene težine. Da bi dio za nadzor lekcija mogao biti prilagodljiv različitim populacijama učenika i različitim domenima i to



bez intervencije autora, korištena je neuronska mrežom zasnovana na nesupervizorskom učenju, odnosno Kohonenova neuronska mreža (slika 12).

Višeslojna proslijeđujuća mreža ima snažniji matematički model, i može implementirati bilo koju funkciju mapiranja, a moguće ju je i brže uvježbati. Ipak ona ovdje nije korištena jer se javlja problem zbog toga što rezultati učenika nisu ravnomjerno raspoređeni u okviru nekog ranga. Tako npr. kod neke grupe učenika rezultati u okviru određenog domena mogu biti koncentrisani u području između 65% i 85%, dok u ostalim područjima uopšte nema rezultata. Kada bi koristili višeslojnu proslijeđujuću mrežom, morali bi predvidjeti veliki broj izlaza da bi mogli razlikovati rezultate unutar visoko koncentrisanih područja. Pritom bi neki izlazni neuroni ostali neaktivni. Potreba za velikim brojem izlaza povećala bi i složenost mreže, a time i vrijeme potrebno za uvježbavanje. Na izlazu mreže bio bi potreban i sistem koji će interpretirati u koje su kategorije svrstani rezultati, zbog toga što bi različite distribucije rezultata aktivirale različite izlaze.

Slika 12. a) Arhitektura Kohonenove mreže, b) Dvodimenzionalni prikaz izlaznog sloja Kohonenove neuronske mreže

Prethodno navedeni problemi mogu se riješiti pomoću Kohonenove mreže. Ovu mrežu je prvo put predstavio finski profesor Teuvo Kohonen (Univerzitet u Helsinkiju) 1982. godine. Kohonenova mreža je najčešće korištena mreža kada je zadatak simlirati proces učenja u ljudskom mozgu. Najvažniji dio ove mreže je mapa funkcija, sloj neurona koji se organizuju u skladu sa odgovarajućim ulaznim vrijednostima. Ima jedan ulazni i jedan izlazni sloj (slika 12a). Istovremeno je i proslijeđujuća i povratna mreža. Tipovi ulaznih promjenljivih mogu biti binarne i realne vrijednosti. Aktivacijska funkcija ove mreže je sigmoidalna. Metod učenja Kohonenove mreže je samostalni (nesupervizorski) a algoritam mreže je samoorganizacija. Najviše se primjenjuje za klasifikaciju uzoraka, probleme optimizacije i simuliranje. [4]

Pošto je zasnovana na nesupervizorskom učenju, neuronska mreža uči razvrstavati rezultate u kategorije kroz rad. Pritom unaprijed određujemo samo onoliki broj izlaza u koliko kategorija želimo razvrstati učenike. Uvježbavanje mreže se vrši predstavljanjem podataka mreži koji se međusobno razlikuju po karakteristici po kojoj želimo da mreža vrši razvrstavanje podataka u željeni broj kategorija. Granice kategorija mreža određuje sama, te ih mijenja kroz dalji rad, tj. kao rezultat prezentovanja drugačijih podataka. Izlazi se, dakle, ponašaju kao fazi skupovi.

Uopšteno možemo reći da je prednost Kohonenove neuronske mreže pred višeslojnom proslijeđujućom mrežom, u ovom slučaju, u tome što nije potrebno unaprijed predvidjeti sve mogućnosti, već se mreža sama prilagođava novim situacijama mijenjajući granice kategorija.

Ulazi u mrežu su realni brojevi koji predstavljaju postotak uspjeha učenika u rješavanju



pitanja vezanih uz lekciju. Međutim, mreži nije dovoljno proslijediti samo taj podatak, jer ako npr. učenik smješten u kategoriju eksperta riješi pitanja jedne lekcije u malom postotku, može biti smješten u nižu kategoriju na osnovu samo jedne slabije obrađene lekcije. Kako sistem ne bi bio osjetljiv na pojedine ekstremne vrijednosti, neophodno je predstaviti sistemu rezultate rješavanja i prethodnih lekcija. Pritom se svi rezultati predstavljeni mreži ravnopravno uzimaju u obzir pri svrstavanju učenika u određenu kategoriju. U okviru testiranja bilo je potrebno ispitati koliko je podataka o prethodno rješavanim lekcijama potrebno predstaviti mreži kako ne bi bila osjetljiva na pojedine ekstremne rezultate, a da se pritom nepotrebno ne komplikuje mreža dodavanjem više ulaza nego što je to potrebno. [1]

Broj izlaza zavisi od broja kategorija u koje želimo razvrstati učenike. Izlazne vrijednosti su realni brojevi, te se kao prihvatljiv izlaz, odnosno kategorija u koju je učenik svrstan, podrazumijeva onaj koji daje najveću vrijednost. Pri testiranju rada mreže nastoji se odabrati ona konfiguracija mreže koja daje rezultate sa dovoljnim stepenom sigurnosti, tj. kod koje se odgovarajući izlaz može odabrati na osnovu toga što je vrijednost tog izlaza dovoljno velika, a ne samo zato što je veća od drugih vrijednosti.

Broj epoha uvježbavanja je kod Kohonenove neuronske mreže jednostavno ustanoviti. Za uvježbavanje mreže podaci se pripreme raspoređen na određeni način. Te podatke prezentujemo mreži, a rezultate klasifikacije prikazujemo pomoću kružnog dijagrama u kome svaki dio predstavlja količinu rezultata unutar svake kategorije. Kada se na osnovu dijagrama uoči da su podaci razvrstani u kategorije u skladu sa određenom distribucijom, to znači da smo mreži prezentovali dovoljan broj podataka za uvježbavanje. Za generisanje podataka (rezultata učenika) za uvježbavanje mreže koristio program koji simulira rad učenika sa sistemom. Pri generisanju podataka postavljena su određena pravila. Na primjer, pojedini učenik uglavnom postiže slične rezultate u rješavanju lekcija sa nekog područja, pri čemu povremeno može doći do nekog ekstremno dobrog ili ekstremno lošeg rezultata. Zbog toga su takve i slične pravilnosti uzete u obzir kako bi mreža što adekvatnije bila uvježbana.

Između ostalog bilo je potrebno odrediti i način na koji će se podaci predstaviti mreži. Korištena su dva pristupa. Jedan pristup podrazumijeva da se podaci mreži prezentuju onim redoslijedom kojim su generisani kako bi se ispitao uticaj vremenskog redoslijeda prezentovanja podataka mreži. Drugi način podrazumijeva slučajni izbor podataka koji se prezentuju mreži, kako bi se ispitao dejstvo prvog načina prezentovanja podataka mreži. Cilj je pronaći onu strukturu mreže koja nema problema sa prilagođavanjem.

U okviru testiranja korištene su Kohonenove neuronske mreže sa 5, 10 i 20 ulaza, 5, 10, 20, 30 i 40 izlaza, brojem epoha od 25, 50, 100 i 500, te rangovima rezultata od 40 do 70 i od 0 do 100. Rezultati testiranja pokazali su da broj ulaza u mrežu mora biti u ravnoteži sa brojem izlaza, tj. ako npr. imamo premali broj ulaza, a želimo podatke razvrstati u mnogo kategorija, dobit ćemo mrežu koja ne može dati adekvatno rješenje. Obrnuta situacija, tj. veliki broj ulaza, a mali broj izlaza pogodan je za rad mreže, ali sa druge strane može rezultovati korištenjem podataka koji su toliko stari da više nisu relevantni u donošenju suda o učeniku. Testiranje je pokazalo da je optimalni broj ulaza od 5 do 20.



Kao što je već rečeno broj izlaza se postavlja zavisno od željenog broja kategorija u koje se žele razvrstati učenici, međutim, treba uzeti u obzir da više izlaza ujedno podrazumijeva i složeniju mrežu, te sve probleme koji uz nju idu. Takođe treba imati na umu da pošto se radi o nesupervizorskoj mreži koja sama određuje granice kategorija, ne možemo biti u potpunosti sigurni da će mreža kategorije rasporediti na takav način da prvi izlaz predstavlja prvi nivo, drugi izlaz drugi nivo itd. Ovaj nedostatak ne dolazi tako često do izražaja stoga što mreža ipak ima tendenciju grupisati slične kategorije. Rezultati testiranja pokazali su da je 20 izlaza gornja granica ako želimo očuvati jednostavnost mreže koristeći se pritom sa samo 5 do 10 ulaza.

Što se broja epoha tiče, testiranje je pokazalo da je 100 epoha odgovarajuće. Manji broj epoha nije dao adekvatne rezultate, a za većim brojem epoha ne postoji potreba.

Slučajno predstavljanje podataka mreži ukazalo je na to da je mreža sposobna generalizovati, tj. nije došlo do problema pretjerane prilagođenosti mreže.

Testiranje je pokazalo da se mreža uvježbana na podacima određene distribucije može prilagoditi drugačije raspoređenim podacima, ali za adaptaciju joj je potrebno 100 epoha kao i za uvježbavanje. Problem se može javiti u slučaju kada imamo veliki broj kategorija u koje želimo razvrstati učenike i podatke koncentrisane u malom rasponu. Tada se može dogoditi da mreža ne može pronaći dovoljno različita obilježja podataka na temelju kojih ih može svrstati u toliki broj kategorija. [1]

Dio za nadzor lekcija ima zadatak nadzirati, kao i mijenjati vrijednost težine pitanja. Od vrijednosti težine pitanja zavisi kojoj će se grupi učenika, odnosno na kom nivou, predstaviti to pitanje. Autor postavlja inicijalne vrijednosti težina pitanja. Međutim, njegova procjena nije uvijek ispravna, zbog čega ovaj dio sistema igra važnu ulogu. Da ne bi došlo do promjene vrijednosti težine pitanja na osnovu premalog broja interakcija, nivoi u kojima se nalaze pitanja modelirani su kao fazi skupovi. Dakle, potrebno je odrediti željeni broj nivoa i definisati njihove granice. Pritom se nivoi mogu i preklapati, pa tako jedno pitanje može biti označeno kao pitanje primjereno i za učenike drugog i učenike trećeg nivoa. Ako učenici drugog nivoa mnogo griješe na tom pitanju, tada se vrijednost njegove težine povećava, pa će pitanje s vremenom preći na treću nivo, odnosno u drugi fazi skup. Isto tako ako se pitanje pokaže jednostavnim za učenike trećeg nivoa, vrijednost težine će se smanjivati, te će pitanje s vremenom preći na drugi nivo. Prednost preklapanja nivoa, između ostalog, je i u tome što ujedno omogućava sporije pomjeranje pitanja iz kategorije u kategoriju. Naglo mijenjanje nivoa moglo bi ometati rad učenika. Kolika će biti brzina promjene nivoa zavisi od veličine fazi skupa.

U opštem slučaju može se reći da su rezultati testiranja pokazali da je Kohonenova neuronska mreža adekvatna arhitektura neuronske mreže potrebne u svrhu realizacije dijela za nadzor lekcija. Međutim, pri upotrebi treba obratiti pažnju na to da se neuronska mreža upotrebljava samo sa onom grupom učenika kojoj se mreža treba prilagoditi. Ako bi npr. sistem koristili učenici četvrte godine školovanja, pa zatim prve, tada bi se mreža prilagodila učenicima četvrte godine, što bi rezultovalo tim da učenici prve godine ne mogu napredovati do viših kategorija. [1]

2.3.4 Implementacija modela učenika zasnovanog na fazi logici pomoću neuronske mreže



U ovu svrhu korišrene su neuronska mrežu i fazi logika za realizovanje modela učenika u okviru inteligentnog okruženja za učenje (eng. intelligent learning environment) namijenjenog podučavanju učenika vektorima u fizici. Inteligentna okruženja za učenje u skladu s pretpostavkama konstruktivističke teorije, pružaju takvo okruženje u kojem učenik može učiti istraživanjem. Cilj ovog sistema je dakle pomoći učenicima srednje škole da aktivno izgrade koncept vektora.

Proces modeliranja učenika zasnovan je na rezultatima proučavanja načina na koji nastavnici procjenjuju učenike. Rezultati su pokazali da nastavnici uglavnom na osnovu opštih ideja o učeniku procjenjuju njegovu motivaciju i intelektualnu sposobnost, te mu na osnovu rezultata procjene prilagođavaju dalje poučavanje. U skladu sa tim proces modeliranja ima kreiran koncept tako da oponaša nastavnikov proces sticanja znanja i donošenja suda o učeniku na osnovu tog znanja. Pošto nastavnik neke od načina dolaženja do zaključka može pojasniti, to se znanje može implementirati u obliku fazi pravila. Međutim, nastavnik takođe donosi sudove o učeniku i na osnovu načina na koji je već rješavao slične situacije u praksi. Primjeri iz prakse ne mogu se opisati u obliku pravila, pa se zbog toga prezentuju neuronskoj mreži. Neuronska mreža na osnovu primjera uči povezivati određene uzorke ponašanja i određene karakteristike učenika. Ovim je u svrhu modeliranja učenika iskorišteno i strukturirano i nestrukturirano nastavnikovo znanje. Znanje koje je jasno strukturirano ima prepoznatljivu formu i razumljiv sadržaj. Za razliku od njega, nestrukturirano znanje u suštini predstavlja znanje neformalnog tipa. Riječ je o znanju koje posjeduju pojedinci, grupe i organizacije. Specifičnost ovog znanja je u tome da se ono ne može lako objasniti (prenositi) kao ni dokumentovati odnosno organizovati. [1]

Fazi logika je u ovom slučaju korištena jer omogućava nastavnicima ekspertima da svoje ekspertno znanje o podučavanju učenika iznesu u lingvističkom obliku, a takođe dozvoljava i definisanje nejasnih područja. Ovim se proces modeliranja učenika približava ljudskom načinu prosuđivanja o znanju i motivaciji učenika. Neuronska mreža se dakle koristi zbog toga što eksperti svoj način zaključivanja ne mogu uvijek objasniti u obliku pravila. Neuronska mreža učeći na osnovu primjera sama dolazi do pravila. Glavnim nedostatkom upotrebe neuronske mreže pri modeliranju učenika smatra se nemogućnost predstavljanja modela učenika zbog toga što se put kojim mreža dolazi do nekog zaključka ne može predstaviti.

Pošto je model učenika zasnovan na fazi logici, dijelovi modela su fazifikator, dio koji donosi zaključke i defazifikator (slika 13). Ti su dijelovi realizovani pomoću neuronske mreže.

Ulazi u fazu fazifikacije su relevantni podaci o ponašanju učenika za vrijeme rješavanja problema u okviru inteligentnog okruženja za učenje. Ti se podaci mogu svrstati u razne kategorije kao npr. podaci o znanju (npr. broj tačnih odgovora, broj netačnih odgovora i sl.), podaci o vremenu (npr. vrijeme koje je učeniku bilo potrebno za rješavanje problema, vrijeme koje je učeniku bilo potrebno za pregledanje teorije i sl.), podaci o pokušajima (npr. broj pokušaja rješavanja problema, broj koliko je puta učenik pregledao teoriju i sl.), podaci o kretanju kroz sistem (npr. koliko puta je učenik prešao na rješavanje drugog problema, a da pritom nije riješio prethodni problem i sl.). Podaci se prikupljaju u numeričkom obliku, a u fazi fazifikacije pretvaraju se u lingvističke vrijednosti. Svaki fazifikator pretvara jednu numeričku vrijednost u adekvatnu lingvističku vrijednost. Time se nastoji dobiti opis učenikovih odgovora na način na koji bi to nastavnik učinio, kao npr. vrijeme koje je učeniku bilo potrebno za rješavanje problema je kratko.



Slika 13. Dijelovi modela učenika

Svaki fazifikator se realizuje pomoću posebne neuronske mreže. U ovom su slučaju korištene neuronske mreže sa fiksnim težinama. Kako bi se omogućilo prilagođavanje rada mreže nastavnikovim subjektivnim procjenama, kao ulaz u fazifikator uz vrijednost koja predstavlja rezultat mjerenja nekog učenikovog ponašanja (x), koristi se i dodatni ulaz koji predstavlja očekivanu srednju vrijednost izmjerenog učenikovog ponašanja (m), a koju je procijenio nastavnik (slika 14). Mreža ima onoliko izlaza koliko ima različitih lingvističkih vrijednosti kojima možemo označiti određeno izmjereno učenikovo ponašanje. [1]

Faza zaključivanja zasniva se na skupu ako-onda pravila. Zaključak da učenik posjeduje neku karakteristiku donosi se na osnovu poređenja lingvističkih vrijednosti koje predstavljaju ponašanje učenika sa uzročnim dijelom ako-onda pravila. Ako je učenik ispoljio ona ponašanja koja se traže u uzročnom dijelu, učenik posjeduje karakteristiku koja čini posljedični dio ako-onda pravila. Pravilo npr. može biti: Ako je vrijeme potrebno za pregledanje teorije kratko, broj tačnih odgovora je visok i učinjeno je samo nekoliko pokušaja traženja ispravnog odgovora, tada je brzina učenja velika. Karakteristike učenika takođe su izražene u obliku lingvističkih vrijednosti. Dio koji donosi zaključke sastoji se od više fazi sistema, od kojih svaki donosi zaključak o jednoj karakteristici učenika. Ovaj dio predstavlja strukturirano znanje nastavnika koje sačinjavaju putevi kojim on dolazi do zaključka a koje može pojasniti, te se zbog toga i mogu formulisati u obliku fazi pravila. [1]



Slika 14. Neuronska mreža kojom je implementiran fazifikator

Dio koji donosi zaključke realizovan je pomoću neuronske mreže koja ima dva sloja, od kojih jedan predstavlja uzročni dio, a drugi posljedični dio. Ulazni sloj, odnosno sloj koji predstavlja uzročni dio sastoji se od onoliko neurona koliko ima kombinacija svih lingvističkih vrijednosti kojima su opisane karakteristike ponašanja učenika. Izlaznih neurona ima onoliko koliko ima lingvističkih vrijednosti koje označavaju određenu karakteristiku učenika.

U okviru faze defazifikacije vrijednosti dobijene procesom zaključivanja pretvaraju se u ne-fazi vrijednosti koje označavaju završnu procjenu učenikovih karakteristika. Defazifikator se sastoji od više dijelova, odnosno više defazifikatora. Svaki defazifikator ima onoliko ulaza koliko ima različitih lingvističkih vrijednosti koje određuju neku učenikovu karakteristiku. Pri tome, zavisno od broja ovih vrijednosti koristi se određeni defazifikator kako bi se procjenila neka učenikova karakteristika. U ovoj je fazi iskorišteno nastavnikovo nestrukturirano znanje, odnosno neuronska mreža je uvježbana na osnovu primjera iz prakse nastavnika.

Za realizaciju defazikatora upotrebljena je neuronska mrežu sastavljena od tri sloja čije je uvježbavanje zasnovano na modifikovanom algoritmu “širenja unazad”. Ulazni sloj je kao i izlazni sastavljen od onoliko neurona koliko ima lingvističkih vrijednosti koje označavaju određenu karakteristiku učenika. Za uvježbavanje je korišteno 200 primjera situacija rada nastavnika sa učenikom. [1]

Težine veza neuronskih mreža koje čine ovaj model učenika zapravo predstavljaju stepen u kojem pojedina pravila povezivanja određenog ponašanja sa određenom karakteristikom učenika učestvuju u donošenju konačnog suda o karakteristikama učenika. Pri tome je podešavanje težina u dijelu sistema koji predstavlja nastavnikovo strukturirano znanje jednostavnije. Ako je npr. nastavnik odredio sa 100% sigurnošću da neko ponašanje znači da učenik posjeduje određenu karakteristiku, tada je iznos težine jednak 1. Ako se radi o nekom drugom procentu, npr. 56%, tada je iznos težine 0,56. Podešavanje težina je složenije kada se radi o nastavnikovom nestrukturiranom znanju. U tom slučaju se težine podešavaju kroz proces uvježbavanja mreže na osnovu primjera.

Model učenika zasnovan na neuro-fazi osnovi testiran je u okviru dijela sistema koji učenike podučava silama i ravnoteži, tačnije u okviru lekcije o tijelima u ravnoteži. Zadatak učenika je da u okruženju koje se sastoji od stola na kojem se vrši eksperiment i opreme za provođenje eksperimenta, izvede eksperiment u kojem treba primjeniti teorijska znanja. Teorijska znanja su integrisana u sistem i učenik ih može pregledati kad poželi. Primjer eksperimenta je postavljanje dvije kutije jedne na drugu na sto težine 20 do 40N, nakon čega je potrebno nacrtati sile koje djeluju na te kutije. Pritiskom na taster testiranje učenik testira svoje hipoteze. Takođe postoji opcija da učenik vidi kakve sile u stvarnosti djeluju na objekte koje je postavio na radnu ploču.

Da bi se učenik mogao usmjeriti u učenju, cilj modeliranja bio je odrediti da li učenik ima površan ili temeljit pristup učenju otkrivanjem i to na osnovu njegovog ponašanja u okviru sistema. Zavisno o toj karakteristici učenika vrši se njegovo dalje usmjeravanje prema onom gradivu koje mu najviše odgovara. [1]

Kako bi ustanovili način na koji se manifestuje ova karakteristika učenika, bilo je potrebno odrediti šta to ukazuje na površan, a šta na temeljan pristup učenju otkrivanjem. Za temeljan pristup učenju karakteristično je sledeće: namjera da se razumije aktivna interakcija sa sadržajem,



povezivanje novih ideja sa prethodno stečenim znanjem, povezivanje koncepata sa svakodnevnim iskustvom, povezivanje dokaza sa zaključcima i ispitivanje logičnosti argumenata. Suprotno tome, površni pristup učenju okarakterisan je sledećim: namjera da se zadovolje zahtjevi koje postavlja zadatak, učenje napamet informacija potrebnih pri procjenjivanju, neuspjeh u razlikovanju načela i primjera, tretiranje zadatka kao nečega što je nametnuto spolja, fokusiranje na odvojene elemente bez integrisanja, nerazmišljanje o cilju i strategijama.

Slika 15. Neuronska mreža koja vrši procjenu načina učenja učenika

Na osnovu ovih karakteristika nastojano je pronaći ponašanja koja učenik manifestuje u okviru inteligentnog okruženja za učenje, a u skladu sa kojima se može odrediti ova karakteristika učenika. Nastavnici eksperti predložili su tri ponašanja, dakle tri ulaza u fazu fazifikacije. Prvi ulaz je broj koliko puta je učenik testirao svoje ideje ili ih je uporedio sa stvarnošću. Taj su ulaz okarakterizirali sa tri lingvističke vrijednosti, a to su rijetko, ponekad i često. Drugi ulaz je broj koliko puta se učenik konsultovao sa riječnikom, pregledao teoriju ili privremeno zastao da bi razmislio. Okarakterisan je lingvističkim vrijednostima ponekad, često i uvijek. Treći je ulaz brzina rješavanja problema, s lingvističkim vrijednostima sporo, osrednje i brzo. Dakle, potrebna su tri fazifikatora (slika 15). Faza zaključivanja podrazumijeva neuronsku mrežu sa dva sloja neurona kao što je već prethodno rečeno. Pritom, u ovom slučaju, sloj koji predstavlja uzročni dio sastoji se od 27 neurona, jer svako od tri ponašanja koja se mjere ima po tri definisane lingvističke vrijednosti kojima je okarakterisano, pa je broj svih mogućih kombinacija načina ponašanja učenika jednak 3×3×3 = 27. Posljedični dio sastoji se od pet neurona zbog toga što se učenik svrstava u jednu od pet kategorija koje označavaju njegov pristup učenju otkrivanjem, a to su temeljan, prilično temeljan, prosječan, prilično površan i površan.

Svrha defazifikatora je pretvaranje fazi vrijednosti u defazifikovane vrijednosti, pa defazifikator ima pet ulaza i pet izlaza.

U svrhu uvježbavanja neuronske mreže generisani su podaci na osnovu podataka dobijenih snimanjem rada malog broja učenika sa sistemom.

Uspješnost dijela neuronske mreže kojom je realizovano strukturirano znanje nastavnika testirana je sa tri skupa podataka od kojih svaki skup uključuje po 62 simulirana učenika. Prvi skup



podataka predstavlja slučajeve u kojima se jasno, u skladu sa ako-onda pravilima može odrediti u koju kategoriju spada učenik, drugi skup podataka sadrži slučajeve kod kojih je teže izvršiti procjenu, dok se treći skup sastoji od specifičnih situacija koje se rijetko javljaju, ali je pritom učenika stvarno teško svrstati u neku od kategorija. Testiralo se tako da se podaci s jedne strane propuste kroz mrežu, a s druge strane da na temelju podataka nastavnici eksperti izvrše procjenu. Procjene mreže i nastavnika eksperata zatim su upoređene, i pokazano je da su se rezultati mreže u slučaju prvog skupa 100% poklapali sa procjenama nastavnika eksperata, u slučaju drugog skupa podataka 90%, a u slučaju trećeg 85%.

Dio neuronske mreže kojom je realizovano nestrukturirano znanje nastavnika takođe je testiran pomoću ta ista tri skupa podataka i na isti način, tj. poređenjem rezultata mreže i procjena nastavnika eksperata. Prosječna uspješnost mreže bila je 94%, odnosno 100% u slučaju prvog skupa podataka, 96% u slučaju drugog i 86% u slučaju trećeg. Dakle, neuronska je mreža pokazala jako dobre rezultate. [1]

2.4 Primjena modula za analizu govora pomoću neuronske mreže

Kako bi se podučavanje putem ITS-a učinilo što prirodnijim, radi se na razvoju takvih ITS-a kojima nije jedina opcija komuniciranja s učenikom putem npr. da/ne pitanja, pitanja višestrukog izbora i sl. Umjesto toga učeniku se nastoji omogućiti da sa sistemom komunicira uobičajenim govorom kao da npr. razgovara sa nastavnikom. To zahtjeva da se u ITS ugradi modul koji će analizirati rečenice kako bi sistem mogao "razumjeti" učenika.

Primjer ITS-a s ovom karakteristikom je ITS pod nazivom „AutoUčitelj“ pomoću koga se učenici podučavaju osnovnim informatičkim znanjima. Način komuniciranja učenika sa sistemom je putem tastature i miša, ali autori sistema planiraju s vremenom razviti i opciju verbalnog komuniciranja sa sistemom.

Sistem koji u okviru „AutoUčitelja“ vrši analizu rečenice sastoji se od nekoliko dijelova. Prvi modul rečenicu rastavlja na riječi. Nakon toga drugi modul vrši označavanje riječi, odnosno određuje vrstu riječi. Treći modul odvaja skup riječi u posebne jedinice koje predstavljaju određenu govornu cjelinu kao što je da/ne odgovor, kratak odgovor i sl., te ujedno i određuje o kojim se govornim cjelinama radi. Četvrti modul vrši semantičku analizu svake govorne cjeline.

2.4.1 Određivanje vrste riječi pomoću neuronske mreže

Ulaz u ovu fazu čini niz riječi na koje je prethodni modul razložio rečenicu. Zadatak ovog modula je da odredi vrstu riječi u rečenici.

Vrsta riječi u rečenici određuje se u dva koraka. Prvi korak je pronalaženje riječi u leksikonu u kojem se nalazi popis vrsta riječi koje zadata riječ može biti i učestanosti pripadanja zadate riječi svakoj od tih vrsta. Na osnovu toga se određuje jedna ili više vrsta riječi kojoj određena riječ može pripadati. Drugi korak podrazumijeva korištenje neuronske mreže za odabir najprikladnije vrste riječi iz skupa mogućih vrsta određenih u prvom koraku, pri čemu se u obzir uzima i kontekst u kome se riječ nalazi.

U ovu svrhu testirane su dvije neuronske mreže. Jedna je imala 51 ulaznih, 16 skrivenih i 17 izlaznih neurona. Kod druge je povećan broj ulaza za 4 neurona, dakle imala je 55 ulaznih neurona.



Radi se o višeslojnim naprednim proslijeđujućim mrežama zasnovanim na algoritmu “širenja unazad”.

Što se tiče ulaza, 17 neurona namijenjeno je za primanje uzorka koji predstavlja procijenjenu vrstu riječi koja prethodi riječi čiju vrstu procjenjujemo, 17 neurona za riječ čiju vrstu procjenjujemo, te 17 neurona za vrstu riječi koja slijedi. U drugoj mreži dodata su još 4 neurona namijenjena za primanje uzorka koji govori mreži da li je riječ čija se vrsta procjenjuje prva, druga, treća ili zadnja riječ u rečenici.

Izlaznih neurona ima 17 jer je odabrano 17 relevantnih vrsta riječi, što znači 17 kategorija u koje riječi možemo razvrstati. Neke od njih su npr. imenica, zamjenica, glagol, riječi koje označavaju pitanje, brojke, interpunkcijski znakovi itd. 16 kategorija je konkretno određeno, a 17 podrazumijeva vrste riječi koje nisu definisane u bazi.

Primjeri za uvježbavanje mreže dobijeni su obradom rezultata studije u kojoj su snimljene na video traku situacije podučavanja, te su slučajnim odabirom odgovora učenika dobili 420 uzoraka.

Uspješnost mreže testirana je tako što su rezultati njenog prepoznavanja vrste riječi uporedili sa rezultatima analize rečenice izvršene od strane ljudi. Mreža je pri testiranju pokazala 91,6% uspjeh. [1]

2.5 Primjena animiranog učitelja pomoću neuronske mreže

Animirani učitelj se realizuje pomoću tzv. glava koje govore (eng. talking heads). Glave koje govore su antropomorfne predstave ITS-a koje se koriste kako bi se pojednostavila interakcija između ovog inteligentnog sistema i čovjeka. Problem vezan za njihovu primjenu je kako animaciju glave koja govori učiniti što realnijom. U okviru ovog projekta posebna pažnja je posvećena facijalnim ekspresijama koje predstavljaju različite emocije, te su pokušali kreirati takvu neuronsku mrežu koja bi u skladu sa kontekstom razgovora prikazala adekvatnu animaciju facijalne ekspresije animiranog učitelja čime bi se učeniku pružila pozitivna, neutralna ili negativna povratna informacija. [1]

Iako se pri realizaciji animiranih učitelja češće koriste simbolički pristupi, neuronskoj mreži je data prednost jer simbolički pristupi zahtijevaju predviđanje interakcija učenika i animiranog učitelja unaprijed. Pritom postoji opasnost da kreator animiranog učitelja pogrešno procijeni vrstu povratne informacije koja je adekvatna u određenoj situaciji. Prednost neuronskih mreža je u tome što one mogu odabrati ispravnu facijalnu ekspresiju i u situacijama koje nisu poslužile kao osnova za njihovo uvježbavanje.

Analiza rada nastavnika sa učenikom pokazala je da je pri podučavanju u pedagoške svrhe adekvatno ispoljavati samo određene emocije, dakle emocije kao što su npr. tuga ili ljutnja u ovu svrhu nije potrebno uzimati u obzir. Takođe je postignut dogovor i oko toga koje promjene na licu rezultuju facijalnom ekspresijom određene emocije, a to su promjene visine obrva, širine očiju i zakrivljenosti usana.



Slika 16. Primjer facijalne ekspresije animiranog učitelja

Prikupljanje podataka za uvježbavanje i testiranje mreže u ovakvim je situacijama složeno. Jedna od ideja bila je snimati interakcije nastavnika sa učenicima, te obrađeni video materijal iskoristiti za uvježbavanje neuronske mreže. Međutim, nastavnikove facijalne ekspresije bi morale biti pretjerane da bi podaci bili adekvatno iskoristivi.

Drugi način je prikupljanje podataka zasnovano na snimljenim interakcijama učenika sa ITS-om, konkretno s AutoUčiteljom. Nastavniku je predstavljena snimljena interakcija sastavljena od pitanja koje je ITS uputio učeniku, učenikovog odgovora, verbalne povratne informacije koju je ITS dao učeniku, te popratne facijalne ekspresije postojećeg animiranog učitelja. Zadatak nastavnika bio je da opiše facijalnu ekspresiju koja bi najbolje odgovarala animiranom učitelju pri davanju povratne informacije učeniku u datoj situaciji. Na osnovu opisa stručnjak za animacije izradio bi animaciju opisane facijalne ekspresije, te bi je uz pomoć nastavnika razradio sve dok nastavnik ne bi bio zadovoljan s rezultatom. Takođe se od nastavnika tražilo da odredi pozitivnost neverbalne povratne informacije koju animirani učitelj daje učeniku, smjestivši je na skalu od vrlo negativne do vrlo pozitivne.

Animacije su prvo grupisane po stepenu pozitivnosti. Iz svake animacije bilo je potrebno izdvojiti ključna obilježja facijalnih ekspresija čijim se mijenjanjem zapravo mijenja facijalna ekspresija određene emocije, npr. visina obrva, širina očiju i dr. Time se nastojalo dobiti prototipe facijalnih ekspresija. Kombinacijom ključnih okvira koji predstavljaju razne prototipe dobijaju se različite animacije facijalnih ekspresija (slika 16). Podaci su takođe dodatno pročišćeni izbacivanjem onih kombinacija ključnih okvira koje daju neprirodne animacije. Kao rezultat animirani učitelj pri davanju pozitivne povratne informacije manifestuje facijalnu ekspresiju sreće ili uzbuđenja, dok pri davanju neutralne i negativne pozitivne informacije može pokazati zbunjenost ili uznemirenost. Opisanom obradom animacija pripremljeni su podaci za uvježbavanje neuronske mreže.

U sklopu početnih testiranja pogodnosti neuronske mreže za implementaciju animiranog učitelja, pokušano je riješiti problem odnosa pozitivnosti povratne informacije i određene facijalne ekspresije na obrnuti način, odnosno zadatak mreže bila je procjena pozitivnosti povratne informacije na osnovu određene statične facijalne ekspresije. Ulazni podaci u mrežu su dakle bili podaci o visini obrve svakog oka, širini očiju i zakrivljenosti usana. Svaka od tih varijabli mogla je



poprimiti tri različite vrijednosti, što je rezultiralo 81 kombinacijom tih obilježja, odnosno 81 različitom facijalnom ekspresijom. Ipak, rezultati testiranja neuronske mreže nisu bili uspješni zbog toga što podaci za uvježbavanje nisu bili adekvatni.

Podaci dobijeni kreiranjem grupa ključnih obilježja facijalnih ekspresija iskorišteni su za uvježbavanje mreže koja će na osnovu pozitivnosti povratne informacije procijeniti na koji će se način pojedina ključna obilježja facijalne ekspresije kombinovati kako bi facijalna ekspresija odgovarala pozitivnosti povratne informacije. Ovaj se problem ne može u potpunosti riješiti pomoću proslijeđujuće neuronske mreže, već je korištena kombinacija povratne i proslijeđujuće neuronske mreže.

Pri eksperimentisanju za primjenu je izabrana metoda kaskadne inverzije (eng. cascade inversion). Ta metoda je primjenjljiva jer postoje tačno određene kombinacije ključnih obilježja facijalnih ekspresija koje rezultuju facijalnom ekspresijom određene emocije, pa se na temelju nekih ključnih obilježja može zaključiti o drugim ključnim obilježjima. Kao rezultat toga ključna obilježja facijalnih ekspresija podijeljena su na primarna i izvedena obilježja. Primarno obilježje je položaj usana što se pokazalo izrazito važnom komponentom pri izražavanju emocija putem facijalnih ekspresija. Takođe se primarnim obilježjem smatra i dužina trajanja prikaza ključnog okvira. Ta se obilježja nikako ne mogu izvesti na osnovu drugih obilježja. Izvedena obilježja odnose se na lijevu i desnu obrvu, kapke lijevog i desnog oka, te horizontalnu i vertikalnu poziciju oka. Njih proslijeđujuća neuronska mreža može izvesti na osnovu podataka o primarnim obilježjima. Proslijeđujuća mreža kao ulaz dobija podatke o primarnim obilježjima što su ujedno izlazi povratne neuronske mreže i na osnovu njih daje izvedena obilježja.

Proslijeđujuća mreža uvježbana je pomoću algoritma “širenja unazad” sa uspjehom većim od 70%. [1]

3 ZAKLJUČAK

Neuronska mreža je kompleksni matematički sistem kojim je na pojednostavljen način modeliran ljudski mozak. Svoju upotrebu pronašla je u mnogim područjima zahvaljujući njenoj adaptabilnosti. Adaptabilnost se ogleda u mogućnosti prepoznavanja i onih primjera na osnovu kojih mreža nije uvježbana, te u slučaju nesupervizorskih mreža, u mogućnosti konstantnog učenja za vrijeme rada mreže.

Glavni nedostatak upotrebe neuronskih mreža leži u tome što je pronalaženje adekvatne strukture mreže i adekvatnih primjera za uvježbavanje zaista složen posao. Iako su razni autori dali niz praktičnih savjeta kako se može odrediti struktura mreže za primjenu na određenom području, optimalni parametri mreže mogu se ustanoviti isključivo sprovođenjem niza testova. Izbor primjera treba izvršiti na takav način da se iz njih mogu jasno uočiti različita obilježja na osnovu kojih mreža mora naučiti izvoditi uopštene zaključke o podacima. Ipak, uprkos nedostacima, neuronske mreže su našle svoju široku primjenu na različitim područjima ljudske djelatnosti.

Neuronske su mreže povezane i sa konstruktivističkom teorijom učenja. Na učenje neuronske mreže može se gledati kao na aktivno konstruisanje predstava na osnovu ulaznih podataka. Pošto u skladu s konstruktivističkom teorijom učenja i ljudi uče na taj način, neuronske se mreže mogu primijeniti u pokušaju razumijevanja načina na koji ljudi uče, odnosno aktivno grade



svoje predstave. Na konstruktivističkoj teorijskoj podlozi zasnovana je i ideja konstruktivnog učenja neuronskih mreža.

Inteligentni sistemi za podučavanje takođe su zasnovani na idejama konstruktivističke teorije učenja. Osnovna ideja savremenih inteligentnih sistema za podučavanje je ponuditi učeniku okruženje u kojem može učiti istraživanjem čime se naglasak prebacuje s podučavanja učenika na njegovo samostalno aktivno sticanje znanja.

Od dijelova ITS-a pomoću neuronske mreže najčešće se implementira model učenika. Za realizaciju modela učenika najčešće se koriste višeslojne proslijeđujuće neuronske mreže zasnovane na algoritmu “širenja unazad”, pošto je ovaj model neuronske mreže matematički snažniji od drugih modela, odnosno pomoću njega se može implementirati bilo koja funkciju mapiranja. Međutim, ipak ima pokušaja korištenja i drugih modela neuronske mreže, kao npr. Kohonenove neuronske mreže. Upotreba nesupervizorskih neuronskih mreža, poput Kohonenove mreže, pogodna je jer omogućava prilagođavanje modela učenicima tokom rada ITS-a bez intervencije autora mreže. Kod supervizorske mreže ako model učenika treba prilagoditi novoj populaciji učenika, potrebno je prikupiti nove podatke za uvježbavanje mreže, te je ponovo uvježbati. [1]

Neuronska mreža se primjenjuje i za realizaciju pojedinih dijelova interfejsa ITS-a kao što je modul za analizu govora ili za odlučivanje o određenoj facijalnoj ekspresiji animiranog učitelja kojom učeniku daje neverbalnu povratnu informaciju.

U ovom radu date su teorijske osnove koje je potrebno usvojiti da bi pristupili primjeni neuronskih mreža. Cilj rada je upoznavanje područja, te sticanje osnovnih ideja na koji bi se način moglo pristupiti realizaciji pojedinih dijelova ITS-a pomoću neuronskih mreža.

4 LIТЕRАТURА

[1] „Neuronske mreže“- diplomski rad, Vedrana Vidulin, Filozofski fakultet u Rijeci, septembar 2005. godine.

[2] „Neuronske mreže“ - radni materijal uz predmet Veštačka inteligencija i neuronske mreže, Milan M. Milosavljević, Elektrotehnički fakultet Beogradskog Univerziteta, januar 2005.

[3] http://slideplayer.com/slide/5039518/, septembar 2015. godine;

[4] http://rfhs8012.fh-regensburg.de/~saj39122/jfroehl/diplom/e-12-text.html, septembar 2015. godine.

[5] http://eris.foi.hr/11neuronske/nn-predavanje5.html , septermbar 2015. godine.


http://eris.foi.hr/11neuronske/nn-predavanje5.html

http://rfhs8012.fh-regensburg.de/~saj39122/jfroehl/diplom/e-12-text.html

http://slideplayer.com/slide/5039518/

Documents

Primjena Neuronskih Mreza u Obrazovanju