Embed Size (px)
Citation preview
CILJ PREDAVANJA I VEŽBI IZ NEURONSKIH MREŽA
• Upoznavanje sa tehnologijom - osnovni pojmovi i modeli NM
• Mogućnosti i primena NM • Upoznavanje i ovladavanje Java Neural
Network Framework-om Neuroph • Na kraju ćete biti osposobljeni da
prepoznate probleme koji se mogu rešavati pomoću NM kao i da uspešno implementirate odgovarajuća rešenja
• Razvoj Neuroph framework-a
PLAN PREDAVANJA I VEŽBI Predavanja 1. Osnovni pojmovi, vrste i elementi neuronskih mreža 2. Višeslojni perceptron i Backpropagation algoritam 3. Procedura rešavanja problema pomoću neuronskih
mreža 4. Unapredjenja Backpropagation algoritma Vežbe 1. i 2. Softver za neuronske mreže Neuroph i primeri
korišćenja za prepoznavanje slika i OCR 3. i 4. Upoznavanje sa internom arhitekturom Neuroph
softvera i načinima proširenja
ŠTA SU NEURONSKE MREŽE
• Matematički modeli po uzoru na mozak • Biološka i veštačka NM
Biološki neuron
Biološka neuronska mreža
MOZAK I VNM
• Mozak: – 1010 neurona – 1013 veza između
neurona – Brzina rada na
nivou milisec – Potpuno paralelni
rad
• VNM: – Do 20 000 neurona – Brzina rada na nivou
nanosec – Simulacija paralelnog
rada
ŠTA JE VEŠTAČKA NEURONSKA MREŽA - DEFINICIJE
• DARPA: Neuronska mreža je sistem koji se sastoji od velikog broja međusobno povezanih, jednostavnih elemenata procesiranja koji rade paralelno. Funkcija NM je određena strukturom mreže, težinom veza, i obradom u elementima procesiranja.
• Haykin: Neuronska mreža je paralelni distribuirani procesor
koji ima prirodnu sposobnost čuvanja i korišćenja iskustvenog znanja. Sličnost sa mozgom se ogleda kroz dve osobine: – mreža stiče znanje kroz proces učenja – znanje se čuva u vezama između neurona (sinaptičkim
težinama)
• Zurada: Veštački neuro sistemi ili neuronske mreže, su ćelijski sistemi koji mogu da stiču, čuvaju i koriste iskustveno znanje.
Biološki i veštački neuron
• Osnovni delovi: telo(soma), dendriti(ulazi), akson(izlaz), sinapse(spojevi)
Veštački neuron
output = f (w1in1+ …+wninn)
Osnovni elementi veštačkog neurona
• Ulazna funkcija sumiranja • Funkcija transfera • Ulazi sa težinskim koeficijentima • Izlaz
FUNKCIJE TRANSFERA
Linearna
Odskočna
Sigmoidna
McCulloch Pits Neuron Threshold Logic Unit
y = STEP (w1u1+ …+wnun)
Σ
Vrste NM prema arhitekturi
UČENJE/TRENING NM
• Učenje: procedura podešavanja težina veza tako da mreža dobije željeno ponašanje/funkcionalnost
• Učenje sa učiteljem – supervised • Učenje bez učitelja – unsupervised
SUPERVIZORNO UČENJE (SUPERVISED LEARNING)
Opšti princip: minimizacija greške kroz iterativnu proceduru
Neuronska mreža
Ulaz X
Željeni izlaz d(x)
Stvarni izlaz y(x)
Greška
e(x) = d(x) – y(x)
ADALINE
Linearna funkcija transfera Linearna kombinacija ulaza y = w1u1+w2u2+…+wnun,
Učenje metodom najmanjih kvadrata
u1
u2
u3
w1
w2
w3
y
LMS UČENJE LMS pravilo se može izraziti kroz sledeće jednačine: (1) greška izlaznog neurona za p-ti uzorak iz skupa za trening εp=dp-yp
(3) ukupna greška mreže za sve uzorke iz skupa za trening (kriterijum za zaustavljanje treninga – mreža je naučila kada je greška svedena na prihvatljivu meru)
(2) promena težine veze proporcionalno grešci
PERCEPTRON
• Step funkcija transfera • Perceptron learning - prvi algoritam za
učenje nelinearnih sistema • Samo za linearno separabilne probleme
u1
u2
y1
y2
y3
Višeslojni perceptron • Proširenje osnovnog
perceptrona – ima jedan ili više skrivenih slojeva neurona između ulaznog i izlaznog
• Glatke/diferencijabilne funkcije transfera u neuronima (tanh, sigmoid)
• Koristi Backpropagation algoritam za učenje koji se zasniva na LMS algoritmu.
• Mogu da rešavaju složene probleme
Backpropagation algoritam
• Služi za trening višeslojnog perceptrona – može da podešava težine u skrivenim slojevima
• Predstavlja supervizorni algoritam koji se zasniva na LMS algoritmu
• Višeslojni perceptron sa BP algoritmom predstavlja univerzalni aproksimator
Backpropagation algoritam
• Ključna je formula za podešavanje skrivenih slojeva neurona
Parametri backpropagation algoritam
• Max error • Max iterations • Learning rate • Batch mode
Backpropagation algoritam
• Problem lokalnog minimuma • Zaustavljanje algoritma: broj iteracija,
greška ispod definisanog min, smanjanje greške tokom treninga je suviše malo, ukupna greška za određeni test set
LINKOVI I LITERATURA • Sajt predmeta Inteligentni sistemi
http://is.fon.rs/neuronske_mreze • Sajt Neuroph projekta http://neuroph.sourceforge.net • Izborni predmet Razvoj softvera otvorenog koda http://opensource.fon.bg.ac.rs • Neural Networks - A Systematic Introduction ,
besplatna online knjiga • Introduction to Neural Computation
