Upload
lucian-popa
View
283
Download
0
Embed Size (px)
8/12/2019 retele neurale
1/232
Colec ia PRELUCRAREA SEMNALELOR
RE ELE NEURONALE
Arhitecturi i algoritmi
8/12/2019 retele neurale
2/232
Referent tiin ific: Prof.dr.ing. tefan HOLBAN
Descrierea CIP a Bibliotecii Na ionale
ISBN 973-9389-66-X
8/12/2019 retele neurale
3/232
Prof.dr.ing. Virgil Tiponu ef lucr.dr.ing. C tlin-Daniel C leanu
RE ELE NEURONALE
Arhitecturi i algoritmi
Colec ia PRELUCRAREA SEMNALELOR
EDITURA POLITEHNICA
TIMI OARA 2002
8/12/2019 retele neurale
4/232
Copyright @ Editura Politehnica, 2002Toate drepturile sunt rezervate editurii. Nici o parte din aceast lucrare nu
poate fi reprodus , stocat sau transmis prin indiferent ce form , f r acordul prealabil scris al Editurii Politehnica.
EDITURA POLITEHNICABv. Republicii nr.91900 Timi oara, Romnia
Consilier editorial: Conf.dr.ing. Eugen CICAL
8/12/2019 retele neurale
5/232
Prefa
Reelele neuronale artificiale (RNA) sunt recunoscute ca modele dominante(paradigme) ale Inteligenei Artificiale (IA). Cu ajutorul lor i gsesc rezolvarea ovarietate larg de probleme din mediiletiinificei inginereti.
Cartea se adreseaz studenilor de la facultile de Electronic i
Telecomunicaii, Automatic i Calculatoare, Informatic dar i tuturor acelora careurmresc rezolvarea unor probleme complexe din varii domenii prin intermediulmetodelor conexioniste. Trebuie subliniat n acest context intenia autorilor de a oferio perspectiv inginereasc asupra domeniului reelelor neuronale artificiale,accentundu-se cu precdere aspectele aplicative. Din acest motiv latura matematic este redus la mimimul necesar coerenei lucr rii, rezultnd astfeli o accesibilitatemai mare a discursului.
Prezenta lucrare trateaz aspecte legate de arhitecturai funcionarea
neuronului artificiali a principalelor tipuri de reele neuronale:- RNA de tip perceptron;- RNA bazate pe funcii radiale;- RNA recurente;- RNA cu auto-organizare.
Totodat se prezint i modaliti hibride de implementare a RNA nconjuncie cu alte paradigme ale IA cum ar fi:
- Logica fuzzy;
- Algoritmii genetici;- nvarea prin ntrire.
n finalul lucr rii este abordat problematica implementrii RNA iar n ultimulcapitol sunt prezentate cteva aplicaii ale reelelor neuronale. De menionat ilustrareaanumitor aspecte reprezentative din cadrul acestei cr i prin exemple dezvoltate cu
8/12/2019 retele neurale
6/232
ajutorul mediului MATLAB v.6, ultima versiune existent la data redactrii prezentului material.
Pentru aprofundarea aspectelor practice privind implementarea RNA esterecomandat utilizarea, n paralel cu acest material, a cr ii Reele neuronale.Aplicaii aprut n Ed. POLITEHNICAi elaborat de aceeai autori.
Lucrarea a fost realizat, pe baza unei documentri efectuate la University ofSTRATHCLYDE, Glasgow, Marea Britanie, n cadrul programului TEMPUS AC-JEP13438-98 iar autoriiin s mulumeasc pe aceast cale coordonatorilor acestui
program. Totodat exprimm mulumiri recenzorului pentru sugestiile utile exprimatedup parcurgerea acestui material precumi cadrelor didactice de la University ofStrathclyde, Glasgow, pentru numeroasele discuii care au contribuit la finalizareaacestei cr i.
Contribuia autorilor la realizarea acestei cr i este urmtoarea:- Prof.dr.ing. V. Tiponu: Capitolele 1, 3, 8i coordonarea ntregii lucr ri;- .l.dr.ing. C.D. Cleanu: Capitolele 2, 4, 5, 6,i 7.
Autorii
8/12/2019 retele neurale
7/232
Cuprins
CAP.1 Introducere ..pag.11 1.1 Reele neuronale artificiale definiie, proprieti...pag.111.2 Neuronul biologic.pag.121.3 Neuronul artificial....pag.15
1.4 Arhitecturi ale RNA.pag.181.5 Tipurii algoritmi de instruire.pag.21 CAP.2 Re ele neuronale de tip perceptron .pag.29 2.1 Introducere...pag.292.2 RNA de tip perceptron cu un singur neuronpag.29
2.2.1 Perceptronul simplu.pag.302.2.2 RNA Adaline. Algoritmul LMS..pag.322.2.3 Deducerea regulilor de modificare a ponderilor pentru cazul
perceptronului simplupag.342.2.4 Consideraii asupra valorii ratei de nvare (instruire)pag.352.2.5 Capacitatea perceptronului simplu...pag.36
2.3 RNA de tip perceptron cu mai multe straturi...pag.372.3.1 Algoritmul de antrenament..pag.372.3.2 Algoritmi rapizi de antrenament pentru RNA cu propagare
nainte a semnalului..pag.452.3.2.1 Metoda lui Newton...pag.452.3.2.2 Metoda LevenbergMarquardt.pag.462.3.2.3 Metode de tip cvasiNewton....pag.472.3.2.4 Metode bazate pe gradientul conjugat..pag.48
CAP.3 Re ele neuronale bazate pe func ii radiale ..pag.51 3.1 Introducere...pag.51
8/12/2019 retele neurale
8/232
3.2 Problema interpolriipag.53 3.3 Strategii de nvare pentru RNA bazate pe funcii radiale..pag.55 CAP.4 Re ele neuronale recurente ..pag.59 4.1 Introducere...pag.594.2 RNA de tip Hopfield (RNA-H)pag.59 CAP.5 Re ele neuronale cu autoorganizare ...pag.63
5.1 Introducere...pag.635.2. Reele neuronale cu autoorganizarei algoritm de nvare de tip hebbianpag.63
5.2.1 Reele neuronale cu un singur neuron liniar.pag.65 5.2.2 Analiza componentelor principale. Reducerea dimensionalitii.pag.66 5.2.3 Analiza componentelor principale prin reele neuronale cu
autoorganizare..pag.69 5.2.3.1 Algoritmul hebbian generalizatpag.705.2.3.2 Algoritmul APEX.pag.725.2.3.3 Analiza neliniar a componentelor principale..pag.74
5.3 Reele neuronale cu autoorganizarei nvare de tip competitivpag.765.3.1 Reele neuronale cu autoorganizarei nvare
competitiv simpl...pag.775.3.2 Reele neuronale cu autoorganizare tip hart de tr sturi....pag.835.3.3 Algoritmi SOFM mbuntii..pag.875.3.4. Cuantizarea vectorial (VQ, Vector Quantization).
nvarea prin cuantizare vectorial (LVQ, Learning VQ)....pag.96
CAP.6 Sisteme hibride inteligente .pag.101
6.1 Introducere.pag.1016.2 Algoritmi genetici. Strategii de evoluie. Programare evolutivpag.104
6.2.1 Introducere.pag.1046.2.2 Proiectarea unui algoritm evolutiv.pag.106
6.3 Sisteme hibride neuro-genetice..pag.1126.4. Sisteme cu logic fuzzy.pag.115
8/12/2019 retele neurale
9/232
6.5 Sisteme hibride neuro-fuzzy...pag.1206.6 nvarea prin ntrire.....pag.136
6.6.1. Preliminarii....pag.1366.6.2. Compromisul dintre fazele de explorarei exploatare..pag.1386.6.3. Modelul nvrii prin ntrire...pag.1396.6.4. Modele pentru evaluarea comportamentului.pag.1416.6.5. Algoritmi specifici nvrii prin ntrire..pag.142
6.6.5.1. Metode bazate pe valoarea aciunilorpag.142
6.6.5.2. Metode bazate pe programarea dinamic..pag.1446.6.5.3. Metode de tip Monte Carlo...pag.1456.6.5.4. Diferena temporal...pag.147
6.6.6. Aplicaii ale reelelor neuronale artificale bazate penvarea prin ntrire...pag.153
CAP.7 Implementarea re elelor neuronale ..pag.157
7.1 Introducere.pag.1577.2. Implementarea software (printr-un limbaj de programare)..pag.157
7.3. Implementarea hardware...pag.1597.3.1. Implementarea analogic...pag.1597.3.2 Implementarea digital...pag.167
7.3.2.1 Procesoare paralele de uz general..pag.1677.3.2.2 Procesoare dedicate pentru calcul neuronal...pag.1677.3.2.3 Circuite digitale VLSI dedicate RNApag.168
7.3.3 Implementri hibride..pag.1717.3.4 Implementarea optic.pag.176
CAP.8 Aplica ii ale re elelor neuronale ..pag.179
8.1 Introducere.....pag.1798.2 Problema XOR...pag.1808.3 Problema paritii...pag.1818.4. Problema codrii...pag.1818.5 Sinteza vorbirii...pag.182
8/12/2019 retele neurale
10/232
8.6 Recunoaterea automat a vorbirii.pag.1848.7 Detecia i recunoaterea facial....pag.186
8.7.1 Arhitecturai implementarea unui sistem de detecie i recunoatereautomat a feei..pag.186
8.7.2 Rezultate experimentale.pag.1908.7.2.1 Influena folosirii tehnicii de extragere a tr sturilorde tip operator de interes asupra procesului de recunoaterefacial.pag.192
8.7.2.2 Influena rezoluiei imaginii facialei a dimensiunilor ferestreide extragere a tr sturilor asupra performanelor procesului derecunoatere facial....pag.1948.7.2.3 Influena folosirii unor arhitecturi paralelei ierarhice deRNA-MLP asupra procesului de recunoatere facial...pag.196
8.7.3 Comparaie cu alte sisteme de recunoatere facial...pag.1968.7.4 Implementarea MATLAB a sistemului de detecie i recunoatere
facial bazat pe reele neuronalepag.199
ANEXA 1 pag.203 ANEXA 2 pag.209 ANEXA 3 pag.213
ANEXA 4 pag.217
Bibliografie pag.223
8/12/2019 retele neurale
11/232
CAPITOLUL 1Introducere
1.1 Re ele neuronale artificiale defini ie, propriet i
Reelele neuronale artificiale (RNA), denumite uneori procesoare paralel
distribuite, neurocomputere sau modele conexioniste, reprezint o ncercare de asimula, cel puin par ial , structurai funciile creierului specifice organismelor vii.
Ca o defini ie general , se poate spune c RNA reprezint un sistem de procesare al semnalelor, compus dintr-un numr mare de procesoare elementareinterconectate, denumite neuroni artificiali sau noduri,i care coopereaz pentrurezolvarea unor sarcini specifice. Modalitatea de adaptare la condiiile specificemediului const n modificarea ponderilor asociate conexiunilor dintre neuroniieventual a structurii RNA.
Astfel de modele conexioniste ofer anumite avantaje, caracteristicesistemelor neuronale reale (biologice)i care nu sunt ntlnite n cazul sistemelor decalcul tradiionale, secveniale [1]:
O proprietate deosebit de important a RNA este aceea de a nv a i de a seadapta ;
Posibilitatea de a opera cudate imprecise ; Capacitatea de generalizare , n sensul n care RNA va opera corecti cu
date de intrare care nu au fost prezentate n timpul procesului de antrenament;
Datorit gradului ridicat de paralelism , funcionarea defectuoas sau chiar pierderea unui numr de neuroni nu afecteaz semnificativ performanasistemului global. RNA reprezint decisisteme tolerante la erori ;
Capacitatea de a aproxima orice funcie continu neliniar cu gradul deacuratee dorit. Astfel RNA pot fi folosite cu succes n modelarea sistemelorneliniare;
8/12/2019 retele neurale
12/232
- 12 - CAP.1 Introducere
Datorit numrului mare de intr ri i ieiri, RNA modeleaz cu uurin sisteme multivariabil ;
Implementrile hardware ale RNA, de exemplu prin intermediul circuitelorintegrate pe scar larg (VLSI), fac posibil utilizarea RNA pentru cazulaplicaiilor ntimp real .
1.2 Neuronul biologic
Creierul uman const dintr-o reea de 1010...1011 neuroni puternicinterconectai. n fig.1.2.1 este prezentat structura [2] unei celule nervoase. Se potdistinge urmtoarele pr i constituente [3]:
Soma sau corpul celulei reprezint partea central a celulei care realizeaz majoritatea funciilor logice ale neuronului. Corpul celulei coninemecanismul genetici metabolic necesar meninerii activitii neuronului.
Axonul (ieirea celulei) reprezint o prelungire a corpului celulei(citoplasm), unic i n general nearborizat. Funcia axonilor este aceea de aconduce influxul nervos de la corpul celular la dendritele sau corpul celular alaltui neuron sau la o celul efectoare.
Dendritele (intr rile neuronului) sunt prelungiri ale citoplasmei relativ scurte,groasei bogat ramificate. Funcia lor este aceea de a recepiona excitaii i dea le conduce pn la corpul neuronului . n funcie de tipul neuronului el poateavea pn la 104 dendrite.
8/12/2019 retele neurale
13/232
1.2 Neuronul biologic - 13 -
AXON
TEAC DE MIELIN
RETICUL ENDOPLSMATIC
MITOCONDRIE NUCLEU
SINAPSE
Fig.1.2.1 Structura celulei nervoase (neuron) ncorporeaz materialul genetici un aparat metaboliccomplex.
Contactul dintre neuroni se realizeaz prin intermediulsinapselor . Sinapseledintre doi neuroni se realizeaz n trei feluri: ntre butonii terminali aiaxonului unui neuroni dendritele altui neuron (sinapse axo-dendritice); ntre butonii terminali ai axonului unui neuroni corpul altui neuron (sinapse axo-somatice); ntre butonii terminali ai axonului unui neuron por iunea incipient
a axonului altui neuron (sinapse axo-axonale). Din punct de vederefuncional, sinapsele sunt de dou feluri: excitatoriii inhibitorii. Stocareainformaiei n neuroni se presupune c este efectuat prin intermediulconexiunilor sinaptice, mai precis prin tiparele pe care le formeaz acesteai prin ponderea pe care o are fiecare legtur n parte.
8/12/2019 retele neurale
14/232
- 14 - CAP.1 Introducere
Conform acestui model simplificat al neuronului, corpul celulei primetesemnale de la ali neuroni prin intermediul conexiunilor sinaptice ajustabile. Cnd unneuron este excitat, produce impulsuri nervoase care sunt transmise, f r atenuare,de-a lungul axonului, spre ali neuroni. Rata impulsurilor ieirii neuronului depindeatt de intensitatea semnalelor de intrare cti de ponderile sinaptice aferente acestora.Se poate spune c neuronul opereaz ntr-o form mixt, digital-analogic. Informaiatransmis ntre neuroni, sub forma inpulsurilor nervoase (poteniale de aciune), poate
fi considerat semnal digital. Densitatea impulsurilor este cea care codeaz informaiai poate fi privit ca un semnal analogic. n fig.1.2.2 se ofer o reprezentareschematic a neuronului biologic din perspectiva teoriei prelucr rii informaiei.
Conversie neliniar n poteniale de aciune
Ieirea neuronului(poteniale deaciune)
Axon
Sinapse (memoriei demodulare)
Dendrite Soma
Prag
Intr ri neuronale(poteniale deaciune)
Fig.1.2.2 Modelul simplificat al neuronului biologic considerat din punctul de vedere al teorieiinformaiei
8/12/2019 retele neurale
15/232
1.3 Neuronul artificial - 15 -
1.3 Neuronul artificial
Neuronul artificial denumit uneori procesor elementar sau, mai simplu nod,ncearc s imite structurai funcionarea neuronului biologic. Exist numeroasemodele prezentate n literatur [4], dar cel mai r spndit are la baz modelul elaboratde McCulloch-Pitts n 1943. Astfel se poate considera c neuronul artificial [5] esteformat dintr-unnum r de intr ri , fiecare dintre acestea fiind caracterizat de propriapondere sinaptic . De exemplu, semnalul x j prezent la intrarea sinapsei j esteconectat la neuronul k prin multiplicare cu ponderea wkj (fig.1.3.1).
x1
x j
x N k
uk yk wkj
wkN
wk1
Fig. 1.3.1 Modelul neuronului artificial
O alt component a modelului neuronului artificial prezentat n fig.1.3.1 oreprezint sumatorul destinat nsumrii intr rilor ponderate.
Rezultatul obinut n urma nsumrii:
= = N
j jkjk xwu
1 (1.3.1)
este denumit intrare net.Pentru limitarea amplitudinii semnalului de ieire al neuronului, acesta este
prevzut cu ofunc ie de activare )( :
)()( k k k k k buu y +== (1.3.2)
8/12/2019 retele neurale
16/232
8/12/2019 retele neurale
17/232
1.3 Neuronul artificial - 17 -
>
8/12/2019 retele neurale
18/232
- 18 - CAP.1 Introducere
Din punct de vedere al implementrii este practic imposibili chiar ineficientca modelul artificial al neuronului s copieze exact comportamentulistructura celui biologic.
RNA sunt proiectate pentru rezolvarea unor probleme specificei deciarhitecturai tr sturile RNA depind de problema pe care trebuie s o rezolve.
Un neuron real produce la ieire o secven de impulsurii nu o anumit valoare cum este cazul celui artificial. Reprezentarea ratei de activare printr-
un singur numr (yk ) ignor informaia care ar putea fi coninut de exemplun faza impulsurilor.
Unele celule nervoase biologice efectueaz o nsumare neliniar a intr rilor.Pot exista chiar operaii logice (I, SAU, NU) efectuate la nivelul dendritelor.
Ieirile neuronilor nu se modific n mod sincroni nu toi au acelai tip dentrziere.
Cantitatea de substan transmitoare (mediator chimic) eliberat la nivelulsinapsei poate s varieze ntr-un mod imprevizibil. Fenomenul este aproximatgrosier prin intermediul funciei de activare.
1.4 Arhitecturi ale RNA
Se pot distinge dou mari categorii n modul de structurare al unei RNA:
RNA feedforward (cu propagare nainte).
Sunt caracterizate de prezena unui strat de neuroni de intrare, un numr destraturi ascunse (posibili f r ) i un strat de neuroni de ieire.
n fig.1.4.1 este prezentat arhitectura unei RNA feedforward cu un singurstrat ascuns. Definitoriu pentru acest tip de RNA este faptul c un neuron primetesemnale doar de la neuroni aflai n stratul/straturi precedent/precedente. Se spune
8/12/2019 retele neurale
19/232
1.4 Arhitecturi ale RNA - 19 -
despre o RNA c este total conectat dac fiecare nod din fiecare strat este conectat lafiecare neuron din stratul precedent (fig.1.4.1).
Dac anumite conexiuni sinaptice lipsesc se spune c RNA este par ialconectat (fig.1.4.2). RNA total conectate au un caracter general, n sensul n care potfi folosite ntr-o gam larg de probleme, dar rezultatele nu sunt ntotdeauna cele mai bune [7]. RNA par ial conectate introduc anumite restrngeri, care reprezint tocmaicunotine apriorice despre problema de rezolvati care reduc gradul de generalitate al
unei RNA. Prin restrngerea cmpului de recepie al neuronilor se efectueaz oextragere a tr sturilor locale iar n straturile ce urmeaz acestea sunt combinate pentru a se forma tr sturi de ordin superior. Astfel, RNA par ial conectate pot darezultate mai bune dect RNA total conectate n rezolvarea anumitor problemespecifice, cu condiia exploatrii cunotinelor apriorice despre problema dat.
Fig. 1.4.1 RNA feedforward total conectat
8/12/2019 retele neurale
20/232
- 20 - CAP.1 Introducere
Fig.1.4.2 RNA feedforward par ial conectat
RNA recurente (feedback, cu propagare napoi).
RNA recurente se individualizeaz prin existena unui semnal de reacie, din partea neuronilor de ordin superior, pentru cei de ordin inferior sau chiar pentru propriile lor intr ri (fig.1.4.3).
Fig.1.4.3 RNA recurent
8/12/2019 retele neurale
21/232
1.5 Tipuri i algoritmi de instruire - 21 -
1.5 Tipuri i algoritmi de instruire
RNA achiziioneaz cunotinele prin instruire (nvare). nvarea presupuneadaptarea parametrilor liberi ai RNA (ponderi, praguri, rat de nvare, uneori chiarforma funciei de activare sau structura reelei) ca urmare a stimulilor mediului n carese gsete reeaua.
Vectorii de instruire sunt prezentai RNA n mod secvenial iar ponderile
sinaptice, care memoreaz practic cunotinele reelei, sunt adaptate pentru a extrageinformaia pe care aceti vectori o conin.
Tipul de nvre este determinat de maniera n care sunt ajustai parametriiliberi ai RNA.
Dei n literatura RNA [1], [5], [8] exist o mare diversitate de opinii n ceeace privete modul de clasificare al algoritmilori tipurilor de nvre, fig.1.5.1ncearc s sintetizeze principalele direcii.
TIPURI DE INSTRUIRE
SUPERVIZAT NESUPERVIZAT PRIN NTRIRE(CU AUTOORGANIZARE)
HEBBIAN COMPETITIV
CORECIA ERORILOR BOLTZMAN (STOCHASTIC)
WIDROW-HOFF PROPAGAREA NAPOI A ERORII(LMS sau REGULA DELTA)
Algoritmi
Fig.1.5.1 Tipurii algoritmi de instruire
8/12/2019 retele neurale
22/232
- 22 - CAP.1 Introducere
nv area de tip supervizat
Este caracterizat de prezena unui supervizor care cunoate cu exactitatemodul de asociere al intr rilor RNA cu ieirile acesteia, conform fig.1.5.2.
SUPERVIZOR
SISTEMSUPUS
NVRII
R spunsactual
Vector deintrare
Semnal de eroare
R spuns dorit
+
-
Fig.1.5.2 Arhitectura unui sistem cu nvare supervizat
Parametrii RNA sunt modificai sub influena combinat a vectorilor de antrenamentia semnalului de eroare (diferena dintre r spunsul doriti cel actual). Scopul final alalgoritmului de antrenament este ca RNA s emuleze, optim n sens statistic,supervizorul.
nv area de tip nesupervizat (cu autoorganizare)
Este caracterizat de absena unui semnal sau supervizor care s apreciezecorectitudinea asociaiilor intrare-ieire (fig.1.5.3). RNA va descoperii singur legitile coninute n datele de intrare printr-o reprezentare intern adecvat atr sturilor vectorului de intrare.
8/12/2019 retele neurale
23/232
1.5 Tipuri i algoritmi de instruire - 23 -
SISTEMSUPUS
NVRII
Vector deintrare
Fig.1.5.3 Sistem cu nvare de tip nesupervizat
nv area prin nt rire
Urmrete maximizarea unei mrimi scalare (indice de performan sausemnal de ntrire) n urma unei aciuni efectuate de ctre sistemul supus nvrii.Dac modificrile aduse conduc spre o stare mai bun dect cea precedent, tendinasistemului de a produce acea aciune particular este ntrit.
Algoritmi de nv are baza i pe corec ia erorii
Fie x(n) vectorul de intrare aplicat unei RNA. Dac se noteaz ieireaneuronului k prin yk (n), semnalul de eroare poate fi definit ca fiind diferena dintreieirea dorit pentru neuronul ki ceea ce furnizeaz n etapa actual de ctre acelaineuron:
e n d n y nk k k ( ) = ( ) - ( ) (1.5.1)Scopul final al algoritmilor bazai pe corecia erorii este de a minimiza aa-numita
func ie de cost . Unul dintre criteriile frecvent utilizate n alegerea funciei de cost estecel al erorii p tratice medii - care urmrete minimizarea valorii medii ptratice pentru suma erorilor ptratice aferente stratului de ieire al RNA:
= k
k ne E J )(21 2 (1.5.2)
n care E[.] semnific media n sens statistic.
8/12/2019 retele neurale
24/232
- 24 - CAP.1 Introducere
Una dintre metodele de minimizarea a funciei de cost J n raport cu parametriiRNA estemetoda gradientului descendent .
De cele mai multe ori proprietile statistice ale procesului nu sunt cunoscute.n acest caz se ofer o soluie aproximativ pentru problema de optimizare, prinutilizarea drept funcie de cost a valorii instantanee a sumei erorilor ptratice:
=k
k nen )(21)( 2 (1.5.3)
O metod n acest sens o ofer Widrowi Hoff (regula delta):
)()())(()( n xnew y
new
nw jk jk
k k
jk kj
=
=
= (1.5.4)
n care reprezint rata de nvre a RNA.Graficul aplicaiei J n funcie de ponderile RNA poart denumirea de
suprafa a erorii .Exemplul 1.1 Se urmrete reprezentarea suprafeei erorii pentru cazurile unuielement liniar (fig.1.5.3) respectiv pentru cazul unui element neliniar (1.5.4) folosindmediul MATLAB 5.3. Codul surs este urmtorul:
%Exemplu de reprezentare a suprafetei erorii%pentru cazurile unui neuron liniar respectiv neliniar%Catalin-Daniel Caleanu, 2000
clear
%definire perechi de valori intrare(p, pattern)-iesire(t, target) p = [-6.0 -6.1 -4.1 -4.0 +4.0 +4.1 +6.0 +6.1];t = [+0.0 +0.0 +.97 +.99 +.01 +.03 +1.0 +1.0];
%definire ponderi (w, weights), deplasari de scara (b, biases)wv = -1:.1:1; bv = -2.5:.25:2.5;
8/12/2019 retele neurale
25/232
8/12/2019 retele neurale
26/232
8/12/2019 retele neurale
27/232
8/12/2019 retele neurale
28/232
8/12/2019 retele neurale
29/232
8/12/2019 retele neurale
30/232
8/12/2019 retele neurale
31/232
8/12/2019 retele neurale
32/232
8/12/2019 retele neurale
33/232
8/12/2019 retele neurale
34/232
8/12/2019 retele neurale
35/232
8/12/2019 retele neurale
36/232
8/12/2019 retele neurale
37/232
8/12/2019 retele neurale
38/232
8/12/2019 retele neurale
39/232
8/12/2019 retele neurale
40/232
8/12/2019 retele neurale
41/232
8/12/2019 retele neurale
42/232
8/12/2019 retele neurale
43/232
8/12/2019 retele neurale
44/232
8/12/2019 retele neurale
45/232
8/12/2019 retele neurale
46/232
8/12/2019 retele neurale
47/232
8/12/2019 retele neurale
48/232
8/12/2019 retele neurale
49/232
8/12/2019 retele neurale
50/232
8/12/2019 retele neurale
51/232
8/12/2019 retele neurale
52/232
8/12/2019 retele neurale
53/232
8/12/2019 retele neurale
54/232
8/12/2019 retele neurale
55/232
8/12/2019 retele neurale
56/232
8/12/2019 retele neurale
57/232
8/12/2019 retele neurale
58/232
8/12/2019 retele neurale
59/232
8/12/2019 retele neurale
60/232
8/12/2019 retele neurale
61/232
8/12/2019 retele neurale
62/232
8/12/2019 retele neurale
63/232
8/12/2019 retele neurale
64/232
8/12/2019 retele neurale
65/232
8/12/2019 retele neurale
66/232
8/12/2019 retele neurale
67/232
8/12/2019 retele neurale
68/232
8/12/2019 retele neurale
69/232
8/12/2019 retele neurale
70/232
8/12/2019 retele neurale
71/232
8/12/2019 retele neurale
72/232
8/12/2019 retele neurale
73/232
8/12/2019 retele neurale
74/232
8/12/2019 retele neurale
75/232
8/12/2019 retele neurale
76/232
8/12/2019 retele neurale
77/232
8/12/2019 retele neurale
78/232
8/12/2019 retele neurale
79/232
8/12/2019 retele neurale
80/232
8/12/2019 retele neurale
81/232
8/12/2019 retele neurale
82/232
8/12/2019 retele neurale
83/232
8/12/2019 retele neurale
84/232
8/12/2019 retele neurale
85/232
8/12/2019 retele neurale
86/232
8/12/2019 retele neurale
87/232
8/12/2019 retele neurale
88/232
8/12/2019 retele neurale
89/232
8/12/2019 retele neurale
90/232
8/12/2019 retele neurale
91/232
8/12/2019 retele neurale
92/232
8/12/2019 retele neurale
93/232
8/12/2019 retele neurale
94/232
8/12/2019 retele neurale
95/232
8/12/2019 retele neurale
96/232
8/12/2019 retele neurale
97/232
8/12/2019 retele neurale
98/232
8/12/2019 retele neurale
99/232
8/12/2019 retele neurale
100/232
8/12/2019 retele neurale
101/232
8/12/2019 retele neurale
102/232
8/12/2019 retele neurale
103/232
8/12/2019 retele neurale
104/232
8/12/2019 retele neurale
105/232
8/12/2019 retele neurale
106/232
8/12/2019 retele neurale
107/232
8/12/2019 retele neurale
108/232
8/12/2019 retele neurale
109/232
8/12/2019 retele neurale
110/232
8/12/2019 retele neurale
111/232
8/12/2019 retele neurale
112/232
8/12/2019 retele neurale
113/232
8/12/2019 retele neurale
114/232
8/12/2019 retele neurale
115/232
8/12/2019 retele neurale
116/232
8/12/2019 retele neurale
117/232
8/12/2019 retele neurale
118/232
8/12/2019 retele neurale
119/232
8/12/2019 retele neurale
120/232
8/12/2019 retele neurale
121/232
8/12/2019 retele neurale
122/232
8/12/2019 retele neurale
123/232
8/12/2019 retele neurale
124/232
8/12/2019 retele neurale
125/232
8/12/2019 retele neurale
126/232
8/12/2019 retele neurale
127/232
8/12/2019 retele neurale
128/232
8/12/2019 retele neurale
129/232
8/12/2019 retele neurale
130/232
8/12/2019 retele neurale
131/232
8/12/2019 retele neurale
132/232
8/12/2019 retele neurale
133/232
8/12/2019 retele neurale
134/232
8/12/2019 retele neurale
135/232
8/12/2019 retele neurale
136/232
8/12/2019 retele neurale
137/232
8/12/2019 retele neurale
138/232
8/12/2019 retele neurale
139/232
8/12/2019 retele neurale
140/232
8/12/2019 retele neurale
141/232
8/12/2019 retele neurale
142/232
8/12/2019 retele neurale
143/232
8/12/2019 retele neurale
144/232
8/12/2019 retele neurale
145/232
8/12/2019 retele neurale
146/232
8/12/2019 retele neurale
147/232
8/12/2019 retele neurale
148/232
8/12/2019 retele neurale
149/232
8/12/2019 retele neurale
150/232
8/12/2019 retele neurale
151/232
8/12/2019 retele neurale
152/232
8/12/2019 retele neurale
153/232
8/12/2019 retele neurale
154/232
8/12/2019 retele neurale
155/232
8/12/2019 retele neurale
156/232
8/12/2019 retele neurale
157/232
8/12/2019 retele neurale
158/232
8/12/2019 retele neurale
159/232
8/12/2019 retele neurale
160/232
8/12/2019 retele neurale
161/232
8/12/2019 retele neurale
162/232
8/12/2019 retele neurale
163/232
8/12/2019 retele neurale
164/232
8/12/2019 retele neurale
165/232
8/12/2019 retele neurale
166/232
8/12/2019 retele neurale
167/232
8/12/2019 retele neurale
168/232
8/12/2019 retele neurale
169/232
8/12/2019 retele neurale
170/232
8/12/2019 retele neurale
171/232
8/12/2019 retele neurale
172/232
8/12/2019 retele neurale
173/232
8/12/2019 retele neurale
174/232
8/12/2019 retele neurale
175/232
8/12/2019 retele neurale
176/232
8/12/2019 retele neurale
177/232
8/12/2019 retele neurale
178/232
8/12/2019 retele neurale
179/232
8/12/2019 retele neurale
180/232
8/12/2019 retele neurale
181/232
8/12/2019 retele neurale
182/232
8/12/2019 retele neurale
183/232
8/12/2019 retele neurale
184/232
8/12/2019 retele neurale
185/232
8/12/2019 retele neurale
186/232
8/12/2019 retele neurale
187/232
8/12/2019 retele neurale
188/232
8/12/2019 retele neurale
189/232
8/12/2019 retele neurale
190/232
8/12/2019 retele neurale
191/232
8/12/2019 retele neurale
192/232
8/12/2019 retele neurale
193/232
8/12/2019 retele neurale
194/232
8/12/2019 retele neurale
195/232
8/12/2019 retele neurale
196/232
8/12/2019 retele neurale
197/232
8/12/2019 retele neurale
198/232
8/12/2019 retele neurale
199/232
8/12/2019 retele neurale
200/232
8/12/2019 retele neurale
201/232
8/12/2019 retele neurale
202/232
8/12/2019 retele neurale
203/232
8/12/2019 retele neurale
204/232
8/12/2019 retele neurale
205/232
8/12/2019 retele neurale
206/232
8/12/2019 retele neurale
207/232
8/12/2019 retele neurale
208/232
8/12/2019 retele neurale
209/232
8/12/2019 retele neurale
210/232
8/12/2019 retele neurale
211/232
8/12/2019 retele neurale
212/232
8/12/2019 retele neurale
213/232
8/12/2019 retele neurale
214/232
8/12/2019 retele neurale
215/232
8/12/2019 retele neurale
216/232
8/12/2019 retele neurale
217/232
8/12/2019 retele neurale
218/232
8/12/2019 retele neurale
219/232
8/12/2019 retele neurale
220/232
8/12/2019 retele neurale
221/232
8/12/2019 retele neurale
222/232
8/12/2019 retele neurale
223/232
8/12/2019 retele neurale
224/232
8/12/2019 retele neurale
225/232
8/12/2019 retele neurale
226/232
8/12/2019 retele neurale
227/232
8/12/2019 retele neurale
228/232
8/12/2019 retele neurale
229/232
8/12/2019 retele neurale
230/232
8/12/2019 retele neurale
231/232
8/12/2019 retele neurale
232/232