retele neurale

Embed Size (px)

Citation preview

  • 8/12/2019 retele neurale

    1/232

    Colec ia PRELUCRAREA SEMNALELOR

    RE ELE NEURONALE

    Arhitecturi i algoritmi

  • 8/12/2019 retele neurale

    2/232

    Referent tiin ific: Prof.dr.ing. tefan HOLBAN

    Descrierea CIP a Bibliotecii Na ionale

    ISBN 973-9389-66-X

  • 8/12/2019 retele neurale

    3/232

    Prof.dr.ing. Virgil Tiponu ef lucr.dr.ing. C tlin-Daniel C leanu

    RE ELE NEURONALE

    Arhitecturi i algoritmi

    Colec ia PRELUCRAREA SEMNALELOR

    EDITURA POLITEHNICA

    TIMI OARA 2002

  • 8/12/2019 retele neurale

    4/232

    Copyright @ Editura Politehnica, 2002Toate drepturile sunt rezervate editurii. Nici o parte din aceast lucrare nu

    poate fi reprodus , stocat sau transmis prin indiferent ce form , f r acordul prealabil scris al Editurii Politehnica.

    EDITURA POLITEHNICABv. Republicii nr.91900 Timi oara, Romnia

    Consilier editorial: Conf.dr.ing. Eugen CICAL

  • 8/12/2019 retele neurale

    5/232

    Prefa

    Reelele neuronale artificiale (RNA) sunt recunoscute ca modele dominante(paradigme) ale Inteligenei Artificiale (IA). Cu ajutorul lor i gsesc rezolvarea ovarietate larg de probleme din mediiletiinificei inginereti.

    Cartea se adreseaz studenilor de la facultile de Electronic i

    Telecomunicaii, Automatic i Calculatoare, Informatic dar i tuturor acelora careurmresc rezolvarea unor probleme complexe din varii domenii prin intermediulmetodelor conexioniste. Trebuie subliniat n acest context intenia autorilor de a oferio perspectiv inginereasc asupra domeniului reelelor neuronale artificiale,accentundu-se cu precdere aspectele aplicative. Din acest motiv latura matematic este redus la mimimul necesar coerenei lucr rii, rezultnd astfeli o accesibilitatemai mare a discursului.

    Prezenta lucrare trateaz aspecte legate de arhitecturai funcionarea

    neuronului artificiali a principalelor tipuri de reele neuronale:- RNA de tip perceptron;- RNA bazate pe funcii radiale;- RNA recurente;- RNA cu auto-organizare.

    Totodat se prezint i modaliti hibride de implementare a RNA nconjuncie cu alte paradigme ale IA cum ar fi:

    - Logica fuzzy;

    - Algoritmii genetici;- nvarea prin ntrire.

    n finalul lucr rii este abordat problematica implementrii RNA iar n ultimulcapitol sunt prezentate cteva aplicaii ale reelelor neuronale. De menionat ilustrareaanumitor aspecte reprezentative din cadrul acestei cr i prin exemple dezvoltate cu

  • 8/12/2019 retele neurale

    6/232

    ajutorul mediului MATLAB v.6, ultima versiune existent la data redactrii prezentului material.

    Pentru aprofundarea aspectelor practice privind implementarea RNA esterecomandat utilizarea, n paralel cu acest material, a cr ii Reele neuronale.Aplicaii aprut n Ed. POLITEHNICAi elaborat de aceeai autori.

    Lucrarea a fost realizat, pe baza unei documentri efectuate la University ofSTRATHCLYDE, Glasgow, Marea Britanie, n cadrul programului TEMPUS AC-JEP13438-98 iar autoriiin s mulumeasc pe aceast cale coordonatorilor acestui

    program. Totodat exprimm mulumiri recenzorului pentru sugestiile utile exprimatedup parcurgerea acestui material precumi cadrelor didactice de la University ofStrathclyde, Glasgow, pentru numeroasele discuii care au contribuit la finalizareaacestei cr i.

    Contribuia autorilor la realizarea acestei cr i este urmtoarea:- Prof.dr.ing. V. Tiponu: Capitolele 1, 3, 8i coordonarea ntregii lucr ri;- .l.dr.ing. C.D. Cleanu: Capitolele 2, 4, 5, 6,i 7.

    Autorii

  • 8/12/2019 retele neurale

    7/232

    Cuprins

    CAP.1 Introducere ..pag.11 1.1 Reele neuronale artificiale definiie, proprieti...pag.111.2 Neuronul biologic.pag.121.3 Neuronul artificial....pag.15

    1.4 Arhitecturi ale RNA.pag.181.5 Tipurii algoritmi de instruire.pag.21 CAP.2 Re ele neuronale de tip perceptron .pag.29 2.1 Introducere...pag.292.2 RNA de tip perceptron cu un singur neuronpag.29

    2.2.1 Perceptronul simplu.pag.302.2.2 RNA Adaline. Algoritmul LMS..pag.322.2.3 Deducerea regulilor de modificare a ponderilor pentru cazul

    perceptronului simplupag.342.2.4 Consideraii asupra valorii ratei de nvare (instruire)pag.352.2.5 Capacitatea perceptronului simplu...pag.36

    2.3 RNA de tip perceptron cu mai multe straturi...pag.372.3.1 Algoritmul de antrenament..pag.372.3.2 Algoritmi rapizi de antrenament pentru RNA cu propagare

    nainte a semnalului..pag.452.3.2.1 Metoda lui Newton...pag.452.3.2.2 Metoda LevenbergMarquardt.pag.462.3.2.3 Metode de tip cvasiNewton....pag.472.3.2.4 Metode bazate pe gradientul conjugat..pag.48

    CAP.3 Re ele neuronale bazate pe func ii radiale ..pag.51 3.1 Introducere...pag.51

  • 8/12/2019 retele neurale

    8/232

    3.2 Problema interpolriipag.53 3.3 Strategii de nvare pentru RNA bazate pe funcii radiale..pag.55 CAP.4 Re ele neuronale recurente ..pag.59 4.1 Introducere...pag.594.2 RNA de tip Hopfield (RNA-H)pag.59 CAP.5 Re ele neuronale cu autoorganizare ...pag.63

    5.1 Introducere...pag.635.2. Reele neuronale cu autoorganizarei algoritm de nvare de tip hebbianpag.63

    5.2.1 Reele neuronale cu un singur neuron liniar.pag.65 5.2.2 Analiza componentelor principale. Reducerea dimensionalitii.pag.66 5.2.3 Analiza componentelor principale prin reele neuronale cu

    autoorganizare..pag.69 5.2.3.1 Algoritmul hebbian generalizatpag.705.2.3.2 Algoritmul APEX.pag.725.2.3.3 Analiza neliniar a componentelor principale..pag.74

    5.3 Reele neuronale cu autoorganizarei nvare de tip competitivpag.765.3.1 Reele neuronale cu autoorganizarei nvare

    competitiv simpl...pag.775.3.2 Reele neuronale cu autoorganizare tip hart de tr sturi....pag.835.3.3 Algoritmi SOFM mbuntii..pag.875.3.4. Cuantizarea vectorial (VQ, Vector Quantization).

    nvarea prin cuantizare vectorial (LVQ, Learning VQ)....pag.96

    CAP.6 Sisteme hibride inteligente .pag.101

    6.1 Introducere.pag.1016.2 Algoritmi genetici. Strategii de evoluie. Programare evolutivpag.104

    6.2.1 Introducere.pag.1046.2.2 Proiectarea unui algoritm evolutiv.pag.106

    6.3 Sisteme hibride neuro-genetice..pag.1126.4. Sisteme cu logic fuzzy.pag.115

  • 8/12/2019 retele neurale

    9/232

    6.5 Sisteme hibride neuro-fuzzy...pag.1206.6 nvarea prin ntrire.....pag.136

    6.6.1. Preliminarii....pag.1366.6.2. Compromisul dintre fazele de explorarei exploatare..pag.1386.6.3. Modelul nvrii prin ntrire...pag.1396.6.4. Modele pentru evaluarea comportamentului.pag.1416.6.5. Algoritmi specifici nvrii prin ntrire..pag.142

    6.6.5.1. Metode bazate pe valoarea aciunilorpag.142

    6.6.5.2. Metode bazate pe programarea dinamic..pag.1446.6.5.3. Metode de tip Monte Carlo...pag.1456.6.5.4. Diferena temporal...pag.147

    6.6.6. Aplicaii ale reelelor neuronale artificale bazate penvarea prin ntrire...pag.153

    CAP.7 Implementarea re elelor neuronale ..pag.157

    7.1 Introducere.pag.1577.2. Implementarea software (printr-un limbaj de programare)..pag.157

    7.3. Implementarea hardware...pag.1597.3.1. Implementarea analogic...pag.1597.3.2 Implementarea digital...pag.167

    7.3.2.1 Procesoare paralele de uz general..pag.1677.3.2.2 Procesoare dedicate pentru calcul neuronal...pag.1677.3.2.3 Circuite digitale VLSI dedicate RNApag.168

    7.3.3 Implementri hibride..pag.1717.3.4 Implementarea optic.pag.176

    CAP.8 Aplica ii ale re elelor neuronale ..pag.179

    8.1 Introducere.....pag.1798.2 Problema XOR...pag.1808.3 Problema paritii...pag.1818.4. Problema codrii...pag.1818.5 Sinteza vorbirii...pag.182

  • 8/12/2019 retele neurale

    10/232

    8.6 Recunoaterea automat a vorbirii.pag.1848.7 Detecia i recunoaterea facial....pag.186

    8.7.1 Arhitecturai implementarea unui sistem de detecie i recunoatereautomat a feei..pag.186

    8.7.2 Rezultate experimentale.pag.1908.7.2.1 Influena folosirii tehnicii de extragere a tr sturilorde tip operator de interes asupra procesului de recunoaterefacial.pag.192

    8.7.2.2 Influena rezoluiei imaginii facialei a dimensiunilor ferestreide extragere a tr sturilor asupra performanelor procesului derecunoatere facial....pag.1948.7.2.3 Influena folosirii unor arhitecturi paralelei ierarhice deRNA-MLP asupra procesului de recunoatere facial...pag.196

    8.7.3 Comparaie cu alte sisteme de recunoatere facial...pag.1968.7.4 Implementarea MATLAB a sistemului de detecie i recunoatere

    facial bazat pe reele neuronalepag.199

    ANEXA 1 pag.203 ANEXA 2 pag.209 ANEXA 3 pag.213

    ANEXA 4 pag.217

    Bibliografie pag.223

  • 8/12/2019 retele neurale

    11/232

    CAPITOLUL 1Introducere

    1.1 Re ele neuronale artificiale defini ie, propriet i

    Reelele neuronale artificiale (RNA), denumite uneori procesoare paralel

    distribuite, neurocomputere sau modele conexioniste, reprezint o ncercare de asimula, cel puin par ial , structurai funciile creierului specifice organismelor vii.

    Ca o defini ie general , se poate spune c RNA reprezint un sistem de procesare al semnalelor, compus dintr-un numr mare de procesoare elementareinterconectate, denumite neuroni artificiali sau noduri,i care coopereaz pentrurezolvarea unor sarcini specifice. Modalitatea de adaptare la condiiile specificemediului const n modificarea ponderilor asociate conexiunilor dintre neuroniieventual a structurii RNA.

    Astfel de modele conexioniste ofer anumite avantaje, caracteristicesistemelor neuronale reale (biologice)i care nu sunt ntlnite n cazul sistemelor decalcul tradiionale, secveniale [1]:

    O proprietate deosebit de important a RNA este aceea de a nv a i de a seadapta ;

    Posibilitatea de a opera cudate imprecise ; Capacitatea de generalizare , n sensul n care RNA va opera corecti cu

    date de intrare care nu au fost prezentate n timpul procesului de antrenament;

    Datorit gradului ridicat de paralelism , funcionarea defectuoas sau chiar pierderea unui numr de neuroni nu afecteaz semnificativ performanasistemului global. RNA reprezint decisisteme tolerante la erori ;

    Capacitatea de a aproxima orice funcie continu neliniar cu gradul deacuratee dorit. Astfel RNA pot fi folosite cu succes n modelarea sistemelorneliniare;

  • 8/12/2019 retele neurale

    12/232

    - 12 - CAP.1 Introducere

    Datorit numrului mare de intr ri i ieiri, RNA modeleaz cu uurin sisteme multivariabil ;

    Implementrile hardware ale RNA, de exemplu prin intermediul circuitelorintegrate pe scar larg (VLSI), fac posibil utilizarea RNA pentru cazulaplicaiilor ntimp real .

    1.2 Neuronul biologic

    Creierul uman const dintr-o reea de 1010...1011 neuroni puternicinterconectai. n fig.1.2.1 este prezentat structura [2] unei celule nervoase. Se potdistinge urmtoarele pr i constituente [3]:

    Soma sau corpul celulei reprezint partea central a celulei care realizeaz majoritatea funciilor logice ale neuronului. Corpul celulei coninemecanismul genetici metabolic necesar meninerii activitii neuronului.

    Axonul (ieirea celulei) reprezint o prelungire a corpului celulei(citoplasm), unic i n general nearborizat. Funcia axonilor este aceea de aconduce influxul nervos de la corpul celular la dendritele sau corpul celular alaltui neuron sau la o celul efectoare.

    Dendritele (intr rile neuronului) sunt prelungiri ale citoplasmei relativ scurte,groasei bogat ramificate. Funcia lor este aceea de a recepiona excitaii i dea le conduce pn la corpul neuronului . n funcie de tipul neuronului el poateavea pn la 104 dendrite.

  • 8/12/2019 retele neurale

    13/232

    1.2 Neuronul biologic - 13 -

    AXON

    TEAC DE MIELIN

    RETICUL ENDOPLSMATIC

    MITOCONDRIE NUCLEU

    SINAPSE

    Fig.1.2.1 Structura celulei nervoase (neuron) ncorporeaz materialul genetici un aparat metaboliccomplex.

    Contactul dintre neuroni se realizeaz prin intermediulsinapselor . Sinapseledintre doi neuroni se realizeaz n trei feluri: ntre butonii terminali aiaxonului unui neuroni dendritele altui neuron (sinapse axo-dendritice); ntre butonii terminali ai axonului unui neuroni corpul altui neuron (sinapse axo-somatice); ntre butonii terminali ai axonului unui neuron por iunea incipient

    a axonului altui neuron (sinapse axo-axonale). Din punct de vederefuncional, sinapsele sunt de dou feluri: excitatoriii inhibitorii. Stocareainformaiei n neuroni se presupune c este efectuat prin intermediulconexiunilor sinaptice, mai precis prin tiparele pe care le formeaz acesteai prin ponderea pe care o are fiecare legtur n parte.

  • 8/12/2019 retele neurale

    14/232

    - 14 - CAP.1 Introducere

    Conform acestui model simplificat al neuronului, corpul celulei primetesemnale de la ali neuroni prin intermediul conexiunilor sinaptice ajustabile. Cnd unneuron este excitat, produce impulsuri nervoase care sunt transmise, f r atenuare,de-a lungul axonului, spre ali neuroni. Rata impulsurilor ieirii neuronului depindeatt de intensitatea semnalelor de intrare cti de ponderile sinaptice aferente acestora.Se poate spune c neuronul opereaz ntr-o form mixt, digital-analogic. Informaiatransmis ntre neuroni, sub forma inpulsurilor nervoase (poteniale de aciune), poate

    fi considerat semnal digital. Densitatea impulsurilor este cea care codeaz informaiai poate fi privit ca un semnal analogic. n fig.1.2.2 se ofer o reprezentareschematic a neuronului biologic din perspectiva teoriei prelucr rii informaiei.

    Conversie neliniar n poteniale de aciune

    Ieirea neuronului(poteniale deaciune)

    Axon

    Sinapse (memoriei demodulare)

    Dendrite Soma

    Prag

    Intr ri neuronale(poteniale deaciune)

    Fig.1.2.2 Modelul simplificat al neuronului biologic considerat din punctul de vedere al teorieiinformaiei

  • 8/12/2019 retele neurale

    15/232

    1.3 Neuronul artificial - 15 -

    1.3 Neuronul artificial

    Neuronul artificial denumit uneori procesor elementar sau, mai simplu nod,ncearc s imite structurai funcionarea neuronului biologic. Exist numeroasemodele prezentate n literatur [4], dar cel mai r spndit are la baz modelul elaboratde McCulloch-Pitts n 1943. Astfel se poate considera c neuronul artificial [5] esteformat dintr-unnum r de intr ri , fiecare dintre acestea fiind caracterizat de propriapondere sinaptic . De exemplu, semnalul x j prezent la intrarea sinapsei j esteconectat la neuronul k prin multiplicare cu ponderea wkj (fig.1.3.1).

    x1

    x j

    x N k

    uk yk wkj

    wkN

    wk1

    Fig. 1.3.1 Modelul neuronului artificial

    O alt component a modelului neuronului artificial prezentat n fig.1.3.1 oreprezint sumatorul destinat nsumrii intr rilor ponderate.

    Rezultatul obinut n urma nsumrii:

    = = N

    j jkjk xwu

    1 (1.3.1)

    este denumit intrare net.Pentru limitarea amplitudinii semnalului de ieire al neuronului, acesta este

    prevzut cu ofunc ie de activare )( :

    )()( k k k k k buu y +== (1.3.2)

  • 8/12/2019 retele neurale

    16/232

  • 8/12/2019 retele neurale

    17/232

    1.3 Neuronul artificial - 17 -

    >

  • 8/12/2019 retele neurale

    18/232

    - 18 - CAP.1 Introducere

    Din punct de vedere al implementrii este practic imposibili chiar ineficientca modelul artificial al neuronului s copieze exact comportamentulistructura celui biologic.

    RNA sunt proiectate pentru rezolvarea unor probleme specificei deciarhitecturai tr sturile RNA depind de problema pe care trebuie s o rezolve.

    Un neuron real produce la ieire o secven de impulsurii nu o anumit valoare cum este cazul celui artificial. Reprezentarea ratei de activare printr-

    un singur numr (yk ) ignor informaia care ar putea fi coninut de exemplun faza impulsurilor.

    Unele celule nervoase biologice efectueaz o nsumare neliniar a intr rilor.Pot exista chiar operaii logice (I, SAU, NU) efectuate la nivelul dendritelor.

    Ieirile neuronilor nu se modific n mod sincroni nu toi au acelai tip dentrziere.

    Cantitatea de substan transmitoare (mediator chimic) eliberat la nivelulsinapsei poate s varieze ntr-un mod imprevizibil. Fenomenul este aproximatgrosier prin intermediul funciei de activare.

    1.4 Arhitecturi ale RNA

    Se pot distinge dou mari categorii n modul de structurare al unei RNA:

    RNA feedforward (cu propagare nainte).

    Sunt caracterizate de prezena unui strat de neuroni de intrare, un numr destraturi ascunse (posibili f r ) i un strat de neuroni de ieire.

    n fig.1.4.1 este prezentat arhitectura unei RNA feedforward cu un singurstrat ascuns. Definitoriu pentru acest tip de RNA este faptul c un neuron primetesemnale doar de la neuroni aflai n stratul/straturi precedent/precedente. Se spune

  • 8/12/2019 retele neurale

    19/232

    1.4 Arhitecturi ale RNA - 19 -

    despre o RNA c este total conectat dac fiecare nod din fiecare strat este conectat lafiecare neuron din stratul precedent (fig.1.4.1).

    Dac anumite conexiuni sinaptice lipsesc se spune c RNA este par ialconectat (fig.1.4.2). RNA total conectate au un caracter general, n sensul n care potfi folosite ntr-o gam larg de probleme, dar rezultatele nu sunt ntotdeauna cele mai bune [7]. RNA par ial conectate introduc anumite restrngeri, care reprezint tocmaicunotine apriorice despre problema de rezolvati care reduc gradul de generalitate al

    unei RNA. Prin restrngerea cmpului de recepie al neuronilor se efectueaz oextragere a tr sturilor locale iar n straturile ce urmeaz acestea sunt combinate pentru a se forma tr sturi de ordin superior. Astfel, RNA par ial conectate pot darezultate mai bune dect RNA total conectate n rezolvarea anumitor problemespecifice, cu condiia exploatrii cunotinelor apriorice despre problema dat.

    Fig. 1.4.1 RNA feedforward total conectat

  • 8/12/2019 retele neurale

    20/232

    - 20 - CAP.1 Introducere

    Fig.1.4.2 RNA feedforward par ial conectat

    RNA recurente (feedback, cu propagare napoi).

    RNA recurente se individualizeaz prin existena unui semnal de reacie, din partea neuronilor de ordin superior, pentru cei de ordin inferior sau chiar pentru propriile lor intr ri (fig.1.4.3).

    Fig.1.4.3 RNA recurent

  • 8/12/2019 retele neurale

    21/232

    1.5 Tipuri i algoritmi de instruire - 21 -

    1.5 Tipuri i algoritmi de instruire

    RNA achiziioneaz cunotinele prin instruire (nvare). nvarea presupuneadaptarea parametrilor liberi ai RNA (ponderi, praguri, rat de nvare, uneori chiarforma funciei de activare sau structura reelei) ca urmare a stimulilor mediului n carese gsete reeaua.

    Vectorii de instruire sunt prezentai RNA n mod secvenial iar ponderile

    sinaptice, care memoreaz practic cunotinele reelei, sunt adaptate pentru a extrageinformaia pe care aceti vectori o conin.

    Tipul de nvre este determinat de maniera n care sunt ajustai parametriiliberi ai RNA.

    Dei n literatura RNA [1], [5], [8] exist o mare diversitate de opinii n ceeace privete modul de clasificare al algoritmilori tipurilor de nvre, fig.1.5.1ncearc s sintetizeze principalele direcii.

    TIPURI DE INSTRUIRE

    SUPERVIZAT NESUPERVIZAT PRIN NTRIRE(CU AUTOORGANIZARE)

    HEBBIAN COMPETITIV

    CORECIA ERORILOR BOLTZMAN (STOCHASTIC)

    WIDROW-HOFF PROPAGAREA NAPOI A ERORII(LMS sau REGULA DELTA)

    Algoritmi

    Fig.1.5.1 Tipurii algoritmi de instruire

  • 8/12/2019 retele neurale

    22/232

    - 22 - CAP.1 Introducere

    nv area de tip supervizat

    Este caracterizat de prezena unui supervizor care cunoate cu exactitatemodul de asociere al intr rilor RNA cu ieirile acesteia, conform fig.1.5.2.

    SUPERVIZOR

    SISTEMSUPUS

    NVRII

    R spunsactual

    Vector deintrare

    Semnal de eroare

    R spuns dorit

    +

    -

    Fig.1.5.2 Arhitectura unui sistem cu nvare supervizat

    Parametrii RNA sunt modificai sub influena combinat a vectorilor de antrenamentia semnalului de eroare (diferena dintre r spunsul doriti cel actual). Scopul final alalgoritmului de antrenament este ca RNA s emuleze, optim n sens statistic,supervizorul.

    nv area de tip nesupervizat (cu autoorganizare)

    Este caracterizat de absena unui semnal sau supervizor care s apreciezecorectitudinea asociaiilor intrare-ieire (fig.1.5.3). RNA va descoperii singur legitile coninute n datele de intrare printr-o reprezentare intern adecvat atr sturilor vectorului de intrare.

  • 8/12/2019 retele neurale

    23/232

    1.5 Tipuri i algoritmi de instruire - 23 -

    SISTEMSUPUS

    NVRII

    Vector deintrare

    Fig.1.5.3 Sistem cu nvare de tip nesupervizat

    nv area prin nt rire

    Urmrete maximizarea unei mrimi scalare (indice de performan sausemnal de ntrire) n urma unei aciuni efectuate de ctre sistemul supus nvrii.Dac modificrile aduse conduc spre o stare mai bun dect cea precedent, tendinasistemului de a produce acea aciune particular este ntrit.

    Algoritmi de nv are baza i pe corec ia erorii

    Fie x(n) vectorul de intrare aplicat unei RNA. Dac se noteaz ieireaneuronului k prin yk (n), semnalul de eroare poate fi definit ca fiind diferena dintreieirea dorit pentru neuronul ki ceea ce furnizeaz n etapa actual de ctre acelaineuron:

    e n d n y nk k k ( ) = ( ) - ( ) (1.5.1)Scopul final al algoritmilor bazai pe corecia erorii este de a minimiza aa-numita

    func ie de cost . Unul dintre criteriile frecvent utilizate n alegerea funciei de cost estecel al erorii p tratice medii - care urmrete minimizarea valorii medii ptratice pentru suma erorilor ptratice aferente stratului de ieire al RNA:

    = k

    k ne E J )(21 2 (1.5.2)

    n care E[.] semnific media n sens statistic.

  • 8/12/2019 retele neurale

    24/232

    - 24 - CAP.1 Introducere

    Una dintre metodele de minimizarea a funciei de cost J n raport cu parametriiRNA estemetoda gradientului descendent .

    De cele mai multe ori proprietile statistice ale procesului nu sunt cunoscute.n acest caz se ofer o soluie aproximativ pentru problema de optimizare, prinutilizarea drept funcie de cost a valorii instantanee a sumei erorilor ptratice:

    =k

    k nen )(21)( 2 (1.5.3)

    O metod n acest sens o ofer Widrowi Hoff (regula delta):

    )()())(()( n xnew y

    new

    nw jk jk

    k k

    jk kj

    =

    =

    = (1.5.4)

    n care reprezint rata de nvre a RNA.Graficul aplicaiei J n funcie de ponderile RNA poart denumirea de

    suprafa a erorii .Exemplul 1.1 Se urmrete reprezentarea suprafeei erorii pentru cazurile unuielement liniar (fig.1.5.3) respectiv pentru cazul unui element neliniar (1.5.4) folosindmediul MATLAB 5.3. Codul surs este urmtorul:

    %Exemplu de reprezentare a suprafetei erorii%pentru cazurile unui neuron liniar respectiv neliniar%Catalin-Daniel Caleanu, 2000

    clear

    %definire perechi de valori intrare(p, pattern)-iesire(t, target) p = [-6.0 -6.1 -4.1 -4.0 +4.0 +4.1 +6.0 +6.1];t = [+0.0 +0.0 +.97 +.99 +.01 +.03 +1.0 +1.0];

    %definire ponderi (w, weights), deplasari de scara (b, biases)wv = -1:.1:1; bv = -2.5:.25:2.5;

  • 8/12/2019 retele neurale

    25/232

  • 8/12/2019 retele neurale

    26/232

  • 8/12/2019 retele neurale

    27/232

  • 8/12/2019 retele neurale

    28/232

  • 8/12/2019 retele neurale

    29/232

  • 8/12/2019 retele neurale

    30/232

  • 8/12/2019 retele neurale

    31/232

  • 8/12/2019 retele neurale

    32/232

  • 8/12/2019 retele neurale

    33/232

  • 8/12/2019 retele neurale

    34/232

  • 8/12/2019 retele neurale

    35/232

  • 8/12/2019 retele neurale

    36/232

  • 8/12/2019 retele neurale

    37/232

  • 8/12/2019 retele neurale

    38/232

  • 8/12/2019 retele neurale

    39/232

  • 8/12/2019 retele neurale

    40/232

  • 8/12/2019 retele neurale

    41/232

  • 8/12/2019 retele neurale

    42/232

  • 8/12/2019 retele neurale

    43/232

  • 8/12/2019 retele neurale

    44/232

  • 8/12/2019 retele neurale

    45/232

  • 8/12/2019 retele neurale

    46/232

  • 8/12/2019 retele neurale

    47/232

  • 8/12/2019 retele neurale

    48/232

  • 8/12/2019 retele neurale

    49/232

  • 8/12/2019 retele neurale

    50/232

  • 8/12/2019 retele neurale

    51/232

  • 8/12/2019 retele neurale

    52/232

  • 8/12/2019 retele neurale

    53/232

  • 8/12/2019 retele neurale

    54/232

  • 8/12/2019 retele neurale

    55/232

  • 8/12/2019 retele neurale

    56/232

  • 8/12/2019 retele neurale

    57/232

  • 8/12/2019 retele neurale

    58/232

  • 8/12/2019 retele neurale

    59/232

  • 8/12/2019 retele neurale

    60/232

  • 8/12/2019 retele neurale

    61/232

  • 8/12/2019 retele neurale

    62/232

  • 8/12/2019 retele neurale

    63/232

  • 8/12/2019 retele neurale

    64/232

  • 8/12/2019 retele neurale

    65/232

  • 8/12/2019 retele neurale

    66/232

  • 8/12/2019 retele neurale

    67/232

  • 8/12/2019 retele neurale

    68/232

  • 8/12/2019 retele neurale

    69/232

  • 8/12/2019 retele neurale

    70/232

  • 8/12/2019 retele neurale

    71/232

  • 8/12/2019 retele neurale

    72/232

  • 8/12/2019 retele neurale

    73/232

  • 8/12/2019 retele neurale

    74/232

  • 8/12/2019 retele neurale

    75/232

  • 8/12/2019 retele neurale

    76/232

  • 8/12/2019 retele neurale

    77/232

  • 8/12/2019 retele neurale

    78/232

  • 8/12/2019 retele neurale

    79/232

  • 8/12/2019 retele neurale

    80/232

  • 8/12/2019 retele neurale

    81/232

  • 8/12/2019 retele neurale

    82/232

  • 8/12/2019 retele neurale

    83/232

  • 8/12/2019 retele neurale

    84/232

  • 8/12/2019 retele neurale

    85/232

  • 8/12/2019 retele neurale

    86/232

  • 8/12/2019 retele neurale

    87/232

  • 8/12/2019 retele neurale

    88/232

  • 8/12/2019 retele neurale

    89/232

  • 8/12/2019 retele neurale

    90/232

  • 8/12/2019 retele neurale

    91/232

  • 8/12/2019 retele neurale

    92/232

  • 8/12/2019 retele neurale

    93/232

  • 8/12/2019 retele neurale

    94/232

  • 8/12/2019 retele neurale

    95/232

  • 8/12/2019 retele neurale

    96/232

  • 8/12/2019 retele neurale

    97/232

  • 8/12/2019 retele neurale

    98/232

  • 8/12/2019 retele neurale

    99/232

  • 8/12/2019 retele neurale

    100/232

  • 8/12/2019 retele neurale

    101/232

  • 8/12/2019 retele neurale

    102/232

  • 8/12/2019 retele neurale

    103/232

  • 8/12/2019 retele neurale

    104/232

  • 8/12/2019 retele neurale

    105/232

  • 8/12/2019 retele neurale

    106/232

  • 8/12/2019 retele neurale

    107/232

  • 8/12/2019 retele neurale

    108/232

  • 8/12/2019 retele neurale

    109/232

  • 8/12/2019 retele neurale

    110/232

  • 8/12/2019 retele neurale

    111/232

  • 8/12/2019 retele neurale

    112/232

  • 8/12/2019 retele neurale

    113/232

  • 8/12/2019 retele neurale

    114/232

  • 8/12/2019 retele neurale

    115/232

  • 8/12/2019 retele neurale

    116/232

  • 8/12/2019 retele neurale

    117/232

  • 8/12/2019 retele neurale

    118/232

  • 8/12/2019 retele neurale

    119/232

  • 8/12/2019 retele neurale

    120/232

  • 8/12/2019 retele neurale

    121/232

  • 8/12/2019 retele neurale

    122/232

  • 8/12/2019 retele neurale

    123/232

  • 8/12/2019 retele neurale

    124/232

  • 8/12/2019 retele neurale

    125/232

  • 8/12/2019 retele neurale

    126/232

  • 8/12/2019 retele neurale

    127/232

  • 8/12/2019 retele neurale

    128/232

  • 8/12/2019 retele neurale

    129/232

  • 8/12/2019 retele neurale

    130/232

  • 8/12/2019 retele neurale

    131/232

  • 8/12/2019 retele neurale

    132/232

  • 8/12/2019 retele neurale

    133/232

  • 8/12/2019 retele neurale

    134/232

  • 8/12/2019 retele neurale

    135/232

  • 8/12/2019 retele neurale

    136/232

  • 8/12/2019 retele neurale

    137/232

  • 8/12/2019 retele neurale

    138/232

  • 8/12/2019 retele neurale

    139/232

  • 8/12/2019 retele neurale

    140/232

  • 8/12/2019 retele neurale

    141/232

  • 8/12/2019 retele neurale

    142/232

  • 8/12/2019 retele neurale

    143/232

  • 8/12/2019 retele neurale

    144/232

  • 8/12/2019 retele neurale

    145/232

  • 8/12/2019 retele neurale

    146/232

  • 8/12/2019 retele neurale

    147/232

  • 8/12/2019 retele neurale

    148/232

  • 8/12/2019 retele neurale

    149/232

  • 8/12/2019 retele neurale

    150/232

  • 8/12/2019 retele neurale

    151/232

  • 8/12/2019 retele neurale

    152/232

  • 8/12/2019 retele neurale

    153/232

  • 8/12/2019 retele neurale

    154/232

  • 8/12/2019 retele neurale

    155/232

  • 8/12/2019 retele neurale

    156/232

  • 8/12/2019 retele neurale

    157/232

  • 8/12/2019 retele neurale

    158/232

  • 8/12/2019 retele neurale

    159/232

  • 8/12/2019 retele neurale

    160/232

  • 8/12/2019 retele neurale

    161/232

  • 8/12/2019 retele neurale

    162/232

  • 8/12/2019 retele neurale

    163/232

  • 8/12/2019 retele neurale

    164/232

  • 8/12/2019 retele neurale

    165/232

  • 8/12/2019 retele neurale

    166/232

  • 8/12/2019 retele neurale

    167/232

  • 8/12/2019 retele neurale

    168/232

  • 8/12/2019 retele neurale

    169/232

  • 8/12/2019 retele neurale

    170/232

  • 8/12/2019 retele neurale

    171/232

  • 8/12/2019 retele neurale

    172/232

  • 8/12/2019 retele neurale

    173/232

  • 8/12/2019 retele neurale

    174/232

  • 8/12/2019 retele neurale

    175/232

  • 8/12/2019 retele neurale

    176/232

  • 8/12/2019 retele neurale

    177/232

  • 8/12/2019 retele neurale

    178/232

  • 8/12/2019 retele neurale

    179/232

  • 8/12/2019 retele neurale

    180/232

  • 8/12/2019 retele neurale

    181/232

  • 8/12/2019 retele neurale

    182/232

  • 8/12/2019 retele neurale

    183/232

  • 8/12/2019 retele neurale

    184/232

  • 8/12/2019 retele neurale

    185/232

  • 8/12/2019 retele neurale

    186/232

  • 8/12/2019 retele neurale

    187/232

  • 8/12/2019 retele neurale

    188/232

  • 8/12/2019 retele neurale

    189/232

  • 8/12/2019 retele neurale

    190/232

  • 8/12/2019 retele neurale

    191/232

  • 8/12/2019 retele neurale

    192/232

  • 8/12/2019 retele neurale

    193/232

  • 8/12/2019 retele neurale

    194/232

  • 8/12/2019 retele neurale

    195/232

  • 8/12/2019 retele neurale

    196/232

  • 8/12/2019 retele neurale

    197/232

  • 8/12/2019 retele neurale

    198/232

  • 8/12/2019 retele neurale

    199/232

  • 8/12/2019 retele neurale

    200/232

  • 8/12/2019 retele neurale

    201/232

  • 8/12/2019 retele neurale

    202/232

  • 8/12/2019 retele neurale

    203/232

  • 8/12/2019 retele neurale

    204/232

  • 8/12/2019 retele neurale

    205/232

  • 8/12/2019 retele neurale

    206/232

  • 8/12/2019 retele neurale

    207/232

  • 8/12/2019 retele neurale

    208/232

  • 8/12/2019 retele neurale

    209/232

  • 8/12/2019 retele neurale

    210/232

  • 8/12/2019 retele neurale

    211/232

  • 8/12/2019 retele neurale

    212/232

  • 8/12/2019 retele neurale

    213/232

  • 8/12/2019 retele neurale

    214/232

  • 8/12/2019 retele neurale

    215/232

  • 8/12/2019 retele neurale

    216/232

  • 8/12/2019 retele neurale

    217/232

  • 8/12/2019 retele neurale

    218/232

  • 8/12/2019 retele neurale

    219/232

  • 8/12/2019 retele neurale

    220/232

  • 8/12/2019 retele neurale

    221/232

  • 8/12/2019 retele neurale

    222/232

  • 8/12/2019 retele neurale

    223/232

  • 8/12/2019 retele neurale

    224/232

  • 8/12/2019 retele neurale

    225/232

  • 8/12/2019 retele neurale

    226/232

  • 8/12/2019 retele neurale

    227/232

  • 8/12/2019 retele neurale

    228/232

  • 8/12/2019 retele neurale

    229/232

  • 8/12/2019 retele neurale

    230/232

  • 8/12/2019 retele neurale

    231/232

  • 8/12/2019 retele neurale

    232/232