View
195
Download
5
Category
Preview:
DESCRIPTION
Research Presentation at AI Seminar (in Slovak) http://cogsci.fmph.uniba.sk/aiseminar/
Citation preview
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
BAL: obojsmerné učenie na báze aktivačných fázseminár z umelej inteligencie
RNDr. Kristína Rebrová
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Prehľad
1 Motivácia a náš model MNS
2 Algoritmus BAL
3 Experimenty a výsledky
4 Záver
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Senzomotorická kognícia
Porozumenie na základe prepojenia akcie a percepcie -párovanie pozorovanej akcie a vlastného motorickéhorepertoáraSystém zrkadliacich neurónov (mirror neuron system, MNS)(Pellegrino a kol., 1992; Rizzolatti a kol. 2001; Rizzolatti a Sinigaglia, 2010)
Obojsmerný tok informácie medzi vizuálnymi a motorickýmioblasťami (Tessitore a kol,2010)
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Variantné a invariantné neuróny
Horná spánková brázda (superior temporal sulcus, STS)STS poskytuje vstupy pre zrkadliace neurónyRôzne typy neurónov, variantné a invariantné neuróny (Perret a
kol, 1991)
Invariantné n. anatomicky najbližšie k frontálnej časti kôry –najvyššia úroveň reprezentácie (Jellema a Perret, 2006)
Variantné a invariantné vlastnosti objavené aj u zrkadliacichneurónov v F5 (Caggiano a kol, 2009)
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Výpočtové modely systému zrkadliacich neurónov
Klasický prístup, napr. model MNS1 (Oztop a Arbib, 2002)
Model reflektuje biologické časti MNSZákladný predpoklad: vizuálna informácia, ktorá vstupuje doMNS je pozične invariantnáInvariancia: ill-posed problem, zjednodušenie
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Robotický model systému zrkadliacich neurónov
Predpokladá podobne ako Tessitorea kol. interakciu medzi MN a STSModulárna architektúra, nanajvyššej úrovni dochádza krozpoznaniu a porozumeniu akcii
STSvizuálna
reprezentáciaPF
F5zkradliaceneuróny
motorický modulpredspracovanie
vizuálnej informácie
Motorický modul: z predošlého výskumu, paradigmavuyžívajúca biologicky prijateľné učenie posilňovanímRobot iCub sa učí uchopovať predmety 3 spôsobmiModul F5 a STS: samoorganizujúca sa mapa s rekurentnýmkontextom MSOM, (Strickert a Hamker, 2005)
Prepojenie F5 a STS: binarizácia pomocou k-WTA atrénovanie BAL
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Robot iCub a jeho simulátor
Metta a kol. (2008); Tikhanoff a kol. (2008)
európsky projekt „RobotCub”(robotcub.org)
rozmery a fyzické schopnostikopírujú 2,5-ročné dieťa
104cm, 22kg, 53 stupňov voľnosti(z toho 9 na každej ruke),pohyblivá hlava a oči s 2kamerami
riadenie z pripojeného počítača
nachádza sa v 20 laboratóriách,prevažne v Európe
verný 3D simulátor (v ODE)
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
GeneRec a BAL
Odvodený od zovšeobecnenej recirkulácie (GeneralizedRecirculation, GeneRec) (O’Reilly, 1996, O’Reilly a Munakata, 1999)
Biologicky plausibilné učenie šírením chybyGeneRec – jednosmerné mapovanieBAL – obojsmerná asociácia
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Algoritmus GeneRec
učenie na báze rozdielu aktivačných fáz (miestoneplauzibilného šírenia chyby na výstupe)dve aktivačné fázy (opačný tok informácie)
mínusová fáza: od vstupu na výstup, sieť produkuje odhadplusová fáza: od výstupu na vstup, sieť dostane "zafixovanú"želanú hodnotu na výstup a učí sa
zmena váh na základe rozdielov v plusovej a mínusovej fáze:∆wij = ε(y+
j − y−j )xi
Layer Phase Net Input ActivationInput (s) − - si = stimulus input
Hidden (h) − η−j =∑
i wij si +∑
k wkjo−k h−
j = σ(η−j )
+ η+j =∑
i wij si +∑
k wkjo+k h+
j = σ(η+j )
Output (o) − η−k =∑
j wjkhj o−k = σ(η−k )
+ - o+k
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Algoritmus obojsmerného učenia na báze aktivačných fáz
Dve vstupno–výstupné vrstvy xa yDve aktivačné fázy indikujú smer toku aktivácie
Dopredný beh (F): xF → hF → yF
Spätný beh (B): yB → hB → xB
perceptrón so 4 maticami váh, 2 pre každý smer toku aktivácie
F F
B B
vrstva v mskrytávrstva
vh hm
váhy hv mh
vrstva
váhy
h
váhy
váhy
Layer Phase Net Input Activationx F - xF
ih F ηF
j =∑
i w IHij xF
i hFj = σ(ηF
j )
y F ηFk =
∑j wHO
jk hFj yF
k = σ(ηFk )
y B - yBk
h B ηBj =
∑k wOH
kj yBk hB
j = σ(ηBj )
x B ηBi =
∑j wHI
ji hBj xB
i = σ(ηBi )
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
BAL: úprava váh
V smere F: ∆wFij = λ · aF
i (aBj − aF
j )
V smere B: ∆wBij = λ · aB
i (aFj − aB
j )
Parametre: rýchlosť učenia λTrénovateľné biasové neuróny (konštantný vstup 1.0,analogická úprava váh)
Layer Phase Net Input Activationx F - xF
ih F ηF
j =∑
i w IHij xF
i hFj = σ(ηF
j )
y F ηFk =
∑j wHO
jk hFj yF
k = σ(ηFk )
y B - yBk
h B ηBj =
∑k wOH
kj yBk hB
j = σ(ηBj )
x B ηBi =
∑j wHI
ji hBj xB
i = σ(ηBi )
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Kódovač 4-2-4 – parametre
pri tejto úlohe nie vždy skonverguje k 100% úspešnostivýstup testov: počet konvergujúcich sietí (zo 100) a priemernýpočet trénovacích epoch (len úspešné)rôzne typy rýchlosti učeniaporovnanie s pôvodným GeneRec modelom:
konvergencia: BAL 65% vs. GeneRec 90%BAL konverguje podobne ako symetrická verzia GeneRec(aproximácia CHL)počet epoch: 100 až tisíce (GeneRec konverguje rýchlejšie)
0 1 2 3
0
20
40
60
rýchlosť učenia
úspe
šné
siet
e
2 2.1 2.20
20
40
0 1 2 3
0
1,000
2,000
3,000
rýchlosť učenia
epoc
hy 2 2.1 2.20
500
1,000
1,500
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Kódovač 4-2-4 – vývoj počas trénovania
50 úspešných sietí trénovaných 5000 epochak sieť skonverguje, naučí sa úlohu na 100%naopak ak robí chybu v jednom smere, „pokazí sa“ aj druhýsmer asociácie
0 1,000 2,000 3,000 4,000 5,000
0
0.5
1
epocha
úspe
šnos
ťsi
ete
vzoryFvzoryBbityFbityBmseFmseB
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Párovanie riedkych binárnych vzorov – parametre
Motivácia pre typ dát: riedke reprezentácie v mozgu100 párov vzorov, 144 bitov, k = 12 pozitívnychRôzne hodnoty λ a veľkosti skrytej vrstvy nH (50 sietí)
optimálna λ: 0.2optimálna nH : 120, rozdiel viacmenej len v dĺžke trénovania
0.1 0.2 0.3 0.4 0.5
0
0.5
1
rýchlosť učenia
úspeš
nosť
siet
e
bityF bityBvzoryF vzoryB
0.2 0.25 0.3 0.35
0
0.5
1
80 100 120 140 160 1800.94
0.96
0.98
1
veľkosť skrytej vrstvy
úspeš
nosť
siet
e
bityF bityBvzoryF vzoryB
100 150
1,000
2,000
3,000
epcs
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Párovanie riedkych binárnych vzorov – vývoj počastrénovania
priemer a štand. odchýlka pre 50 sietí trénovaných 2500 epochλ = 0.2, nH = 120aktivácie na skrytej vrstve: blížia sa k sebe a nebinarizujú sa(hodnoty okolo 0.5)
0 500 1,000 1,500 2,000 2,500
0
0.5
1
epocha
úspe
šnos
ťsi
ete
vzoryFvzoryBbityFbityBmseFmseB
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Komplexné asociácie – parametre
Motivácia pre typ dát: asociácia 4 perspektív na 1 pohyb16 párov vzorov, 16 bitov, k = 3 pozitívnychRôzne hodnoty λ a veľkosti skrytej vrstvy nH (50 sietí)
optimálna λ: 1.0optimálna nH : 14 (nerobí veľký rozdiel)
0 0.5 1 1.2
0
0.5
1
rýchlosť učenia
úspeš
nosť
siet
e
bityF bityBvzoryF vzoryB
1 1.1 1.2
0
0.5
1
10 15 20 25
0
0.5
1
veľkosť skrytej vrstvy
úspeš
nosť
siet
e
vzoryF vzoryBbityF bityB
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Komplexné asociácie – vývoj počas trénovania
priemer a štand. odchýlka pre 50 sietí trénovaných 1000 epochλ = 1.0, nH = 14značne menšia úspešnosť pre nejednoznačný smer B(bity ≈ 86%, vzory len ≈ 4%)sieť nevie určiť, ktorý zo 4 asociovaných vzorov vybrať
0 200 400 600 800 1,000
0
0.5
1
epocha
úspe
šnos
ťsi
ete
bityFbityBvzoryFvzoryBmseFmseB
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Komplexné asociácie – príklad reprodukcie vzorov
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Robotický MNS model – úvod
Najvyššia úroveň: mapovanie reprezentácií na STS a F5Výstupy z MSOM sú zbinarizované pomocou k-WTAVizuálne dáta: 14×14 s kv = 16Motorické dáta: 12×12 s km = 8Experimenty s prvou perspektívou (očakávaná asociácia 1:1),52 vzorových párov
STSvizuálna
reprezentáciaPF
F5zkradliaceneuróny
motorický modulpredspracovanie
vizuálnej informácie
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Robotický MNS model – parametre
Rôzne hodnoty λ a veľkosti skrytej vrstvy nH (20 sietí prekaždý parameter)
optimálna λ: 0.2optimálna nH : 170
0.2 0.4
0
0.5
1
rýchlosť učenia
úspeš
nosť
siet
e
bityF bityBvzoryF vzoryB
100 150 200 250
0
0.5
1
veľkosť skrytej vrstvy
úspeš
nosť
siet
e
bityF bityBvzoryF vzoryB
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Robotický MNS model – vývoj počas trénovania
priemer a štand. odchýlka pre 20 sietí trénovaných 1500 epochλ = 0.2, nH = 170značne menšia úspešnosť ako pri umelých dátach – charakterrobotických dát m:nsieť robí chyby v rámci jednej kategórie pohybu, nie medzikategóriami
0 500 1,000 1,500
0
0.5
1
epocha
úspeš
nosť
bitSuccFbitSuccBpatSuccFpatSuccB
0 500 1,000 1,500
0
5 · 10−2
0.1
epocha
mse
/vzd
iale
nosť
mseFmseB
pattDistFpattDistB
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Robotický MNS model – príklad reprodukcie vzorov
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Zhrnutie
vyvinuli sme algoritmus pre obojsmernú asociáciu binárnychvzorov odvodený od biologicky plauzibilného GeneRec modeluobojsmerné učenie vplýva na jeho konvergenciu a rýchlosť akousa vie požadpvanú úlohu naučiťemergujúce reprezentácie na skrytej vrstve nemajú tendenciubinarizovať sa (nevznikajú vyhranené reprezentácie pre rôznevstupy)pri riešení problému nejednoznačných mnohonásobnýchasociácií robí algoritmus chyby (ako aj iné algoritmy učeniaNS)v prípade asociácie medzi reprezentáciami v našom robotickomMNS modeli je vyhodnocovaná úspešnosť modelu malá, nochyby, ktoré robí sa vyskyujú v rámci kategórie nie medzikategóriami
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Ďalší postup pri skúmaní BAL a modelovaní MNS
Algoritmus BALskúmať konvergenciu algoritmu, jeho citlivosť na rýchlosťučenia a charakter obojsmerého prepojeniaskúmať reprezentácie na skrytej vrstve a tiež možnosti akoovplyvniť vznik reprezentácií aj na tejto vrstve (v kontextesystému zrkadliacich neurónov)
Robotický model MNSzaviezť do modelu ďalšie vizuálne perspektívyvytvoriť priestor/mechanizmus pre vznik variantných ainvariantných reprezentácií v STS a F5
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Motivácia a náš model MNSAlgoritmus BAL
Experimenty a výsledkyZáver
Koniec
Ďakujem za pozornosť
Kristína Rebrovákristina.rebrova@gmail.com
Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz
Recommended