Upload
minna
View
28
Download
3
Embed Size (px)
DESCRIPTION
CNN template dekompozíció - analogikai algoritmusok implementációjának egy lehetséges eszköze. Ph.D. értekezés tézisei írta: Kék László Témavezető: Dr. Roska Tamás akadémikus. Tartalom. Celluláris Neurális Hálózatok (CNN) alapjai Motiváció Tézisek Összefoglaló Köszönetnyilvánítás. - PowerPoint PPT Presentation
Citation preview
1
Analogical and Neural Computing LaboratoryComputer and Automation Research InstituteHungarian Academy of Sciences, Budapest
CNN template dekompozíció CNN template dekompozíció analogikai algoritmusok analogikai algoritmusok implementációjának egy implementációjának egy
lehetséges eszközelehetséges eszközePh.D. értekezés tézisei
írta: Kék László
Témavezető:Dr. Roska Tamás akadémikus
2
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
TartalomTartalom
Celluláris Neurális Hálózatok (CNN) alapjai
Motiváció
TézisekTézisek
Összefoglaló
Köszönetnyilvánítás
3
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
L. Chua & L. Yang, 1988 N-dimenziós processzor tömb Cellák állapota folytonos, funkciójuk egyszerű Lokális kölcsönhatás (lineáris ill. nemlineáris) Számos, sokrétű alkalmazási terület Analogikai algoritmusok a CNN Univerzális Gépen A CNN-UM analóg VLSI implementációja
Celluláris Neurális Hálózatok (CNN)Celluláris Neurális Hálózatok (CNN)
4
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
Celluláris Neurális Hálózat (CNN)
uij - bemenet
xij - állapot/ yij - kimenet
zij - áram BB
AAii
jj
Template: [A B z]Template: [A B z]
ijkl(i,j)SC(k,l)
klkl(i,j)SC(k,l)
klijij ztuB+tyA + txtxrr
)()()()(
5
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
CNN számítás
bemenet
állapot/kimenet
B
A
zz
6
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
CNN-UM architektúrájaCNN-UM architektúrája
GAPU
LAM
LLM
CNNnucleus
LLU
LCCU
LAOU
GAPU
GACUSCRLPRAPR
Switch Configuration Registerglobal Logic Program Registerglobal Analog Program Register
Global Analogic Control Unit
Global Analogic Programming Unit
LLMLAMLLU
LAOU
LCCU
Local Logic UnitLocal Analog Output UnitLocal Communication and Control Unit
Local Logic MemoryLocal Analog Memory
CNN
UNIVERZÁLIS
GÉP
7
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
MotivációMotivációCél:
A CNN chipek architektúrájából fakadó korlátok algoritmikus úton történő feloldása
Korlátok: 3x3-as lokális összeköttetés (r=1) lineáris template-ek
Nehézségek (problémák): Nemlineáris template-ek Nagyméretű (r>1) template-ek Analóg CNN-UM implementációk inhomogenitása
8
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
TézisekTézisek
1. 3x3-as nemlineáris template-dekompozíció
2. Nagyméretű template-dekompozíció
3. Hibatűrő template-dekompozíció
9
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
1. tézis 3x3-as nemlineáris template-dekompozíció
Analogikai algoritmust dolgoztam ki a 3x3-as nemlineáris template-ek egy osztályának (lineáris A, nemlineáris - szakaszonként lineáris - B) olyan CNN architekrúrán való implementálására, amely csak 3x3-as lineáris template-ek futtatására alkalmas Az algoritmus korlátai: analóg be- és kimenet, fixed state, bias
map Kísérletileg igazoltam egy egyszerű nemlineáris template olyan
CNN-UM chipen (cP400) való implementálhatóságát, amely csak bináris be- és kimenettel rendelkezik, nincs fixed state-je sem bias map-je
10
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
Megfogalmaztam a nemlineáris A template-dekomozíció irányelveit folytonos idejű CNN-re
Megmutattam, hogy DTCNN esetében a 3x3-as nemlineáris B template-dekompozíció módszere nemlineáris A template-re is alkalmazható
Nemlineáris A template dekompozíció
1
11
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
( ) ( ) ( ) ( , )x t x t + A y t + B u u zij ij klC(k,l) S (i,j)
kl klC(k,l) S (i,j)
ij kl ij
r r
( ) ( ),B u u F u uij kl ij kl kl
P1(x1,y1)F(x)
P4(x4,y4)
P2(x2,y2) P3(x3,y3)
m = 4
S5S3 S4S2S1
-11
1
x
ElmElmééleti alapokleti alapok1
12
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
1. tézis (folyt.)1. tézis (folyt.) Elméleti alapokElméleti alapok
nem
k = l = 1
s = 1
A kiválasztott cellák állapotainak beállítása az sintervallum nak m egfelelően
Az s intervallum hoz “tartozó” cellák kiválasztása
s m+1?igen
s = s+1
Eredm ény hozzáadása a BIAS-hez
k és l m egfelelő növelése
VÉG E
igen
nem
Részeredm ény akkum ulálása
C(k,l) S r(i,j)?
hatásának kiszámításaB kl 1
13
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
CONTOUR1
Módosított template (B=0):
Kezdeti állapot Kiszámított Bias Kimenet
Kísérleti (szimulációs) eredményekKísérleti (szimulációs) eredmények1
-1
0.5
vuij - vukl
0.18-0.18
b
7.0
000
000
000
000
020
000
zBA
7.0
000
000
00
000
020
000
z
b
BA
14
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
LEFTEDGE template
Kimenet
vuij-vukl
b
-0.5
0.5
1
1cP400-on vcP400-on végzett kísérletégzett kísérlet
Bemenet Kezdeti állapot
cP400(CNN-UM chip)
1
000
00
000
000
020
000
zbBA
15
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, International Journal of Circuit Theory and Applications, Vol. 26, No.6, pp. 551-566, 1998.
L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Proceedings of the European Conference on Circuit Theory and Design (ECCTD’97), pp. 661-666, Budapest, 1997.
L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Research report of the Analogical and Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Sciences (MTA SzTAKI), DNS-7-1996, Budapest, 1996.
Kapcsolódó publikációkKapcsolódó publikációk1
16
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
Eljárást adtam nagyméretű nemlineáris template-ek egy osztályának (NxN-es lineáris A (aij=0, ahol r>1) és nemlineáris -
szakaszonként lineáris - B) 3x3-as lineáris template-ekkel való helyettesítésére Az algoritmus korlátai: analóg be- és kimenet, fixed state, bias
map Megmutattam, hogy DTCNN esetében a módszer olyan template-
ekre is alkalmazható, amely nagyméretű lineáris vagy nemlineáris A template-et tartalmaz
Kísérletileg igazoltam egy 5x5-ös lineáris template olyan CNN-UM chipen (cP400) való implementálhatóságát, amely csak bináris be- és kimenettel rendelkezik, nincs fixed state-je sem bias map-je
2. tézis Nagyméretű template-dekompozíció
17
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
Problémák: nemlinearitás nagyméretűség
Megoldás: Partition-Shift algoritmus (K. Crounse, 1996) az 1. tézisben megfogalmazott 3x3-as nemlineáris
template dekompozíció
2ElmElmééleti alapokleti alapok
Alapgondolat: Bias mappel helyettesíteni (kiváltani) a B template-et
18
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
2. tézis (folyt.)2. tézis (folyt.) Elméleti alapokElméleti alapok
3x3-as nemlineáris template-dekompozícióalkalmazása az aktuális 3x3-as nemlineáris
template-re vonatkozóan
Template-felosztás(3x3-as nemlineáris template-ek generálása)
Aktuális 3x3-as nemlineáris template kijelölése
Következő template?
nem
igen
VÉGE
Módosított template (B=0) alkalmazásafelhasználva a kiszámított Bias map-et
Részeredmény akkumulációa Partition-Shift algoritmus szerint
2
19
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
Diagonális
vonaldetektor
B B11 12
0 2 0 2 01
0 2 0 0
01 0 0
01 0 2
0 0 01
0 0 01
. . .
.
.
. .
.
.
0
Bc
01 0 2 0 2
0 2 1 0 2
0 2 0 2 01
. . .
. .
. . .
B B21 22
0 0 0
01 0 0
0 2 01 0
0 0 0
0 0 0 2
01 0 2 0 2
.
. .
.
. . .
A B
0 0 0 0 0
0 0 0 0 0
0 0 12 0 0
0 0 0 0 0
0 0 0 0 0
0 2 0 2 01 01 0 2
0 2 01 0 2 0 2 01
01 0 2 1 0 2 01
01 0 2 0 2 01 0 2
0 2 01 01 0 2 0 2
.
. . . . .
. . . . .
. . . .
. . . . .
. . . . .
z 18.
Dekomponáló 3x3-as template-ek
2Kísérleti (szimulációs) eredményekKísérleti (szimulációs) eredmények
20
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
Módosított template
A B
0 0 0
0 12 0
0 0 0
0 0 0
0 0 0
0 0 0
18. .z
KiszámítottBias
Kimenet
2Kísérleti (szimulációs) eredmények Kísérleti (szimulációs) eredmények (folyt.)(folyt.)
Bemenet Kezdeti állapot
21
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
5 pixelnél nem rövidebb vízszintes vonaldetekció
A B
0 0 0 0 0
0 0 0 0 0
0 0 1 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
1 1 1 1 1
0 0 0 0 0
0 0 0 0 0
4 5 z .
cP400(CNN-UM chip)
KimenetBemenet Kezdeti állapot
cP400-on vcP400-on végzett kísérletégzett kísérlet2
22
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, International Journal of Circuit Theory and Applications, Vol. 26, No.6, pp. 551-566, 1998.
L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Proceedings of the European Conference on Circuit Theory and Design (ECCTD’97), pp. 661-666, Budapest, 1997.
L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Research report of the Analogical and Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Sciences (MTA SzTAKI), DNS-7-1996, Budapest, 1996.
Kapcsolódó publikációkKapcsolódó publikációk2
23
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
Megmutattam, hogy a CNN-UM chipek esetleges pontatlan működése tetszőleges csatolatlan bináris be- és kimenetű template esetén kiküszöbölhető több, kisebb komplexitású csatolatlan template felhasználásával
Kidolgoztam két hibatűrő template-dekompozíciós eljárást I. eljárás: a template által meghatározott Boole függvény
diszjunkt normál alakjából előállítja azt az utód-template szekvenciát, amelyek segítségével kiváltjuk a kiinduló template-et
II. eljárás: iteratív módon csökkenti a megvalósítandó template nehézségi fokát (növeli annak robusztusságát)
3. tézis Hibatűrő template-dekompozíció
24
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
Definiáltam a template robusztusság-érték fogalmát Bebizonyítottam, hogy dimenziócsökkentéssel a template
robusztusság-értéke nem csökken, általános esetben növekszik Igazoltam, hogy a Shannon-kifejtés lineárisan szeparálható Boole-
függvények esetén 4-ről 3 tagra egyszerűsödik Kísérletileg igazoltam, hogy a CNN template könyvtárban
található és a cP400-as chipen dekompozíciót igénylő összes 3x3-as bináris be- és kimenetű template maximum 2 utód-template felhasználásával dekomponálható
Memutattam, hogy a cP400-as chip robusztusságérték-határa megközelítően 0.5-el egyenlő
3
25
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
3. tézis (folyt.)3. tézis (folyt.) Elméleti alapokElméleti alapok
Létezik még dekompozíciótigénylő utód-template?
Adott egy CNN chip
A “legkedvezőbb” kizárandótemplate-elem kiválasztása
Utód-template-ek generálása ésazok CNN chipen történő
optimalizálása
VégeNem
Adott egy dekompozíciót igénylőtemplate
Igen
3
26
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
LCP <=> TEM1 AND TEM2
F u u u u u u u u u u u u u u u u
u u u u u u
( ) = ( ) =
= { }{ }
u
1 2 4 5 6 2 3 4 5 6 2 4 5 6 1 3
2 4 5 6 1 3
A B
0 0 0
0 1 0
0 0 0
0 0 0
2 2 2
1 2 1
5z
A B
0 0 0
0 1 0
0 0 0
0 0 0
1 1 1
0 1 0
3z
A B
0 0 0
0 1 0
0 0 0
0 0 0
0 0 0
1 0 1
1z
TEM1:
TEM2:
3LCP template dekompozíciójaLCP template dekompozíciója
27
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
LCPcP400 <=> TEM1* AND TEM2*
TEM1* :
TEM2* :
A B
0 0 0
0 0 51 0
0 0 0
0 0 0 05
137 123 139
0 144 0
5 24.
.
. . .
.
.z
A B
0 0 0
0 019 0
0 0 0
0 0 0 02
0 0 07 0 05
142 0 05 139
0 94.
.
. .
. . .
.z
3LCP template dekompozíciója LCP template dekompozíciója (folyt.)(folyt.)
28
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
P. Földesy, L. Kék, Á. Zarándy, T. Roska, and G. Bártfai, “Fault Tolerant Design of Analogic CNN Templates and Algorithms Part I: The Binary Output Case”, IEEE Transactions on Circuits and Systems special issue on Bio-Inspired Processors and Cellular Neural Networks for Vision, Vol. 46, No. 2, pp. 312-322, February 1999.
P. Földesy, L. Kék, T. Roska, Á. Zarándy, and G. Bártfai, “Fault Tolerant CNN Template Design and Optimatization Based on Chip Measurements”, Proceedings of the IEEE International Workshop on Cellular Neural Networks and their Applications (CNNA’98), pp. 404-409, London, 1998.
P. Földesy, L. Kék, Á. Zarándy, T. Roska, and G. Bártfai, “Fault Tolerant Design of Analogic CNN Templates and Algorithms Part I: The Binary Output Case”, Research report of the Analogical and Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Sciences (MTA SzTAKI), DNS-3-1998, Budapest, 1998.
Kapcsolódó publikációkKapcsolódó publikációk3
29
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
Tudományos eredményeim: 3x3-as nemlineáris (A - lineáris, B - szakaszonként
lineáris) template-ek csak lineáris template-ek futtatására alkalmas architektúrán való implementálása
NxN-es (nemlineáris) template-ek 3x3-as lineáris template-ekké való dekompozíciója
3x3-as csatolatlan bináris be- és kimenetű template-ek hibatűrő dekompozíciója
ÖsszefoglalóÖsszefoglaló
30
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
MTA Doktori Tanács, MTA SzTAKI BME Műszaki Informatika Szak Doktori Tanácsa Feleségem, szülők, család Analogikai és Neurális Számítások Laboratórium munkatársai
(Dr. Zarándy Ákos, Dr. Szolgay Péter, Dr. Radványi András, Dr. Szirányi Tamás, Földesy Péter, Bártfai Guszti, Dr. Venetianer Péter, Nemes László, Rekeczky Csaba, Dr. Kozek Tibor, ...)
Dr. Arató Péter, a BME Irányítástechnika és Informatika Tanszék vezetője
Bírálók: Dr. Rudas Imre, Dr. Jobbágy Ákos Cikkek bírálói Dr. Holovács József, Dr. Naum Aizenberg, Dr. Igor Aizenberg Neubauer Ferenc
KöszönetnyilvánításKöszönetnyilvánítás Dr. Roska Tamás
31
Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest
Köszönöm figyelmüket.Köszönöm figyelmüket.