Upload
lammien
View
217
Download
0
Embed Size (px)
Citation preview
Octobre 2005 Master Recherche Sciences Cognitives
1
Réseaux de neurones formels
Christian JuttenLab. des Images et des Signaux
(LIS)UMR 5083 Centre National de la Recherche Scientifique,
Institut National Polytechnique de Grenoble,Université Joseph Fourier
Grenoble
Octobre 2005 Master Recherche Sciences Cognitives
2
Contenu
• I. Introduction • II. Quelques flashs de neurobiologie• III. Modèles mathématiques• IV. Coopération et compétition• V. Mémoires associatives linéaires• VI. Perceptrons multi-couches• VII. Modèles de Hopfield• VIII. Cartes auto-organisatrices de Kohonen• IX. Séparation de sources• X. Présentation du BE et des mini-projets
Octobre 2005 Master Recherche Sciences Cognitives
4
Cartes de Kohonen
• Principes des cartes auto-organisatrices• Quantification Vectorielle et préservation de la topologie• Algorithmes Batch et adaptatif• Architectures du réseaux et algorithmes,• Propriétés et applications,• Problèmes et limitations, • Analyse en composantes curvilinéaires
Octobre 2005 Master Recherche Sciences Cognitives
5
Cartes auto-organisatrices : principes• Principes: Modelisation des relations entre rétine et cortex visuel
• Objectifs– quantification vectorielle– préservation de la « topologie »
Octobre 2005 Master Recherche Sciences Cognitives
6
Cartes auto-organisatrices : quantification vectorielle
• Quantification scalaire : opération d ’arrondi classique
• Quantification vectorielle (VQ) : extension pour données vectorielles x
• Définition VQ : codage i.e. partitionner E en Q régions
NxxfRx ∈=→∈ )int()(
QifRE in ,,1,ˆ)( K==→⊂∈ xxx
Eix̂ ix̂
Octobre 2005 Master Recherche Sciences Cognitives
7
Algorithme batch de quantification vectorielle
Dynamic clustering (Diday, 1976 ; LBG, Linde, Buzo, Gray, 1980)1. Choisir le nbr Q de mots-codes ; placer au hasard ds espace données ; j = 12. Partager l’espace des données en régions
3. Déplacer les mots-codes selon la relation
4. Si j < Q , alors j = j + 1 et aller en 2, sinon stop.
Qkcxdcxdx jjkk ,,1,),(min),(/ K=
==ℜ
kc ∑ℜ∈ℜ
=kix
ik
k xCard
c 1
+ ++
+++
+ ++
++ ++
+ ++
+++
+ ++
++ ++
+ ++
+++
+ ++
++ ++
+ ++
+++
+ ++
++ ++
+ ++
+++
+ ++
++ ++
Octobre 2005 Master Recherche Sciences Cognitives
8
Algorithme adaptatif de quantification vectorielle
• Choisir le nbe Q mots-codes ; placer au hasard ds espace données ; j = 1• Choisir un point au hasard• Chercher le code le plus proche:• Déplacer le code selon :
• Si le test d’arrêt n’est pas vrai, aller en 2, sinon stop.
+ ++++
+
+ ++
++ ++
ixkc Qkcxdcxdc jijkik ,,1),,(min),(/ K==
)( kikk cxcc −+= µkc
+ ++++
+
+ ++
++ ++
+ ++++
+
+ ++
++ ++
+ ++++
+
+ ++
++ ++
+ ++++
+
+ ++
++ ++
Octobre 2005 Master Recherche Sciences Cognitives
9
Cartes de Kohonen: quantifcationvectorielle avec préservation de la topologie
Octobre 2005 Master Recherche Sciences Cognitives
10
Cartes auto-organisatrices : architecture du réseau
• Réseau de neurones
• « Topologie » du réseau1-D, 2-D, etc. ; voisinages
3
12
entréessorties
QQ neurones (quantifiers)
( )),( xwdKy ii =
Neurone: Modèle 2
p,1
1,11,2
entrées
sorties
Réseau 2-D
Réseau 1-D
Octobre 2005 Master Recherche Sciences Cognitives
11
SOM / VQ
Réseau neurones SOM• nombre de neurones Q
• dim. espace d’entrée: n
• poids neurone w
• organisation du réseau– 1-D,– 2-D, ou plus
permet de définir le voisinage
VQ• nombre de mots-codes Q
• dim. Espace d’entrée : n
• valeur des mots-codes x̂
• pas d’organisation dans l ’étiquetage des mots-codes
ni R∈n
i R∈
Octobre 2005 Master Recherche Sciences Cognitives
12
Cartes auto-organisatrices de Kohonen
• Chose the neuron number Q ; locate randomly on the data space ; define thenetwork organization
• Chose randomly a point• Find the closest neuron:• Move the winner and its neighboors:
• If the stopping test is not true, go to 2, else stop.
ixkc Kkcxdcxdc jijkik ,,1),,(min),(/ K==
kc)(),( kjjijj cVoisccxcc ∈−+= µ
+ ++++
+
+ ++
++ ++
+ ++++
+
+ ++
++ ++
+ ++++
+
+ ++
++ ++
+ ++++
+
+ ++
++ ++
+ ++++
+
+ ++
++ ++
Octobre 2005 Master Recherche Sciences Cognitives
13
Self-Organizing Maps (3)
• « Winner »For the input x, the « winner » is the neuron whose the weight vector is the
closest of x, i.e.
• Algorithm– Choose Q, the architecture ; initialize the weight vectors– do
• select randomly an input data x• compute the « winner »• update the weight of the winner and the neighbour neurons
– untill convergence
( )),(min0 ii wxdArgi =
( )),(min0 ii wxdArgi =
))(()()1( xtwtwtw iii −+=+ µ
Octobre 2005 Master Recherche Sciences Cognitives
14
Kohonen’s SOM: practical issues
• For VQ convergence– Stepsize must be time decreasing in 1/t
• For self-organisation– Initial Neighborhood must concern 60% of the network. For
instance, for a 1-D SOM with 100 neurons, Neigh0 = 30
– Neighborhood must be time decreasing in 1/t
tKmut
+=
1)( 0µµ
tKneightNeigh Neigh
+=
1)( 0
Octobre 2005 Master Recherche Sciences Cognitives
16
SOM properties: meshing
• 2-D data by 1-D network
• Topology preservation is not perfect !
Octobre 2005 Master Recherche Sciences Cognitives
17
SOM properties: meshing
• 2-D data by 2-D network: problem if network shape is not suited to data shape
Octobre 2005 Master Recherche Sciences Cognitives
18
SOM properties: meshing
• 2-D data by 2-D network: problem if network shapeis not suited to data shape
• Topology is not preserved• Dead units may appear
Octobre 2005 Master Recherche Sciences Cognitives
19
SOM Applications: color image compression
• Color image pixel = 3-D vector (R, G, B)• Basically 1 color pixel = 24 bits• Number of possible colors: NC = 224 !• Compression
– Find the best reduced set of colors (say Q) with respect to a distortion criterion (coding error)
– Replace each pixel (24 bits) by the number of the codewords (log2Q bits)– Compression rate:
• For instance, if Q =16, the compression rate is
• Topology preservation implies that LSB error in color label leads to acolor similar to the optimal one
Q2log24
=ρ
616log
242
==ρ
Octobre 2005 Master Recherche Sciences Cognitives
20
SOM Applications: travel salesman problem
• The problem consists in looking for the shortest tour which goes through N towns, once and only once.
• Using a closed 1-D Kohonen’s SOM, with the algorithm– random selection of a town – move the winner and its neighbours according to
– Topology preservation implies: close neurons code close towns
+
++
++++
+
**
**
**
*
+
++
++++
+
** **
**
*
ix
0i )( 0iNeighk∈)(),( 0iNeighkkikk ∈∀−+= wxww µ
Octobre 2005 Master Recherche Sciences Cognitives
21
SOM Applications: complex data representation
• Large dimension data can be represented using SOM in 2-D (3-D or more) maps for pointing out similarities
• Social and economical data x of countries (6 features for each country). The idea is to represent close data by close neurons, i.e. similar countries by close neurons in the SOM
• Using a 2-D Kohonen’s SOM, with the algorithm– random selection of a country data x– move the winner and its neighbours according to0i )( 0iNeighk
• Due to the topology preservation, after learning, each neuron is labelled with the country name whose data is coded by this neuron, leading to a similarity map
∈i
)(),( 0iNeighkkikk ∈∀−+= wxww µ
Octobre 2005 Master Recherche Sciences Cognitives
24
Curvilinear Component Analysis:Unfolding and projecting on the main maniforld
Octobre 2005 Master Recherche Sciences Cognitives
25
Curvilinear Component Analysis:Comparison with Sammons’s algorithm
Octobre 2005 Master Recherche Sciences Cognitives
31
CCA application: representation of audio-video data