Upload
kueng
View
43
Download
0
Embed Size (px)
DESCRIPTION
Synthèse. Applications des réseaux de neurones en reconnaissance de formes et en vision par ordinateur. 1- Reconnaissance de formes. Extraction. Système. X. des. Y. de. D. primitives. décision. Espace d'entrée. Espace des primitives. Espace des décisions. - PowerPoint PPT Presentation
Citation preview
Applications des réseaux de neurones en
reconnaissance de formes et en vision par
ordinateur
Synthèse
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 2
Espace d'entrée
XExtraction
desprimitives
Espace des primitives
YSystème
dedécision
Espace des décisions
D
1- Reconnaissance de formes
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 3
Apprentissage supervisé: rétro-propagation du gradient d’erreur
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 4
SonarTravaux de Sejnowski & Gorman, 1988Pré-traitement: TFDApprentissage: spectres en fréquence
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 5
Approximation complexe: conduite d’un véhicule motorisé
1217 unités
à gauche
à droite
route + claireou + foncée
= 256
= 960 (dans le bleu)
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 6
Approximation complexe: conduite de véhicule motorisé
Projet développé à Carnegie-Mellon
Apprentissage: 1200 images présentées 40 fois chacune. Les images représentent une grande diversité de courbes, d’intensité et de distortion. L’apprentissage dure ~30 min.
Résultats: Le meilleur à … ~5 km/hrs dans une route boisée.
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 7
Classification de chiffres manuscrits
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 8
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 9
Classification de chiffres: Mémoire associative (réseau de Hopfield)
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 10
Structure du ART 1
€
F1(a)=Entrée=Xk
F2 Catégoriesj
€
Wf=bji
€
Wb=tij RAZRAZ
<ρ?
G1
G2
F1(b) =Interface
F1 Caractéristiques
i
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 11
= 0,9
= 3 et plus
nouvelle catégorie
dans F2
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 12
Classification de polices: Kohonen
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 13
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 14
Classification de lettres
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 15
Classification de lettres: 2 approches
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 16
2- Vision par ordinateur
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 17
Modèle algorihmique du système de vision
Niveau 0
Niveau 1
Niveau 2
Niveau 3
Niveau 4
Segmentation
Interpolation
AutresOmbrageStéréo
Images
droitegauche
Détection des arêtes
Esquisse
Esquisse2 1/2 D
Description
Détection des arêtes
Croquis Croquis
3D
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 18
2.1 Extraction des primitives
2
2 41
333
Occultations: masquage d’un objet par un autre
Arête 3D: discontinuité du vecteur normal
Marques: texture, albédo, etc.
Ombre: discontinuité de l’éclairage incident
1-
2-
3-
4-
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 19
I
∇I
∇2I
Caractéristiques de scène projetées sur l’image d’éclairement
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 20
Approximation du gradient
sortie = |dx| + |dy|
dx dy
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 21
Détection des arêtes orientées
∇2Gσ * I
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 22
Système BCS de Grossberg
-+ - +
Max.
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 23
Extraction par apprentissage supervisé
Extraction des primitives
Sous-image pour l’apprentissage
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 24
1- Choix d’une base d’apprentissage
586 vecteurs 3x3 d’apprentissage sont sélectionnés (distance euclidienne plus grande que 0,17)
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 25
2- Construction du réseau
Réseau à rétro-propagation
NI = 3x3
Nh = 6
No = 1
Entrée
Couche cachée
Sortie (arête)
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 26
3- Apprentissage
4- Généralisation
Structure d’appel des différents programmes et fichiers de données.
Sélection des v ecteurspour l’apprentissage
base_vect.cc
ImageEntree.pgm
ImageDesiree.pgm
Apprentissage
batchman (SNNS)
Constructiondu réseau
SNNS
Visualisation etimpression de l’image
xv, imagetool, etc.
Conversionet mise-à-l’échelle
pgm2pat.cc
Généralisation
SNNS
Conversionet mise-à-l’échelle
res2pgm.cc
leo.pgmcampanile.pgm
cam.pgmfrog.pgm
etc.
binairisée
lab2_out.net
leo.res
leo_bin.pgm
leo.pat
lab2.netvecteurs.pat
apprentissage.param
batchman.log
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 27
2.2 Stéréoscopie
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 28
f
d
xg xd
df Δδ–()
δ--------------------=
δ xg xd–=
0 0
Géométrie
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 29
Mesure de disparité
épipolaireligne
image d’arêtes gauche image d’arêtes droitefusion
x=x1 x=x1 x=x1−δmin=x x1−δmin−δmax
δmax
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 30
Compétition entre les neurones de disparité
épipolaireligne
image d’arêtes gauche image d’arêtes droitefusion
x=x1 x=x1
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 31
Mesure de la disparité résultante
épipolaireligne
image d’arêtes gauche image d’arêtes droitefusion
x=x1 x=x1
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 32
3- Télédétection
Cellular Neural Network for Automated Detectionof Geological Lineaments on Radarsat Images
Richard Lepage, Rouhana G. Rouhana, Benoît St-Onge, Rita Noumeir, and Robert Desjardins
IEEE Transactions on Geoscience and Remote Sensing,Vol. 38, No. 3, p. 1224-1233, May 2000
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 33
• Linéaments
Qualité visuelle Direction consistante
Continuité sur une longue distance
Longs éléments rectilignes ou curvilignes indiquant des phénomènes géologiques
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 34
• Réseau neuronique cellulaire
Grande matrice de cellules Grande matrice de cellules identiquesidentiques Connexions locales avec les cellules voisines
Cellules adjacentes: effet direct
Cellules non adjacentes: effet indirect
Avantage :Avantage : Adapté aux algorithmes Adapté aux algorithmes de visionde vision
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 35
Structure en treillis du réseau cellulaire
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 36
Élément de calcul à chaque noeud
∑ f* B
* A
∫+
+
-
+
xi xi
1
1-1-1
f
vi
vj
I
uk
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 37
Nœud à chaque pixel
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 38
Modèle à grand voisinage circulaire Chaque pixel:
–induit un champs de gradient dans un voisinage circulaire
–applique un effet d’inhibition sur lui même
Le rayon de voisinage diminue avec une certaine vitesse et un certain pas
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 39
P
e
A
B
e’
e’
D
C
e’
e’ e' = e cos
Champ d’induction circulaire
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 40
P
eA
BD
CQ
e’ = e’
I
II
e’<< e’Sélectivité circulaire:
e' = e cos
Sélectivité directionnelle:
e' = e cos3
Champ directionnel d’induction: comparaison avec le champ circulaire
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 41
Résultats: région de Charlevoix
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 42
Image Radarsat dimensions : 768x768 précision : 9m
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 43
Détection classique: masque de Sobel directionnel
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 44
Détection par réseau neuronique cellulaire à induction directionnelle
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 45
4- Inspection automatisée
Projet de coopération franco-québécoise 97-99
ÉTS - INSA de Lyon
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 46
CCD CAMÉRA
INSPECTION
entraî-
Mémoireassociative
Rapportd'inspection
CAO
géon
2D
géon
3Dnement
Base de donnéesModèles CAODescriptions géonsImages 2DImages 3D
Contexte de l'inspection
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 47
Étapes Construction d’une banque de données choix de pièces étalons représentations CAO
–volumétrique (CSG)–surfacique (STL et B-Rep)
conversion en géons (à partir du format neutre de fichier)
image 3D des objets–balayage laser (CNRC)–machine à mesurer coordonnées
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 48
Extraction des géons à partir de la caméra CCD
Mise en registrereprésentation CAO (STL) et image 3Dreprésentation CAO (NURBS) et image 3D
Sélection rapide par mémorisation associative des géons
constituants
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 49
CCD CAMÉRA
INSPECTION
entraî-
Base de donnéesmodèles CAOImages 2DImages 3D
Mémoireassociative
CAO
géon
3Dnement
Descriptions géons
Base de données
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 50
Pièce 1 Pièce 2 Pièce 3 Pièce 4 Pièce 5
Pièce 6 Pièce 7 Pièce 8 Pièce 9 Pièce 10
Pièces de la base de données
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 51
courbe
COURBUREDE L'AXE
droit
TYPE D'ARÊTESGÉNÉRATRICES
droites
courbes
rotationnelleSYMÉTRIE DELA SECTION
réflective et
réflective
asymétrie FONCTION DEBALAYAGE
constante
variable
hybrides
MATÉRIALITÉ
solide
creux
Représentation visuelle par géons
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 52
au dessus
au dessus
au dessus
Exemple de décomposition en géons
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 53
Attributs des géons Type
positif négatif
Axe droit incurvé
Symétrie du profil réflective réflective et rotationnelle asymétrique
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 54
Types d'arêtes du profil droites courbes hybrides
Dimension du profil contante variable
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 55
Attribut de connectivité entre deux géons1: axes colinéaires (géons bout-à-bout)
2: axes à angle (jonction en T)3: axes parallèles (côte à côte, inclusif)
4: axes croisés (jonction en X)5: axes confondus (géons concentriques)
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 56
CCD
Base de donnéesmodèles CAO
Mémoireassociative
2D
géon
Extraction des géons d’une image 2D
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 57
Images 2DProblématique
–Occlusions–Réflets de lumière sur les pièces métalliques
–Jonctions manquantes, traits discontinus–Géons de forme imprévisible :
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 58
entraî-
Base de donnéesmodèles CAOImages 2DImages 3D
CAO
géon
nement
Descriptions géons
Conversion CAO en géons
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 59
Entrée : fichier de données CAO– format neutre (logiciel de conception assistée par ordinateur ProEngineer)
– B-Rep F(E) surfaces frontières arêtes limitrophes
Conversion F(E) à F(L(E(V)))– F surface– L boucles– E arêtes– V sommet
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 60
Extraction des géons par analyse des boucles internes–un géon correspond à un élément symbolique dans KBV
attributs relation spatiale avec les voisins
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 61
CCDentraî-
Base de donnéesmodèles CAO
Mémoireassociative
CA O
géon
2D
géon
nement
Mémoire associative
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 62
Type : Analyse syntaxique + Kohonen–Algorithme Shift-Reduce–Ex.: The boy who liked the girl | | article nom \ / sujet–Réseau de type SARDSRN
Utilise une carte topologique de Kohonen pour représenter les divers états du système
Décroissance temporelle de l’activation des anciennes instances
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 63
Réseau pour tenir compte de la connectivité
Couche cachée Copie
Attributsde connectivité
Attributsdes géons
Cartes Kohonen
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 64
Apprentissage–La base d'apprentissage est constituée de l'ensemble des modèles CAO convertis en modèle visuel perceptuel par géons
Sortie–Chaque neurone de sortie pointe vers un des modèles CAO de la base de données. Les neurones activés représentent les modèles CAO les plus probables.
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 65
Activation–Progressive. Les neurones de sortie s'activent de plus en plus au fur et à mesure que l'information se précise à l'entrée.
–L'information à l'entrée est fournie graduellement, au rythme de l'extraction des géons dans l'image d'entrée.
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 66
CAMÉRA
INSPECTION
Rapportd'inspection
3D
Base de donnéesModèles CAO
Inspection
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 67
Mise en registre–Les mesures 3D provenant de la caméra 3D par balayage laser sont comparées avec chacun des modèles CAO identifiés par le réseau associatif
–Chacun des modèles CAO est transformé pour minimiser un signal d'appariement
–Un rapport d'inspection est généré à la suite des mesures de comparaison avec le modèle CAO finalement sélectionné
GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 68
Vérification de tolérance–Planéité–Parallélisme–Perpendicularité, inclinaison, forme
Numérisation–Trajectoire optimale de la caméra(position optimale de la tête de numérisation)