Upload
abderrahman-ait-ali
View
413
Download
0
Tags:
Embed Size (px)
DESCRIPTION
Presentation generale d'un systeme d'indexation d'images
Citation preview
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Expose MultimediaIndexation d’Images
Abderrahman AIT ALI & Tom BOSC
ENSIMAG
24 mars 2013
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
1 Introduction
2 Extraction des descripteurs
3 Recherche
4 Demonstrations
5 Bibliographie
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Plan
1 Introduction
2 Extraction des descripteurs
3 Recherche
4 Demonstrations
5 Bibliographie
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Croissance exponentielle des contenus multimedia
Explosion au niveau :
De la production de contenu multimedia numerique
Du nombre d’outil de publication et de partage decontenus (1.42 Millions de photos ajoutees sur Flickrchaque jour !)
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Besoins
Nous avons besoin d’un systeme permettant :
La recherche rapide d’un contenu
La recherche precise d’un contenu
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Applications
Sur les images :
Criminalistique : Reconnaissance d’empreintes, faciale,Contrefacons
Biomedical : detection d’organes, diagnostic
Robotique : Localisation, reconnaissanced’objets/visages
Imagerie satellitaire et cartographie
etc ...
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Propagation des tags
Une premiere solution !
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Recherche d’image sur le texte accompagnant
l’image
Les inconvenients :
Limitation du langage
Peu efficace
Tres fastidieuse (car manuelle !)
etc ...
→ Non traite ici
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Recherche d’image par le contenu
Difficultes
Invariance par rotation, translation, mise a l’echelle,assombrissement, flou, ...
Recherche rapide dans une base de donnee tres grande
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
C’est etonnantUn exemple pour se convaincre (methode d’indexation SIFT)
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Etapes generales d’un systeme d’indexation
d’images
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Plan
1 Introduction
2 Extraction des descripteurs
3 Recherche
4 Demonstrations
5 Bibliographie
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Detection des points-clesMethode de difference de gaussiennes (DoG)
Soustrait deux images filtrees avec des gaussiennes devariance differentes. Agit comme un filtre passe-bande.Exemple :
Resultat : points-clesAbderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Coordonnees et filtrage
L’espace des echelles
Coordonnees classique + facteur d’echelle : (x, y, σ)
Le facteur d’echelle correspond a une frequence quipasse par le filtre precedent
Filtrage intermediaire
On enleve les points :
situes sur les aretes : tres sensibles au bruit
de faible contraste (seuillage sur le DoG)
Resultat : point-cles invariants par changement d’echelleAbderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Histogramme des orientations
A tout point du voisinage d’un point-cle donne, oncalcul un angle d’orientation
Ces angles forment un histogramme sur 32 intervallesque l’on associe au point-cle
Resultat : point-cles invariants par changement d’echelleet par rotation
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Descripteurs des points-cles
L’image σ est divise en 16 carres de 16 pixelsPour chacun de ces carres, on calcule un histogrammed’orientation a 8 intervallesCes angles forment un histogramme que l’on associe aupoint-cleLes descripteurs SIFT sont a 16 ∗ 8 = 128 dimensionsAbderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
D’autres methodes
Autres methodes d’extraction de descripteurs d’une image :
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Indexation (off-line)Principe
- Parcours de la base des images- Extraction des descripteurs- Creation d’une base d’index ou de descripteurs
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Plan
1 Introduction
2 Extraction des descripteurs
3 Recherche
4 Demonstrations
5 Bibliographie
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Etape de recherche (on-line)Schema d’un systeme d’indexation
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Objectifs et Outils
Objectifs
Recherche des images : rapidement + pertinemment
Outils
Structure des Bases de donnees
Mesure de similitude
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Structure des Bases de donnees
Deux BdDs
BdDs des images elle-meme
BdDs des descripteurs d’images (en general desvecteurs de grandes dimensions)
Plusieurs structures
Table de hachage, graphes ...
Structures d’arbres : arbre SS, arbre R, kd-arbre(utilise en SIFT) ...
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Recherche et Mesures de similitudeRecherche
La recherche des ’bons’ descripteurs
Plusieurs algorithme de parcours (ex : Best Bin Firsten SIFT)
Depend de la structure de la BdD
Depend de la mesure de distance choisie
Seuil de tolerance
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Recherche et Mesure de similitudeMesure de similitude
Il s’agit des distances entre vecteurs (ou descripteurs) :
Mesures de distance
Distances de Minkowsky : (sumdi=1|vi − wi|r)1/r
En particulier : Distance Manhattan(r = 1),Euclidienne (r = 2)..., Maximum (r =∞)
Autres distances : Mahalanobis, quadratique ...
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Evaluation des performancesProprietes
Evaluation d’un systeme d’indexation au niveau de :- La pertinence : Precision des resultats ...- La rapidite : Le temps de recherche des resultats ...
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Evaluation et PerformancesEvaluation
Precision
Pr =(corrects)
⋂(trouves)
trouves
Rappel (Recall)
Re =(corrects)
⋂(trouves)
corrects
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Plan
1 Introduction
2 Extraction des descripteurs
3 Recherche
4 Demonstrations
5 Bibliographie
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
DemonstrationRecherche d’image Coca-Cola
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Plan
1 Introduction
2 Extraction des descripteurs
3 Recherche
4 Demonstrations
5 Bibliographie
Abderrahman AIT ALI & Tom BOSC Expose Multimedia
IntroductionExtraction des descripteurs
RechercheDemonstrations
Bibliographie
Explications
- http ://fr.wikipedia.org/wiki/Indexation automatiquede documents
- http ://fr.wikipedia.org/wiki/Scale-invariant featuretransform
- http ://fr.wikipedia.org/wiki/Recherche d’image par lecontenu
Exemples de sites de demos
www.tineye.com http ://bigimbaz.inrialpes.fr/
Abderrahman AIT ALI & Tom BOSC Expose Multimedia