21-02-01
1
Interrogation de bases de données multimédias
Département de génie logiciel et des TI
Exemples de système CBIR
• http://en.wikipedia.org/wiki/List_of_CBIR_engines
6 GTI660: Introduction aux DBMM Hiver 2010
21-02-01
2
Département de génie logiciel et des TI
Single media Multi media
Single user
Multi user
Composition utilisant différent médias : besoin synchronisation e.g intervention chirurgicale à distance
Requête simple utilisant les attributs et méta données
Utilisateurs peuvent modifier des objets partagés simultanément e.g. CSCW
Utilisation concurrente des données – en temps réel: e.g. broadcasting, vidéo sur demande Fig. 5.1
Concurrence et synchronisation
Département de génie logiciel et des TI
Présentation du multimédia (5.2.1)
• On connais moins bien les GUIs du multimédia
• RÉSULTATS DE REQUÊTES IMPRÉCIS § L’organisation des équipes de développement § Le résultat d’une recherche ne donne pas un
résultat précis mais plutôt général § On doit indiquer à quel % de précision l’objet
trouvé tente de répondre à la requête
21-02-01
3
Département de génie logiciel et des TI
Présentation des Résultats
• Il est plus difficile de concevoir des GUI pour le multimédia entraînant des durées donc coûts plus élevés
• Les équipes de développement sont typiquement organisées en équipes fonctionnelles et sont responsables des conceptions de leurs écrans, des dialogues, et des applications d’une manière séparée
Département de génie logiciel et des TI
Conception de la présentation des applications multimédia
SEMANTIC LEVEL
Task Model Application Model
SYNTACTIC LEVEL
Dialog Model
LEXICAL LEVEL
Presentational Model
Interaction Model
Application Wrappers
Fig 5.2
21-02-01
4
Département de génie logiciel et des TI
Approche de base
Département de génie logiciel et des TI
Relation des données Multimédia
• Les relations entre les données multimédia peuvent être spatiales et/ou temporelles
• Une relation temporelle décrit § quand un objet devrait être présenté § La durée de présentation § de quelle manière la relation doit fonctionner (audio
avec vidéo) • Une relation spatiale décrit
§ La localisation d’un objet par rapport à d’autres objets § Présente tout l’objet ?
21-02-01
5
Département de génie logiciel et des TI
Exigences de l’interface pour interroger BD multimédia
• L’interface de requêtes a besoin d’un support à la présentation du multimédia et des interactions spécifiques au multimédia, par exemple § Requête du contenu d’un objet multimédia § La notion de requête par l’exemple (QBE)
(trouve moi le vidéo de cette chanson) § Requête temporelle
(donne moi les 30 minutes après le début du film) § Requêtes spatiales
(trouve moi le vidéo de Paul debout derrière Jean)
Département de génie logiciel et des TI
Présentation d’audio • C’est toujours une bonne idée d’inclure la
transcription d’une bande audio afin que les utilisateurs puissent lire le contenu si requis
• Pour maintenir l’attention du lecteur garder les sons courts et faibles
21-02-01
6
Département de génie logiciel et des TI
Présentation d’images • Plus mature que la gestion du son et du vidéo
• Utilisez le ‘thumbnail’ et des formats légers (.jpg et .gif)
• Utilisez des images basées sur des vecteurs (vector-based) plutôt que Bitmap (pixel-based)
• Requête classique SQL ou d’image similaire avec un petit sous-ensemble comme résultat
http://graphicssoft.about.com/od/webgraphics/
http://graphicssoft.about.com/od/graphicformats/f/summary.htm
Département de génie logiciel et des TI
Présentation de vidéo • Le traitement de la vidéo peut causer des
problèmes; certains concepteurs préfèrent ne pas l’utiliser
• Demande + d’espace et de bande passante
• Une alternative courante est de présenter une image statique de la personne et de traiter seulement la parole (ex: cours de formation Oracle sur webcast)
21-02-01
7
Département de génie logiciel et des TI
Présentation de vidéo • Coupez les vidéos en segments. Pour chaque
segment montrer une image fixe, la durée et la taille du vidéo ainsi qu’un sommaire du contenu
• Les vidéos avec des arrières plans qui changent seront encore très gros après compression (par rapport à ceux de la présentation des nouvelles)
• Utilisez une couleur solide pour les arrière-plans et les habits des personnes afin de réduire la taille et la bande passante. (même principe en vidéo-conférence)
Département de génie logiciel et des TI
Présentation d’animation • L’animation est une création artificielle du
mouvement créé par une suite d’images superposées
• Beaucoup plus léger qu’un vidéo • Utilité de l’animation
§ Attirer l’attention § Démontrer un concept § Imager une transition ou l’attente § Expliquer le flot d’un système § Interagir avec l’utilisateur
21-02-01
8
Département de génie logiciel et des TI
Conception d’animations • Les animations sont efficaces i.e.
dynamiques • La répétition de la même animation
sans interaction est ennuyant • Élimine la nécessité de logiciels locaux • Minimise les ‘downloads’
Département de génie logiciel et des TI
Animations en 2 et 3 dimensions
• HTML • VRML – Virtual Reality markup
Language § Permet de créer un monde virtuel
• Les utilisateurs ont besoin d’un ‘VRML viewer’
• Applications – décorateurs, agents d’immeubles,…
21-02-01
9
Département de génie logiciel et des TI
• X3D § http://www.web3d.org/x3d/content/
examples/X3dResources.html#Examples § http://www.x3dom.org/
• Collada § https://collada.org/
21 GTI660: Introduction aux DBMM
Hiver 2010
Animations en 3 dimensions
Département de génie logiciel et des TI
• WebGL??? http://www.chromeexperiments.com/webgl/ http://www.khronos.org/webgl/wiki/Main_Page
22 GTI660: Introduction aux DBMM Hiver 2010
Animations en 3 dimensions
21-02-01
10
Département de génie logiciel et des TI
Interroger le Multimédia (5.2.2)
• Il y a des problèmes associés à la manipulation des objets multimédia surtout en ce qui a trait à: § requêtes, index et sommaires;
• Il est difficile de savoir ce qui est théorique et possible ou non
• L’importance des méta données et des ontologies
Département de génie logiciel et des TI
Niveau conceptuel 1 d’interrogation de BDMM (p.
118) • Niveau 1: extrait automatique des
caractéristiques tel que couleur, forme, texture, localisation spatiale et mouvement des objets
• La requête se fait dans les termes suivants: ‘Trouver des object qui possèdent du violet’
‘Trouver des images avec une région bleu ciel dans le haut de l’image’
21-02-01
11
Département de génie logiciel et des TI
Niveau conceptuel 2 d’interrogation de BDMM
• Niveau 2 : extraction automatique des caractéristiques logiques qui sont reliées à l’identité d’un objet dans le média
• Exemple de requête:
‘Trouver un vidéo d’une avion en approche’ ‘Trouver une image de baleine bleue’
Département de génie logiciel et des TI
Niveau conceptuel 3 d’interrogation de BD MM
Niveau 3 extraction automatique des attributs abstraits associés avec la compréhension de la nature et l’objectif de l’objet dans le média
• Exemple de requête:
‘find a picture of nutritional disasters’ ‘Trouver une photo d’un acte terroriste’
21-02-01
12
Département de génie logiciel et des TI
Niveaux conceptuels d’interrogation de BD MM
• Les niveaux 2 & 3 sont qualifiés de requêtes sémantiques. Toutefois actuellement les BDMM commerciales ont du succès principalement avec les requêtes de niveau 1.
• La distance entre le niveau 1 et les niveau 2&3 se nomme ‘L’écart sémantique’
Département de génie logiciel et des TI
Trois approche d’extraction des informations
• Attribute Based Retrieval – ABR • Text Based Retrieval - TBR • Content Based Retrieval - CBR or CBIR
21-02-01
13
Département de génie logiciel et des TI
Interrogation des attributs (ABR)
• Utilise un ensemble d’attributs structurés comme dans les SGBD traditionnels
• Doit pouvoir traiter des objets de grande taille, tel que des vidéos
• Efficace pour des données textuelles • N’utilise pas la richesse du contenu des
images • Requêtes limitées au niveau conceptuel
1
Département de génie logiciel et des TI
Interrogation du texte (TBR) • Il faut ajouter des annotations; courtes
descriptions dans des attributs structurées • Difficile à réaliser en pratique
§ Annotations générées et saisies manuellement, donc dispendieuses
§ Annotations faites par des professionnels ≠ requêtes formulées par des utilisateurs
§ Formulation dépend de l’interprétation de l’utilisateur
21-02-01
14
Département de génie logiciel et des TI
Interrogation du contenu (CBR)
• Alternative au TBR • L’extraction de plusieurs éléments
d’information peut être automatisée • Comble l’écart sémantique entre le
niveau 1 et les niveaux 2 & 3 • Repérage plus intuitif car utilise des
éléments en relation naturelle avec les objets: texture, couleur, forme
Département de génie logiciel et des TI
Nature de l’interrogation
Techniques employées
Attribut (ABR)
Fixed Set of structured attributes, with indexing based on B+trees and inverted files
Texte (TBR)
Text descriptions and structured fields
Indexing by full text –scanning, inversion files, signature file methods
Contenu (CBR)
Content features automatically extracted
Fig 5.4
21-02-01
15
Département de génie logiciel et des TI
Caractéristiques physiques
Histogramme de couleur Image en format GIF
Voir aussi la pochette intérieure de votre livre
Département de génie logiciel et des TI
Les problèmes avec CBR “What is the growth rate of this kind of tumor?”
Combiner requête booléenne et QBE § description: attributs spatiaux, temporels et
patrons sémantiques § spécification: métaphore visuelle et intuitive
en interaction avec l’objet multimédia § Représentation: métaphore visuelle pour
identifier l’appariement aux patrons
21-02-01
16
Département de génie logiciel et des TI
Ontologie ?
‘find some more images like this’ • Repérage efficace utiliserait la
signification des éléments de l’image • Une ontologie introduit une
compréhension commune • Les significations peuvent être ajoutées
en méta données
Département de génie logiciel et des TI
Qu’est-ce qu’une ontologie ? • Réseau sémantique d’un domaine
d’application § Une liste de concepts spécifiques au domaine
d’application § Description des objets du domaine § Relations entre les concepts et les objets
• Spécification explicite et formelle
21-02-01
17
Département de génie logiciel et des TI
Exemple Simple (tiré de http://www.ksl.stanford.edu/people/dlm/papers/ontology101/ontology101-noy-
mcguinness.html )
Département de génie logiciel et des TI
Construction ontologique
Définition
Exemple
Objet
Individu substentiel ou objet concret
Client Produit
Propriété
Les objets ont des propriétés Les propriétés n’ont pas de propriétés
Adresse Capacité de crédit Taille Propriété mutuelle
Dépend de l’existence de plusieurs objets
‘Employé’ dépend de ‘Personne’ et de ’Organisation’
21-02-01
18
Département de génie logiciel et des TI
Méta données • ‘données à propos des données’ : données qui
décrivent les données § Données de structure : nom des tables, des
colonnes, etc. § Données de contraintes: décrivent le domaine des
valeurs
• BDMM: descriptions individuelles des objets § Source (provenance; ex: Web) § Format (encodage) § Etc.
Département de génie logiciel et des TI
3 classes de méta données Classe Exemple Utilisation
Indépendant du contenu
Nom du photographe
ABR
Décrit le contenu
Le nom des personnes
TBR
Dépend du contenu
Forme d’un papillon
CBR
Table 5-3
21-02-01
19
Département de génie logiciel et des TI
Exemples de Méta données
Média Indépendant du contenu
Décrit le contenu
Dépend du contenu
Texte Date de mise-à-jour
Mots clés, format
Frontière des sujets
Son Durée Personne qui parle
Reconnaissance vocale
Image Titre, date format Caractéristiques (traits)
Vidéo Distributeur, durée
Angles des prises de vues
Frontières des séquences
Table 5-4
Département de génie logiciel et des TI
Norme MPEG-7
Description (abstract)
Content Management (abstract)
Content Abstraction (abstract)
Content Entity
Audio-Visual content: - Image - Video - Audio - AudioVisual - MixedContent - ContentCollection
- SemanticDescription - ModelDescription - SummaryDescription - ViewDescription - VariationDescripti on
- UserDescription - CreationDescription - UsageDescription - ClassificationDescription
Content Description (abstract)
Complete
21-02-01
20
Département de génie logiciel et des TI
Partitions d’espace Partitions de données
2 classes : 1) Partitions de données et
2) Partitions d’espaces
Techniques Multidimensionnelles (de Harald Kosh)
Département de génie logiciel et des TI
Objectifs d’extraction automatique des caractéristiques
• Réduire la taille des objets • Classification, regroupement,
ordonnancement des objets • Cherche à découvrir et synthétiser la
sémantique des objets MAIS • Souvent paramètres sensibles : de
petites modifications aux entrées et paramètres = groupes différents