Communication Visuo-Gestuelle Langue des Signes Analyse d ... · Etude des gestes co-verbaux, de la langue des signes! Etudes par la langue des signes! Transcription! Formalisme pour

13 février 2003

Communication Communication VisuoVisuo--GestuelleGestuelle

Langue des SignesLangue des Signes

Analyse d�ImageAnalyse d�Image

Patrice DALLEPatrice DALLEIRIT IRIT -- TCITCI

13 février 2003 IRIT-TCI-CVG 2

IRITIRIT--TCI TCI Traitement et Compréhension d�ImagesTraitement et Compréhension d�Images

!! Vision par ordinateurVision par ordinateur!! Stéréovision, calibrage, Stéréovision, calibrage, shape from shadingshape from shading!! Géométrie, Optimisation, Statistiques robustesGéométrie, Optimisation, Statistiques robustes

!! InterprétationInterprétation!! Environnement de conception, Systèmes, Environnement de conception, Systèmes,

ReconnaissanceReconnaissance!! Modélisation du TI, Autonomie, Interaction, Modélisation du TI, Autonomie, Interaction,

Incertain, ÉvolutionIncertain, Évolution!! Communication Communication VisuoVisuo--GestuelleGestuelle


CommunicationCommunication VisuoVisuo--GestuelleGestuelle

Analyse par un système de vision

CVG



Analyse

- Attitudes- Expressions- Mouvements- Gestes- Signes

par un système de vision

des émis par une personne

CVG



Analyse




dans un but de communicationavec d’autres personnesavec une machine

CVG



Analyse




dans un but de communicationavec d’autres personnesavec une machine

Communication ≠ Interaction

CVG


CVG : pourquoi ? CVG : pourquoi ? (1/3)(1/3)

!! Etudier les Etudier les utilisations de la LSutilisations de la LSFavoriser leur développementFavoriser leur développement!! Communication en LSCommunication en LS

!! Éducation => apprendre en LS, enseigner la LSÉducation => apprendre en LS, enseigner la LS!! Formation => néologismesFormation => néologismes!! Vie sociale et professionnelle => outils de communication Vie sociale et professionnelle => outils de communication

!! Développer des services expérimentauxDévelopper des services expérimentaux=> => lieux d’observation de ces situationslieux d’observation de ces situations

!! Institut Institut IRISIRIS!! Département E&RDépartement E&R

CVG



!! FinalitéFinalité : Communication, Langue des Signes: Communication, Langue des Signes!! OpportunitésOpportunités

!! Équipe TCI Équipe TCI (synergie, masse critique)(synergie, masse critique)!! Vision , mouvementVision , mouvement!! CompréhensionCompréhension

!! IRIT IRIT (coopérations)(coopérations)!! Image (analyse et synthèse)Image (analyse et synthèse)!! CHM, analyse de la vidéo, indexationCHM, analyse de la vidéo, indexation!! TALN (spatial), DialogueTALN (spatial), Dialogue

!! ToulouseToulouse!! LSF : fortes compétences (IRIS, LSF : fortes compétences (IRIS, InterpretisInterpretis, UTM, , UTM, WebSourdWebSourd,…),…)!! LAAS (geste)LAAS (geste)

CVG



!! ProblématiqueProblématique!! Thème émergent en analyse d’imagesThème émergent en analyse d’images!! Cadre d’étude pertinentCadre d’étude pertinent

!! Scientifique : 3D, mouvement, compréhension, sensScientifique : 3D, mouvement, compréhension, sens!! Applications : Applications :

!! CHM (interaction, commande, observation de l’utilisateur, couplaCHM (interaction, commande, observation de l’utilisateur, couplage ge analyseanalyse--synthèse) synthèse)

!! LSF, LSF, !! Linguistique : étude des gestes Linguistique : étude des gestes coco--verbauxverbaux

!! EnseignementEnseignement!! DESS SI : Systèmes Intelligents (vision et interaction)DESS SI : Systèmes Intelligents (vision et interaction)!! DESS IIN : Ingénierie de l’Image NumériqueDESS IIN : Ingénierie de l’Image Numérique

IRR : Intelligence artificielle, Reconnaissance desIRR : Intelligence artificielle, Reconnaissance desformes , Robotiqueformes , Robotique

CVG


CVG et analyse d�imageCVG et analyse d�image

!! AnalyseAnalyse!! Détection : silhouette, visage, mouvementDétection : silhouette, visage, mouvement!! SegmentationSegmentation

!! Composants du visage, du corpsComposants du visage, du corps!! MouvementMouvement

!! ReconnaissanceReconnaissance!! Expressions (visage)Expressions (visage)!! GestesGestes

!! InterprétationInterprétation!! Mimiques facialesMimiques faciales!! GestesGestes coco--verbauxverbaux!! Signes (de la LSF)Signes (de la LSF)

CVG


Etude de la CVG : objectifsEtude de la CVG : objectifs!! LinguistiqueLinguistique

!! Etude des gestes Etude des gestes coco--verbaux, de la langue des signesverbaux, de la langue des signes!! Etudes par la langue des signesEtudes par la langue des signes

!! TranscriptionTranscription!! Formalisme pour analyser, mémoriser ou générerFormalisme pour analyser, mémoriser ou générer

!! Ecriture de la LSFEcriture de la LSF!! Traduction LSF Traduction LSF ⇔⇔ françaisfrançais!! Communication à distanceCommunication à distance

!! Transmission, codage, compressionTransmission, codage, compression!! Génération, personnage virtuel ou avatar signantGénération, personnage virtuel ou avatar signant

!! MémorisationMémorisation!! Stockage, indexation, interrogation, restitutionStockage, indexation, interrogation, restitution

CVG


Linguistique Linguistique ⇔⇔⇔⇔⇔⇔⇔⇔ InformatiqueInformatiqueapports croisapports croisééss

!! LinguistiqueLinguistique!! Primitives, niveaux d’analysePrimitives, niveaux d’analyse!! Démarche d’analyse ou de production d’énoncésDémarche d’analyse ou de production d’énoncés

!! InformatiqueInformatique!! Modélisation de la syntaxe et de la sémantiqueModélisation de la syntaxe et de la sémantique

!! Méthodes formellesMéthodes formelles!! Représentations pour rendre compte ou pour générerReprésentations pour rendre compte ou pour générer!! Modélisation du mouvement et des gestesModélisation du mouvement et des gestes

!! EnvironnementsEnvironnements!! EditeursEditeurs!! Outils de manipulation, stockage, interrogationOutils de manipulation, stockage, interrogation

!! Analyse : LS ( vidéo, direct) Analyse : LS ( vidéo, direct) ⇒⇒ représentationreprésentation!! Génération : représentation Génération : représentation ⇒⇒ personnage de synthèsepersonnage de synthèse

CVG


ProjetsProjets

!! ActionsActions!! ACI : Action ACI : Action Cognitique Cognitique Incitative Incitative (ministère de la Recherche)(ministère de la Recherche)!! AS : Action Spécifique STIC AS : Action Spécifique STIC

STIC STIC →→ domaine IHC domaine IHC →→ RTP RTP →→ AS, JEMSTIC, Equipe projet AS, JEMSTIC, Equipe projet (CNRS)(CNRS)

!! Langue des Signes Langue des Signes !! ACI LSACI LS--COLIN COLIN ((CuxacCuxac)) : LS analyseur de langues : LS analyseur de langues (2000(2000--

2002)2002)!! AS STIC AS STIC (Gibet,(Gibet,ToulotteToulotte)) : Communication en LS : Communication en LS (2003(2003--2004)2004)!! ACI ACI (Garcia(Garcia--BoutetBoutet)) : LSF : LSF -- Formes graphiques Formes graphiques (2003(2003--2005)2005)

!! Analyse des gestes Analyse des gestes coco--verbauxverbaux!! AS STIC AS STIC (Dalle, (Dalle, CuxacCuxac)) : interaction gestuelle : interaction gestuelle (2002(2002--2003)2003)

Projets


Projet LS-COLIN Langues des Signes - COgnition, Linguistique, INformatique

(Action COGNITIQUE)

- Sciences du Langage, Université Paris 8(linguistique de la LSF)- CAMS-LaLIC, Université Paris 4(linguistique cognitive)- IRIT-TCI, Université Toulouse 3(informatique et traitement de l'image)- LIMSI, CNRS, Orsay(informatique)

Langues des signes : Analyseurs privilégiés de la faculté de langage,

Apports croisés d'études linguistiques, cognitives et informatiques (traitement et analyse d'image)

autour de l'iconicité et de l'utilisation de l'espace.

Projet-1


LSLS--COLINCOLIN

!! L'iconicitL'iconicitéé des messages fonctionne comme analyseur des messages fonctionne comme analyseur cognitif. cognitif.

!! affiner l'inventaire des structures de "grande iconicitaffiner l'inventaire des structures de "grande iconicitéé" " !! modmodééliser lliser l’é’émergence du vocabulaire standard mergence du vocabulaire standard àà partir du partir du

processusprocessus d'iconicisation d'iconicisation initial; initial; !! vvéérifier des hypothrifier des hypothèèses des grammaires cognitives : l'expression ses des grammaires cognitives : l'expression

complcompléémentaire des primitives spatiales et non spatiales issues des mentaire des primitives spatiales et non spatiales issues des reprrepréésentations ssentations séémanticomantico--cognitives dans les cognitives dans les éénoncnoncéés en LS.s en LS.

!! Travaux communsTravaux communs!! Identification des primitives signifiantes pour linguistes et Identification des primitives signifiantes pour linguistes et

informaticiensinformaticiens!! Structuration, segmentationStructuration, segmentation!! SpSpéécification dcification d’’un outil de transcription un outil de transcription

Projet-1


LSLS--COLIN : Travaux des COLIN : Travaux des linguisteslinguistes

!! Thèmes de Thèmes de publicationspublications issues de l’actionissues de l’action(linguistes)(linguistes)!! Modèle d’une grammaire iconique de la LSFModèle d’une grammaire iconique de la LSF

!! Structures de grande iconicitéStructures de grande iconicité!! Opérations de transfertOpérations de transfert

! Conséquences cognitives des transferts en LS!! Classification des configurations manuelles Classification des configurations manuelles

pronomiales pronomiales en LSFen LSF! La construction de références temporelles dans les

Langues des Signes Primaires (LSP) pratiquées par des sourds vivant exclusivement en entourage entendant

Projet-1


Projet-1


Corpus LSCorpus LS--COLINCOLINProjet-1


Exploitation du corpus : « histoire du cheval » (I. Fusellier)

Validation : Clignement des yeux, rôle du regard, structure interne des transferts situationnels, …

Projet-1


LSLS--COLIN : Editeur de partitionsCOLIN : Editeur de partitionsProjet-1


Edition assistée par Traitement dEdition assistée par Traitement d ’Images’Images

Données: séquences vidéo

Détection des zones d’intérêtsEntités statiques Locuteur MainsTête

Extraction de l’information mouvement

Entités dynamiquesTrajectoireMotifs temporels

Caractérisation et organisation

de l’information extraite

TrajectoiresContactBalancementPointage …

Vitesse; AccélérationDurée; Direction

Forme, Orientations globales et locales, nombre de régions

Projet-1


AS Interaction gestuelleAS Interaction gestuelle(RTP Dialogue et Communication)(RTP Dialogue et Communication)

Etude et Développement

de la communication Homme-Machine

visuo-gestuelle

Patrice DALLE Patrice DALLE IRIT IRIT

UMR 5505UMR 5505-- Toulouse IIIToulouse III

Christian CUXAC Christian CUXAC Syntaxe formelle et typologie des languesSyntaxe formelle et typologie des langues

UMR 7023 UMR 7023 -- Paris VIIIParis VIII

Projet-2


ASAS--IG : MotivationIG : Motivation

!! Intérêt : Intérêt : !! Le geste permet une interaction naturelleLe geste permet une interaction naturelle

!! ConstatConstat!! Le geste est peu utilisé dans la communication HLe geste est peu utilisé dans la communication H--MM!! La vision est peu utilisée dans les dispositifs multimodauxLa vision est peu utilisée dans les dispositifs multimodaux

!! CausesCauses!! Analyse en temps réel d’un objet composé articulé Analyse en temps réel d’un objet composé articulé

déformable, avec beaucoup de degrés de libertédéformable, avec beaucoup de degrés de liberté!! Le gesteLe geste coco--verbal est peu contraint et donc difficile à verbal est peu contraint et donc difficile à

analyser par un système de visionanalyser par un système de vision!! L’expression gestuelle seule est incomplète et ambiguëL’expression gestuelle seule est incomplète et ambiguë

Projet-2


ASAS--IG : PrésentationIG : Présentation

!! ObjectifObjectif!! Enrichir les capacités d’échange de la communicationEnrichir les capacités d’échange de la communication

visuovisuo--gestuellegestuelle!! Développer des modèles d’analyse des langues gestuelles Développer des modèles d’analyse des langues gestuelles

par un système de visionpar un système de vision

!! MéthodeMéthode!! Etude des points communs Etude des points communs

langue des signes / gestuellelangue des signes / gestuelle coco--verbale verbale dans la communication Hdans la communication H--HH

!! Transposition à la communication HTransposition à la communication H--MM!! Réalisation d’une maquette de simulationRéalisation d’une maquette de simulation

Projet-2


ASAS--IG IG Apport de la langue des signesApport de la langue des signes

Langue des Signes

Gestesco-verbaux

analyse

enrichit

plus faciles à interpréter

plus expressifs

Projet-2


ASAS--IG : Laboratoires «IG : Laboratoires « c�urc�ur »»

!! Langue des signesLangue des signes!! UMR 7023 (Paris 8) "Syntaxe formelle et typologie des UMR 7023 (Paris 8) "Syntaxe formelle et typologie des

langues",langues", Ch CuxacCh Cuxac!! UPRESA 6065 (Rouen) "DYALANG" , R.UPRESA 6065 (Rouen) "DYALANG" , R. SabriaSabria

!! CoCo--verbalverbal!! UMR 8606 (Paris 5) "LEAPLE" ,UMR 8606 (Paris 5) "LEAPLE" , ChCh.. HudelotHudelot!! UMR 6057 (AixUMR 6057 (Aix--Marseille) "Parole et Langage" , I.Marseille) "Parole et Langage" , I. GuaïtellaGuaïtella--

CavéCavé

!! Vision et analyse du geste par ordinateur Vision et analyse du geste par ordinateur !! UMR 5505 (Toulouse 3) IRIT UMR 5505 (Toulouse 3) IRIT --"Traitement et Compréhension "Traitement et Compréhension

d'Images" P. Dalled'Images" P. Dalle!! UPR 3251 LIMSI "Geste et Image" A.UPR 3251 LIMSI "Geste et Image" A. BraffortBraffort,, Ch Ch ColletCollet

Projet-2


AS :AS : Communication en langue des signes des sourds(RTP Handicap)

Représentations et Modélisations du mouvement dans le contexte

de l’interaction et de l’animation d’agents de synthèsecommunicant en langue des signes.

Projet-3


AS :AS : Communication en langue des signes des sourds

!! Modèles et langages de spécification pour la Modèles et langages de spécification pour la génération et l’animation d’agents de synthèsegénération et l’animation d’agents de synthèse ::

!! Analyse et synthèse des expressions facialesAnalyse et synthèse des expressions faciales!! Codage des gestes des langues des signes pour le Codage des gestes des langues des signes pour le

stockage des gestes, leur transmission et leurstockage des gestes, leur transmission et leur rere--synthèse en temps réelsynthèse en temps réel

!! Interaction multimodale avec les agents virtuels de Interaction multimodale avec les agents virtuels de communicationcommunication

!! Évaluation des différents systèmes par des Évaluation des différents systèmes par des populations sourdes (représentation, reconnaissance populations sourdes (représentation, reconnaissance des gestes des avatars, dialogue)des gestes des avatars, dialogue)

Projet-3


AS :AS : Communication en langue des signes des sourds

! Porteurs! Sylvie Gibet

! Laboratoire VALORIA, Université de Bretagne Sud! Jean-Marc Toulotte

! Laboratoire I3D, université des Sciences et Technologies de Lille

! Participants! LINC – PARAGRAPHE, Université de Paris VIII! Université de Paris VIII, UMR 7023! LIMSI-CNRS, Université de Paris Sud! IRIT, UMR 5505, Université Paul Sabatier, Toulouse 3! Institut de la Communication Parlée, Université Stendhal,

Grenoble

Projet-3


ACIACI--JC JC La LSF : quelles conditions pour quelles formes La LSF : quelles conditions pour quelles formes

graphiquesgraphiques(proposition de projet)(proposition de projet)

! Porteurs! Dominique Boutet

Brigitte Garcia

(linguistes - Paris 8)

+ laboratoires partenaires

Projet-4


Analyse d�imageAnalyse d�imagede personnages de personnages signants signants ::

Études menées à Études menées à l�IRITl�IRIT--TCITCI!! DescriptionDescription

!! Détection , Extraction de primitivesDétection , Extraction de primitives!! SegmentationSegmentation!! CaractérisationCaractérisation

!! Reconstruction 3DReconstruction 3D!! ReconnaissanceReconnaissance!! InterprétationInterprétation

Analyse d’image


Edition assistée par Traitement dEdition assistée par Traitement d ’Images’Images

Données: séquences vidéo

Détection des zones d’intérêtsEntités statiques Locuteur MainsTête

Extraction de l’information mouvement

Entités dynamiquesTrajectoireMotifs temporels

Caractérisation et organisation

de l’information extraite

TrajectoiresContactBalancementPointage …

Vitesse; AccélérationDurée; Direction

Forme, Orientations globales et locales, nombre de régions

Analyse d’image IRIT-TCI


Analyse d�image dans les projetsAnalyse d�image dans les projets

!! Système d’analyse de la LSF Système d’analyse de la LSF !! Boris Boris LenseigneLenseigne!! Projet LSProjet LS--COLINCOLIN!! Action STIC : Communication en LSAction STIC : Communication en LS

!! Analyse des gestesAnalyse des gestes coco--verbauxverbaux!! Frédérick Frédérick GianniGianni!! Action STIC : interaction gestuelleAction STIC : interaction gestuelle

!! Résumé d’exposés en LSFRésumé d’exposés en LSF!! ACI : LSF ACI : LSF -- formes graphiquesformes graphiques



Extraction du locuteurExtraction du locuteur

- Comparaison avec une image de référence du fond

- Filtrage et traitement morphologique



Extraction des entités mains et visageExtraction des entités mains et visage

1. Extraction des zones de peau

2. Identification des différentes régions par critères de taille et de forme

Mains, Visage



Analyse des mimiques facialesAnalyse des mimiques faciales

!! Détection du visageDétection du visage!! Suivi du visage Suivi du visage "" mmééthode thode mean mean shiftshift!! ModModéélisation du visagelisation du visage!! Etude des variations des composantsEtude des variations des composants



Représentation du mouvement Représentation du mouvement par motifs temporelspar motifs temporels

tMHI : Intensité pixel = fonction de l�historique du mouvement

Détection des gestes symétriques par analyse de l�image tMHI



Détection des contours mobilesDétection des contours mobiles

Frontières des objets en mouvement



Suivi des éléments mobilesSuivi des éléments mobiles

QuickTime™ et un décompresseur sont requis pour visionner cette image.



Estimation 3D de la postureEstimation 3D de la posture

Point 3D = droite de projection ∩∩∩∩ sphère



Estimation 3D de la postureEstimation 3D de la posture

! Filtrage des solutions–Modèle géométrique du bras

•position 3D ⌫⌫⌫⌫ valeurs des articulations•butées

–Mouvement•hypothèse de continuité•modèles différentiels (vitesse et accélération)



Estimation 3D de la postureEstimation 3D de la postureReconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement



Estimation 3D de la postureEstimation 3D de la postureReconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement : étude du bruit



VisualisationVisualisationde l’espacede l’espacede de signationsignation



Visualisation de l’espace de Visualisation de l’espace de signationsignation



Visualisation de l’espace de Visualisation de l’espace de signationsignation



Système d’analyse de locuteur signantSystème d’analyse de locuteur signantCahier des charges (1)Cahier des charges (1)

!! Le système doit fournirLe système doit fournir!! des outils de TI permettant de segmenter des composants d’un des outils de TI permettant de segmenter des composants d’un

signesigne!! des outils de mesuredes outils de mesure!! des outils de reconnaissance (régiondes outils de reconnaissance (région$$composant dcomposant d ’’un signe)un signe)!! des outils de structuration des composantsdes outils de structuration des composants

pour chaque image isolément



Cahier des charges (2)Cahier des charges (2)

!! Le système doit fournirLe système doit fournir!! des outils de TI permettant la segmentation temporelle de la des outils de TI permettant la segmentation temporelle de la

séquenceséquence!! des outils de mesure de la dynamiquedes outils de mesure de la dynamique!! des outils de reconnaissance de trajectoiresdes outils de reconnaissance de trajectoires!! des outils de structuration des mouvementsdes outils de structuration des mouvements

pour la séquence d ’images.




!! Les composants sont identifiables par :Les composants sont identifiables par :!! leurs caractéristiques (main = tâche de couleur peau + taille + leurs caractéristiques (main = tâche de couleur peau + taille + forme)forme)!! le contexte (objet qui touche la tête = main)le contexte (objet qui touche la tête = main)

%% La méthode de reconnaissance n’est pas uniqueLa méthode de reconnaissance n’est pas unique%% Le choix de la méthode évolue au cours du tempsLe choix de la méthode évolue au cours du temps

Système adaptatif : - les objets ont une définition unique- il n ’y a pas une description discriminante

Remarque sur la reconnaissance et la structurationRemarque sur la reconnaissance et la structuration




!! Contrainte : Contrainte : ne pas limiter lne pas limiter l ’espace des problèmes’espace des problèmes

!! Le linguiste : doit pouvoir exprimer ce qu’il cherche, au momentLe linguiste : doit pouvoir exprimer ce qu’il cherche, au momentde lde l ’analyse’analyse

!! Requêtes : exprimées en termes dRequêtes : exprimées en termes d ’indices visuels dans le ’indices visuels dans le contexte courantcontexte courant

Problème de communication et de compréhension entre 2 acteurs qui échangent des notions à propos d ’images de la LS

Linguiste Système

vidéo



SystèmeSystème

Système intermédiaire

Interface linguiste

pilote

pilote Interprète en termes du TI

Séquence d’images de durée ∆t (=objet) Configuration à un moment donné

(Θinterp= temps d ’interprétation)

Observe et interprète



!! ContactsContacts

!! [email protected]@iritirit..frfrIRITIRIT--TCI TCI UPS UPS 118 route de Narbonne 31062 Toulouse cedex 4118 route de Narbonne 31062 Toulouse cedex 4tel : 05tel : 05--6161--5555--6363--0909http://www.irit.fr/ACTIVITES/EQ_TCI/home.html

!! RéférencesRéférences!! LSLS--COLIN : COLIN :

!! http://www.irit.fr/LShttp://www.irit.fr/LS--COLINCOLIN!! Rapport final : contact Patrice DalleRapport final : contact Patrice Dalle

!! ASAS--IG : IG : !! http://www.irit.fr/AShttp://www.irit.fr/AS--IGIG

Documents

Communication Visuo-Gestuelle Langue des Signes Analyse d ... · Etude des gestes co-verbaux, de la langue des signes! Etudes par la langue des signes! Transcription! Formalisme pour