Upload
caroline-carrere
View
104
Download
1
Embed Size (px)
Citation preview
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Assistance à l’interaction
Modèles, Outils, Usages, Evaluation
Jean-Paul Sansonnet LIMSI-CNRS
Assistance à l’interaction 2
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Analyse et Modèles pour l’Interaction
1. Modèles et outils pour l’interaction– Visualisation interactive d’information
– Plasticité des interactions
– Agents conversationnels animés
2. Analyse et modèles des interactions– Analyse des comportements et des émotions
– Analyse sémantique des usages
– Analyse des traces pour la socio-informatique
Assistance à l’interaction 3
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Visualisation interactive d’information
Assistance à l’interaction 4
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Plasticité des interactions• Interaction dynamique• Interaction contextuelle• Interaction multimodale
• Approches de conception• Modèles d’architecture• Représentations de connaissances• Outils logiciels
Tournez à droite
Assistance à l’interaction 5
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Agents Assistants : applications
• Accueil– Accueil des utilisateurs sur les applications et services en ligne
– Présentation de fonctionnalités et de procédures pour les applications et services en ligne
• Aide interactive– Traitement de requêtes : questions sur la structure et le
fonctionnement, commandes, contrôle à distance
– Médiation avec des apprenants : apprentissage humain, scolarisation, entrainement, aide aux handicaps
• Médiation sociale– Dialogues : Chatbots, conversations artificielles de type Eliza
– Collectifs : Mondes mixtes humains/agents, avatars, jeux de rôles
Assistance à l’interaction 6
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Trois niveaux de personnages
Têtes Parlantes
Fixes
Lip Synch
Dialogue
Emotions
Agents Déictiques
Fixes - bras mobiles
Référence Extensionnelle
Tutorat - Explications
Emotes
Agents In Situ
Personnages mobiles
Réalité Virtuelle et augmentée
Training - Action
GRETA (Pélachaud Paris 8) STEVE (Rickel et al USC) VTE (Gratch et al USC)
Assistance à l’interaction 7
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Agents : Dialogiques – Rationnels - Animés
Agent Assistant
Usager novice
Représentation Symbolique
Composant
Assistance à l’interaction 8
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Assistants de composants Java
Assistance à l’interaction 9
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Assistants de sites web : GT ACA
Assistance à l’interaction 10
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Action Incitative « Tête Parlante »• Action incitative intergroupe : AMI-PS-LIR• Application : Agent Assistant pour la Recherche d’Information
– Outil permettant des études perceptives : audio, graphique, émotions, …– Audio 3D : synthèse sensible aux mouvements de tête– Interpolation graphique entre expressions en temps-réel
Poser 5
Assistance à l’interaction 11
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Texte Parole 3D
• Texte à partir de RITEL (LIR)– « Bonjour et bienvenue » bOZur" e bjIvny"
– Phonème visème pour l’animation du visage
– Phonème parole synthétisée
• Ajustement dynamique de la synthèse selon l’orientation de la tête (PS)
– Mesure de patterns de rayonnement pour plusieurs phonèmes discrets (effectuée en nov-2005)
Pattern de rayonnement Phonème : « i »
Pattern de rayonnement Phonème : « m »
Assistance à l’interaction 12
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Animation et Rendu visuel
Tête parlante
Ch Jacquemin (AMI)
Assistance à l’interaction 13
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Emotions Complexes & Spontanées
Annotation multi-niveaux : Emotions, Multimodalité, Contexte
ReX
FP
6 H
um
ain
e -
Th
èse S
. A
bri
lian
(co-d
ir.
J.-C
. M
art
in &
L.
Deville
rs)
ANVIL
Assistance à l’interaction 14
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Agents multimodaux : études perceptives
• H et F extravertis – Redondance positive
• H introvertis– Moins de différence entre redondance et
complementarité
• F introverties– Non influencées par
redondance/complémentarité
Impact de la Redondance vs Complémentarité sur le rappel écrit et les évaluations des explications et des l’expressivité des agents
Assistance à l’interaction 15
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Outils d’interaction pour l’autisme
• Etude exploratoire : Lycée– Domaines d’apprentissage
• Jeux de dialogue• Planification spatiale (plus court chemin)
– Modalités : Synthèse, Image, Texte
• Expressions faciales– Reconnaissance à partir d’images : oui– Reconnaissance avec dialogues et
ambiguités sémantiques : non
Thèse O. Grynszpan (co-dir. J.C. Martinet J. Nadel CNRS Salpétrière)
Assistance à l’interaction 16
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Dialogue avec expressions faciales humaines
Images réalisées avec Poser 5
d’après le codage de Ekman, 2003
Dialogue qui nécessite un raisonnement pragmatique
Une des 3 affirmations correspond à une interprétation littérale incorrecte du dialogue
L’expressions affichée correspond à la réplique sélectionnée
Assistance à l’interaction 17
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Pratiques Collectives Distribuées
• Quatre modes d’interaction – Personne document: une personne
produit, supprime, modifie, annote, consulte ou traite un document;
– Personne personne: l’envoi de messages par E-mails, groupes de discussion, forums, chat…) pour demander, informer, commander, (“actes de langage”)
– Document personne: un document actif anticipe les besoins de l’usager (notification d’un événement, besoin d’information,…)
– Document document: un document actif produit, supprime, modifie, annote, consulte ou traite un autre document.
Bill Turner (AMI) - Financement UNESCONuméro Spécial « Journal of Computer Supported Cooperative Work » (été 2006)
Assistance à l’interaction 18
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Objets de socio-informatique• Objets produits lors d’un traitement automatique des données y compris linguistiques
• Destinés à augmenter la réflexivité de l’action collective et à faciliter les liens sociaux
• L’annotation de l’usage des objets informationnels est réalisée avec ANVIL
Les objets en contexte
Les classes d’objets
Les objets dans le temps
Les objets dans les textes