Upload
penelope-renaud
View
107
Download
0
Embed Size (px)
Citation preview
1 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Development of Multimodal User Interfaceby Interpretation and by Compiled
Components: a Comparative Analysis between InterpiXML and OpenInterface
Yann GoffetteHenri Louvigny
Université catholique de Louvain (UCL)Licence in Computer Science
2 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Plan
• Introduction– La multimodalité– Objectifs
• Présentation des outils– Quill– HandVu
• Présentation des plate-formes– InterpiXML– OpenInterface
• Intégration de la multimodalité à InterpiXML• Intégration de composants à OpenInterface• Intégration d’InterpiXML à OpenInterface• Tests & évaluation• Conclusions
3 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Introduction : la multimodalité
• La multimodalité : une interface multimodale permet à un utilisateur de communiquer avec la machine par le biais de plusieurs modalités d'interaction de manière
– simultanée– alternée– complementaire
• Le premier système multimodal:« Put that there » (Bolt,1979)
4 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Introduction : Objectifs
Intégration de deux modalités à deux plateformes :• Choix des modalités :
– Reconnaissance de dessin par stylet via tablette graphique– Reconnaissance de geste de la main via caméra
• Choix des plate-formes :– InterpiXML– OpenInterface
5 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Sélection des outils : Quill
• Toolkit pour la reconnaissance de geste dessinés avec un stylet• Algorithme de type Feature-based basé sur l'algorithme de
Rubine• Avantages
– Le développeur définit les gestes qu'il veut dessiner pour son application
– Feedback direct– Facilité d'intégration (.jar )– Apprentissage rapide du reconnaisseur
(feature-based)
• Désavantages – Gestes à un seul trait
6 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Sélection des outils : HandVu
• Toolkit pour la reconnaissance de geste par caméra• Avantages
– Detection– Tracking– Reconnaissance
• Désavantages– Faibles nombre de gestes reconnaissables (6)
7 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Sélection des plateformes : InterpiXML
• Choix du langage de spécification d’interface: UIML, UsiXML, XIML,…– Avantages : Disponibilité, Flexibilité, ...
• Implémentation d’un interpréteur Java de UsiXML V1.8.0– UsiXML vers Javax.swing– Multi-modal, multi-langues
8 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Sélection des plateformes : OpenInterface
• Plateforme dont l'objectif principal est de fournir une plateforme open source pour le développement rapide de systèmes multimodaux
• Principe général– Développement de composants
• Modalités d'interaction ou applications• CIDL associé
– Connections entre ces composants• Pipelines et PCDL• Pins (Sink and Sources)• Callback mechanism ( asynchronous messages)
9 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Intégration de la multimodalité à InterpiXML
• Architecture– Nouveau package– Event bus
• Avantage : – Souplesse des modalités
à l’utilisateur et au développeur
d’interface
• Inconvénient : – Manque de souplesse pour
l’ajout de modalité au système
10 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Intégration de la multimodalité à InterpiXML
• Résultat :– Ajout d’infos sur
la multimodalité– Problème du focus
11 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Intégration de composants à OpenInterface
• Intégration des reconnaisseurs de gestes
– Définition des CIDL associés
– Définition de l'application
– Définition du pipeline
– Fonctionnement
• Gestes à la tablette
• Gestes à la camera
12 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Démonstration
13 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Intégration d’InterpiXML à OpenInterface
• Pipe-line• Avantages:
–
14 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Tests & évaluation
15 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Tests & évaluation
16 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Tests & évaluation
• Buts de l'expérience– Évaluer l'utilisabilité des modalités– Évaluer les différences entre les 2 plate-formes
• Participants :– 15 personnes dont 1 pré-test.– 11 hommes, 3 femmes– Agés entre 19 et 37 avec une moyenne de 24,4– Se disent bon utilisateur de la souris mais pas des autres
périphériques
17 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Tests & évaluation
• Pas de différence notableentre les 2 plate-formes
• A: En général, je suis satisfait(e) de la facilité d'utilisation de ce système.
• B : Ce système est simple à utiliser.
• C : J'ai complété mon travail correctement en utilisant ce système.
• D : J'ai été en mesure de compléter rapidement ma tache avec ce système.
• E : J'ai complété mon travail éfficacement en utilisant ce système.
• F : Je me sens à l'aise avec ce système.
• G : J'ai eu de la facilité à apprendre comment utiliser ce système.
• H : Je crois être devenu(e) rapidement efficace en utilisant ce système.
• I : Ce système possède toutes les fonctions et le potentiel correspondant à mes attentes.
• J : En général, je suis satisfait(e) de ce système.
18 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Tests & évaluation
• Pas de différence notableentre les 2 plate-formes
• La tablette joue un effetmodérateur. La multimodalitéajoute de la robustesse au système.
• 3 questions : - satisfaction générale- facilité de déplacement- facilité de selection
Webcam
Tablette Les 2 ensemble
19 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Tests & évaluation
• Effet d'apprentissage important– Pour le temps d'accomplissement– Pour le degré d'accomplissement
Ligne 350
20
40
60
80
100
120
140
160
180
200
InterpiXML Camera
OpenInterface Camera
InterpiXML tablette
OpenInterface tablette
InterpiXML Camera et Tablette
OpenInterface Camera et tablette
modality
seco
nd
s
20 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Tests & évaluation
• Les utilisateurs experts ne sont pas avantagés par leur expérience préalable d’un dispositif d’interaction
• Les modalités ne peuvent être facilement utilisées en même temps
Exception: les utilisateurs gauchers
21 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Conclusion
• La multimodalité fournit des systèmes plus robustes– Les utilisateurs changent de modalité lorsqu’une des modalités ne
fonctionne pas bien– Les utilisateurs utilisent les modalités qu’ils maitrisent le mieux
• L’intégration de nouvelles modalités sur InterpiXML est rendue facile par :– Le bus d’événement– Peu de modifications dans le code de l’application d’interpiXML– Transparence : le développeur d’interface ne doit pas se soucier des
modalités d’interaction disponibles– Les modalités peuvent être stoppées et redemarrées à tout instants
• OpenInterface est un outil puissant pour la multimodalité :– Seul le composant et son CIDL associé doivent être écrits => pas de
modification de la plate-forme (à nouveau transparence)– Possibilité de connecter n’importe quel composant de reconnaissance à
n’importe quelle application. Il faut toutefois décrire dans un pipeline les connections
– OpenInterface supporte la Complémentarité des propriétés CARE
22 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Conclusion
• Intégration d’interpiXML comme composant d’OpenInterface● Cette intégration combine les 2 avantages des 2 plate-formes
● Indépendance des applications au dessus d'OpenInterface ou d'interpiXML
● Le développement de l'application est indépendante des modalités● Le développement des modalités est indépendant de l'application finale
23 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007
Thank you very much for your attention
BCHI Labhttp://www.isys.ucl.ac.be/bchi
European network on Multimodal UIshttp://www.similar.cc
User Interface eXtensible Markup Languagehttp://www.usixml.org