View
109
Download
2
Category
Preview:
Citation preview
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Le projet Labiao,Le projet Labiao,perspectives pour la perspectives pour la
scolarisation des élèves scolarisation des élèves et des étudiants sourdset des étudiants sourds
Hélène TerratHélène Terrat
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Le contexte scientifiqueLe contexte scientifique
C’est une recherche avec C’est une recherche avec - - des laboratoiresdes laboratoires (LORIA, EDF R&D, INT, (LORIA, EDF R&D, INT,
LINC), LINC), - - une associationune association de parents d’enfants de parents d’enfants
sourds (DATHA), sourds (DATHA), - - une entrepriseune entreprise (AUDIVIMEDIA) (AUDIVIMEDIA)- et - et le Ministère de l’Education nationalele Ministère de l’Education nationale
(INSHEA).(INSHEA).Elle porte Elle porte - sur la reconnaissance et la labialisation - sur la reconnaissance et la labialisation des phonèmesdes phonèmes- et la conversion des phonèmes en - et la conversion des phonèmes en visèmes labiaux et en code LPCvisèmes labiaux et en code LPCen vue d’aider l’intégration scolaire, sociale et en vue d’aider l’intégration scolaire, sociale et professionnelle des personnes sourdes.professionnelle des personnes sourdes.
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Une remarque :Une remarque :
En France, il existe environ 500 000 sourds En France, il existe environ 500 000 sourds sévères et profonds sévères et profonds Seules 100 000 personnes sourdes et non-Seules 100 000 personnes sourdes et non-sourdes pratiquent la LSF. sourdes pratiquent la LSF. Seuls 2% des sourds connaissent et Seuls 2% des sourds connaissent et communiquent avec la LSF.communiquent avec la LSF.
Tous les sourds pratiquent la lecture labiale Tous les sourds pratiquent la lecture labiale avec les entendants.avec les entendants.
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Le contexte scientifique internationalLe contexte scientifique international
- RNRT ARTUS, BALDI : tête parlante à - RNRT ARTUS, BALDI : tête parlante à partir de sous-titres pour la TV, à partir de partir de sous-titres pour la TV, à partir de texte pour enseigner le LPC (origine USA)texte pour enseigner le LPC (origine USA)
- SYNFACE : application « réalité virtuelle » - SYNFACE : application « réalité virtuelle » dans le domaine audio-visuel et téléphone dans le domaine audio-visuel et téléphone (origine UE)(origine UE)
- SPEECHVIEW : colorer des parties du - SPEECHVIEW : colorer des parties du visage d’un avatar pour désambiguïser les visage d’un avatar pour désambiguïser les phonèmes au téléphone (origine Israël)phonèmes au téléphone (origine Israël)
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
L’étude LABIAOL’étude LABIAO
(lecture Labiale Assistée par Ordinateur)(lecture Labiale Assistée par Ordinateur) propose propose
- de développer plusieurs logiciels pour - de développer plusieurs logiciels pour aider les sourdsaider les sourds
- de mettre au point un outil concernant la - de mettre au point un outil concernant la scolarité, la vie sociale et professionnelle scolarité, la vie sociale et professionnelle
C’est la seule équipe à avoir C’est la seule équipe à avoir
- un si haut niveau d’ambition scientifique- un si haut niveau d’ambition scientifique
- et un caractère applicatif marqué.- et un caractère applicatif marqué.
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Les produits LABIAOLes produits LABIAO
Logiciel « pour apprendre la lecture Logiciel « pour apprendre la lecture labiale et le LPC »labiale et le LPC »
Logiciel « salle de classe »Logiciel « salle de classe »
Logiciel « au téléphone »Logiciel « au téléphone »
Logiciel « en réunion »Logiciel « en réunion »
+ quelques contenus audiovisuels + quelques contenus audiovisuels labialiséslabialisés
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
La rechercheLa recherche
Chaque logiciel a recours à des technologies issues Chaque logiciel a recours à des technologies issues de travaux scientifiques de plusieurs laboratoires :de travaux scientifiques de plusieurs laboratoires :
– La reconnaissance des phonèmes en temps réel La reconnaissance des phonèmes en temps réel à partir du signal sonoreà partir du signal sonore (LORIA / INRIA-DATHA)(LORIA / INRIA-DATHA)
– Le calcul de la position des lèvres et des mains à Le calcul de la position des lèvres et des mains à partir des phonèmespartir des phonèmes (LORIA / INRIA-DATHA)(LORIA / INRIA-DATHA)
– La coarticulation des lèvresLa coarticulation des lèvres (LORIA / INRIA-DATHA / LINC)(LORIA / INRIA-DATHA / LINC)
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
- - La modélisation en 3 dimensions d’une La modélisation en 3 dimensions d’une tête parlantetête parlante (EDF / INT /LORIA/ INRIA-DATHA)(EDF / INT /LORIA/ INRIA-DATHA)
- - La détection de l’émotion du locuteur, La détection de l’émotion du locuteur, traduite par la voix et reproduite par traduite par la voix et reproduite par l’animation du visagel’animation du visage (LORIA / LINC)(LORIA / LINC)
- - L’encodage et le décodage MPEG4L’encodage et le décodage MPEG4 (INT / (INT / LINC)LINC)
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Les grandes étapes permettant de passer du Les grandes étapes permettant de passer du signal sonore du locuteur à la tête parlantesignal sonore du locuteur à la tête parlante
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Le LPC en familleLe LPC en famille
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Représentation de la lecture labiale Représentation de la lecture labiale associée ou non à des compléments associée ou non à des compléments
gestuelsgestuels
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Les difficultés technologiquesLes difficultés technologiques
La mise en œuvre simultanée de La mise en œuvre simultanée de l’ensemble des technologies utiliséesl’ensemble des technologies utilisées
L’optimisation du nombre de L’optimisation du nombre de phonèmes reconnusphonèmes reconnus
La prise en compte de la coarticulation et La prise en compte de la coarticulation et de l’expressivité de la voixde l’expressivité de la voix
La conception d’un système permettant la La conception d’un système permettant la fluidité et le réalisme des mouvementsfluidité et le réalisme des mouvements
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Logiciel « salle de classe »Logiciel « salle de classe »
Une gestion de l’attente des famillesUne gestion de l’attente des familles
Une étroite collaboration avec des codeursUne étroite collaboration avec des codeurs
La définition d’un cahier des chargesLa définition d’un cahier des charges
Une expérimentation Une expérimentation
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Les objectifs de l’expérimentationLes objectifs de l’expérimentation
Tester les différentes propositions de la Tester les différentes propositions de la tête codeusetête codeuse
Entraîner progressivement des élèves de Entraîner progressivement des élèves de notre échantillon à la pratique de cet outilnotre échantillon à la pratique de cet outil
Définir un profil type d’élèves pouvant Définir un profil type d’élèves pouvant bénéficier de façon optimale de cet outilbénéficier de façon optimale de cet outil
Analyser et critiquer la 1Analyser et critiquer la 1èreère version du version du logiciellogiciel
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Choix et suivi d’un groupe d’élèves Choix et suivi d’un groupe d’élèves sourdssourds
Contacts avec plusieurs académies en France Contacts avec plusieurs académies en France (Versailles, Créteil, Lyon, Grenoble, Orléans-(Versailles, Créteil, Lyon, Grenoble, Orléans-Tours, Rennes, Aix-Marseille, Poitiers, )Tours, Rennes, Aix-Marseille, Poitiers, )
Choix d’étudiants, de lycéens, de collégiens, Choix d’étudiants, de lycéens, de collégiens, et quelques élèves de l’école élémentaire et quelques élèves de l’école élémentaire (5/35)(5/35)
Contacts avec l’AGEFIPHContacts avec l’AGEFIPH
Dotations en équipements informatiquesDotations en équipements informatiques
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Matériaux de familiarisation à la tête Matériaux de familiarisation à la tête codeusecodeuse
une série de 7 DVDune série de 7 DVD– Avec une codeuse filméeAvec une codeuse filmée– Avec la tête codeuse et la voix optimisée Avec la tête codeuse et la voix optimisée
(100% de phonèmes reconnus)(100% de phonèmes reconnus)– Avec la tête codeuse et une Avec la tête codeuse et une
reconnaissance vocale (85% de phonèmes reconnaissance vocale (85% de phonèmes reconnus)reconnus)
Une série de 7 questionnaires associés aux Une série de 7 questionnaires associés aux DVD pour tester la compréhensionDVD pour tester la compréhension
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Trois exemples de DVDTrois exemples de DVD1- Vidéo d’une codeuse1- Vidéo d’une codeuse
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Trois exemples de DVDTrois exemples de DVD2 - Vidéo reconnaissance vocale lente.2 - Vidéo reconnaissance vocale lente.
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Trois exemples de DVDTrois exemples de DVD3- Vidéo optimisée rapide3- Vidéo optimisée rapide
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Les résultats des tests de familiarisationLes résultats des tests de familiarisation
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Les résultats des testsLes résultats des tests
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Résultats de la phase de Résultats de la phase de familiarisationfamiliarisation
Les résultats sont soit bons, soit mauvais, peu Les résultats sont soit bons, soit mauvais, peu d’intermédiaired’intermédiaire. La compréhension est meilleure . La compréhension est meilleure chez les élèves les plus âgés (étudiants).chez les élèves les plus âgés (étudiants).
La compréhension reste bonne même en cas de La compréhension reste bonne même en cas de rapidité de la tête et/ou avec la reconnaissance rapidité de la tête et/ou avec la reconnaissance vocale sans le son, mais avec vocale sans le son, mais avec une attention et une attention et une suppléance mentale importanteune suppléance mentale importante..
L’entraînement améliore les performancesL’entraînement améliore les performances
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Des modifications au niveau de l’outilDes modifications au niveau de l’outil
La tête doit être présentée de faceLa tête doit être présentée de face
Travail sur la fluidité des mouvements Travail sur la fluidité des mouvements (avec la prise en compte des « blancs »)(avec la prise en compte des « blancs »)
Il faut améliorer la visibilité des lèvres et Il faut améliorer la visibilité des lèvres et l’articulation (travaux sur la coarticulation)l’articulation (travaux sur la coarticulation)
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
La 1La 1èreère version du logiciel version du logiciel
Choix de la source sonore
Enregistrement
Délai
Départ / Pause
Calibrage de l’environnement
Affichage des phonèmes
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Les problèmes actuelsLes problèmes actuels
Un délai trop long entre le début du son et Un délai trop long entre le début du son et celui de l’animation (4 secondes)celui de l’animation (4 secondes)
Un taux de reconnaissance encore trop Un taux de reconnaissance encore trop médiocre dans des conditions normales médiocre dans des conditions normales d’utilisationd’utilisation
Démonstration Démonstration ..\..\..\All ..\..\..\All UsersUsers\Bureau\LABIAO Classe.lnk\Bureau\LABIAO Classe.lnk
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
Des questionsDes questions
Un échantillon trop hétérogène (âge, Un échantillon trop hétérogène (âge, maîtrise du LPC), d’où difficultés à maîtrise du LPC), d’où difficultés à globaliser les résultatsglobaliser les résultats
La suppléance mentale modifie la La suppléance mentale modifie la perception des performances réelles de perception des performances réelles de l’outil (ce qui gêne dans le pointage des l’outil (ce qui gêne dans le pointage des erreurs techniques propres à l’outil)erreurs techniques propres à l’outil)
Faut-il faire d’autres types de tests (DVD8) Faut-il faire d’autres types de tests (DVD8) ??
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
L’avenirL’avenir
La prise en compte de l’expressivité de la voix La prise en compte de l’expressivité de la voix permettra certainement une meilleure permettra certainement une meilleure compréhensioncompréhension
Les jeunes enfants apprennent mieux et plus Les jeunes enfants apprennent mieux et plus tôt le LPC, ils seront performants plus tôttôt le LPC, ils seront performants plus tôt
Il faudra mieux appréhender la Il faudra mieux appréhender la complémentarité du rôle des codeurs complémentarité du rôle des codeurs professionnels et de la tête codeuse, professionnels et de la tête codeuse,
indications d’utilisationindications d’utilisation
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
ConclusionConclusion
L’objectif de l’expérimentation en classe L’objectif de l’expérimentation en classe n’est pas atteint à cause du retard des n’est pas atteint à cause du retard des recherchesrecherches
Mais … la phase de préparation à la Mais … la phase de préparation à la familiarisation a été fortement développée familiarisation a été fortement développée et s’est révélée plus riche que prévueet s’est révélée plus riche que prévue
Les résultats obtenus confirment notre Les résultats obtenus confirment notre hypothèse : la cible principale est l’étudiant hypothèse : la cible principale est l’étudiant ou le grand élève sourdou le grand élève sourd
Hélène Terrat, Master Handi 2006Hélène Terrat, Master Handi 2006
ConclusionConclusion
Notre stage a contribué au respect des Notre stage a contribué au respect des engagements de l’INSHEA :engagements de l’INSHEA :
- Sélection d’un groupe d’élèves sourds et - Sélection d’un groupe d’élèves sourds et mobilisation des lieux d’enseignementmobilisation des lieux d’enseignement
- et analyse des besoins afin de définir le - et analyse des besoins afin de définir le cahier des charges de l’outil et cahier des charges de l’outil et l’enrichissement technique.l’enrichissement technique.
- familiarisation des utilisateurs avec le futur - familiarisation des utilisateurs avec le futur outil outil
Recommended