Mejora de la interfaz vocal de Mejora de la interfaz vocal de control de un robot autónomo control de un robot autónomo móvil. Adaptación acústica y móvil. Adaptación acústica y

generación supervisada de mapasgeneración supervisada de mapas

Autor: Nuria Pérez MagariñosAutor: Nuria Pérez Magariños

Tutor: Juan Manuel Montero MartínezTutor: Juan Manuel Montero Martínez

ÍndiceÍndice

ObjetivosObjetivos Proyecto ROBINTProyecto ROBINT Técnicas empleadasTécnicas empleadas Configuración del sistemaConfiguración del sistema AdaptaciónAdaptación Evaluación y pruebasEvaluación y pruebas Conclusiones y líneas futurasConclusiones y líneas futuras

ObjetivosObjetivos

Adaptación de los modelos acústicosAdaptación de los modelos acústicos Guiado del robotGuiado del robot Aprendizaje automáticoAprendizaje automático

Proyecto ROBINTProyecto ROBINT

Robots guíaRobots guía Interacción hombre-robotInteracción hombre-robot Generación de mapasGeneración de mapas

Guiado del robotGuiado del robot

Fase de aprendizajeFase de aprendizaje Fase de verificaciónFase de verificación Propuesta inicial de frasesPropuesta inicial de frases

Relación con el guíaRelación con el guía MovimientoMovimiento GrafoGrafo ConfirmaciónConfirmación VisitaVisita

Técnicas empleadasTécnicas empleadas

Adaptación a tarea o a locutorAdaptación a tarea o a locutor Máximo a posteriori (MAP)Máximo a posteriori (MAP)

HTKHTK

Configuración del sistemaConfiguración del sistema

Configuración del sistemaConfiguración del sistema

Ficheros de configuraciónFicheros de configuración Detector.iniDetector.ini Entorno.iniEntorno.ini Tade.iniTade.ini Voz.iniVoz.ini Reco_cfg_generico.iniReco_cfg_generico.ini Prb_htk_generico_Speechdat.iniPrb_htk_generico_Speechdat.ini

Configuración del sistemaConfiguración del sistema

Ficheros de configuraciónFicheros de configuración Urbano.iniUrbano.ini

Configuración del sistemaConfiguración del sistema

Configuración del sistemaConfiguración del sistema

AdaptaciónAdaptación

Interfaz GráficaInterfaz Gráfica CRobintDialogCRobintDialog Caracteristicas_modeloCaracteristicas_modelo AdaptacionAdaptacion

Thread principalThread principal Threads_ROBINTThreads_ROBINT

AdaptaciónAdaptación

AdaptaciónAdaptación

AdaptaciónAdaptación

AdaptaciónAdaptación

AdaptaciónAdaptación

Directorio de grabación o modelos

Usuario

Tipo de micrófono

Tipo de entorno

Tipo de adaptación

AdaptaciónAdaptaciónGrabaciones

Usuario nº 1 Usuario nº 2 Usuario nº 3

MSC MCC

noRuido

ruido

Genérica

Tarea 1

Tarea 2

MCC =Micrófono con cable

MSC = Micrófono sin cable

Ruido = Entorno ruidoso

noRuido = Entorno no ruidoso

Adaptacióndiccionarios

Generación de ficheros de etiquetas

Parametrizaciónficherosde audio

Normalización

AdaptaciónMAP

AdaptaciónMLLR

.dic

.data

AdaptaciónAdaptación

Formateopara HTK

Modelosadaptados

Modelosadaptados

Evaluación y pruebasEvaluación y pruebas

Evaluación de los modelos genéricosEvaluación de los modelos genéricos

Locutor Media Varianza

Mujer 54,2 29,0

Hombre 24,0 9,0

Evaluación y pruebasEvaluación y pruebas

Evaluación de los modelos genéricosEvaluación de los modelos genéricos Experimentos de adaptaciónExperimentos de adaptación

Experimento 1Experimento 1: Emplear para cada : Emplear para cada emoción las mismas 90 frases de emoción las mismas 90 frases de entrenamiento y 10 frases de test siempre.entrenamiento y 10 frases de test siempre.

Experimento 2Experimento 2: Dividir las frases en 10 : Dividir las frases en 10 grupos de manera que se prueben todas grupos de manera que se prueben todas las frases, haciendo un promedio de los las frases, haciendo un promedio de los resultados.resultados.

Evaluación y pruebasEvaluación y pruebas

Determinación de laDeterminación de la ττ óptimaóptima

emocioni

igenerico errorerrorMejora

1 2 3 4 5 6 7

Hombre Experimento 1 98,0 98,0 92,1 86,9 83,7 83,0 82,3

Hombre Experimento 2 59,1 60,1 60,1 58,8 - 57 -

Mujer Experimento 1 161,4 160,8 164,1 158,8 151,7 134,0 135,3

Mujer Experimento 2 129,7 132,7 133,9 134,7 - 134,7 -

Evaluación y pruebasEvaluación y pruebas

Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y testProporción entre entrenamiento y test

Evaluación y pruebasEvaluación y pruebas

Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y testProporción entre entrenamiento y test Reconocimiento cruzado Reconocimiento cruzado

Promedio (%)

Total 16,1

Sorpresa-Miedo 12,7

Alegría-Asco-Enfado-Tristeza-Neutra 13,2

Reconocimiento cruzado en el

hombre

Evaluación y pruebasEvaluación y pruebas

Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y testProporción entre entrenamiento y test Reconocimiento cruzadoReconocimiento cruzado

Promedio (%)

Total 44,1

Enfado-Neutra 11,8

Enfado-Neutra-Tristeza 23,4

Enfado-Neutra-Sorpresa 18,8

Enfado-Neutra-Tristeza-Sorpresa 26,9

Reconocimiento cruzado en la mujer

Evaluación y pruebasEvaluación y pruebas

Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y testProporción entre entrenamiento y test Reconocimiento cruzado Reconocimiento cruzado

Evaluación y pruebasEvaluación y pruebas

Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y Proporción entre entrenamiento y

testtest Reconocimiento cruzadoReconocimiento cruzado Entrenamiento con varias emocionesEntrenamiento con varias emociones

Evaluación y pruebasEvaluación y pruebas

ConclusionesConclusiones

Se han mejorado y simplificado la portabilidad y configuración Se han mejorado y simplificado la portabilidad y configuración del sistemadel sistema

Se ha añadido la posibilidad de que el locutor realice una Se ha añadido la posibilidad de que el locutor realice una adaptación de los modelos al sistemaadaptación de los modelos al sistema Interfaz gráficaInterfaz gráfica ScriptScript de Windows de Windows

Primera aproximación al guiado del robotPrimera aproximación al guiado del robot En la adaptación de habla emocionada son mucho más En la adaptación de habla emocionada son mucho más

efectivos los valores bajos de efectivos los valores bajos de ττ para dar más peso a los datos para dar más peso a los datos de adaptaciónde adaptación

El habla neutra no es la que mejor reconoce a las demás El habla neutra no es la que mejor reconoce a las demás emocionesemociones

Entrenar con más emociones no significa reconocer mejorEntrenar con más emociones no significa reconocer mejor

Líneas futuras de Líneas futuras de investigacióninvestigación

Llevar a cabo la implementación del Llevar a cabo la implementación del prototipo para el sistema de guiado prototipo para el sistema de guiado del robotdel robot

Estudiar la mejora en el Estudiar la mejora en el reconocimiento con emociones reconocimiento con emociones empleando la técnica MLLRempleando la técnica MLLR

¿PREGUNTAS?