MAXINE:MAXINE:Motor de Motor de representaciónrepresentación y y gestióngestión

dede entornosentornos virtualesvirtualesde de entornosentornos virtualesvirtuales

Sandra Sandra BaldassarriBaldassarri

GrupoGrupo de de InformáticaInformática GráficaGráfica AvanzadaAvanzada (GIGA)(GIGA)DepartamentoDepartamento de de InformáticaInformática e e IngenieríaIngeniería de de SistemasSistemasInstitutoInstituto dede InvestigaciónInvestigación enen IngenieríaIngeniería de Aragón (I3A)de Aragón (I3A)InstitutoInstituto de de InvestigaciónInvestigación en en IngenieríaIngeniería de Aragón (I3A)de Aragón (I3A)

Universidad de Zaragoza (Universidad de Zaragoza (EspañaEspaña))

Estructura de la presentaciónEstructura de la presentaciónpp

IntroducciónIntroducción IntroducciónIntroducción ArquitecturaArquitectura FuncionamientoFuncionamiento Personajes interactivosPersonajes interactivos Interacción multimodal y emocionalInteracción multimodal y emocional AplicacionesAplicaciones AplicacionesAplicaciones FuturoFuturo

IntroducciónIntroducción

MAXINE es una aplicaciónMAXINE es una aplicaciónMAXINE es una aplicación …MAXINE es una aplicación … para la creación y gestión de entornos virtuales para la creación y gestión de entornos virtuales

en tiempo realen tiempo realen tiempo realen tiempo real que incluyen avatares o que incluyen avatares o actores virtualesactores virtuales que los actores pueden expresar que los actores pueden expresar emocionesemociones y permite lay permite la interacción multimodalinteracción multimodal con loscon losy permite la y permite la interacción multimodal interacción multimodal con los con los

mismosmismos

Presentación MAXINEPresentación MAXINE

IntroducciónIntroducción

RepresentaciónRepresentación Representación Representación de entornos de entornos virtualesvirtualesvirtualesvirtuales

IntroducciónIntroducción

Maxine permite la creación organización y animación deMaxine permite la creación organización y animación de Maxine permite la creación, organización y animación de Maxine permite la creación, organización y animación de diferentes elementos a través de un grafo de escena. diferentes elementos a través de un grafo de escena. Modelos geométricos simples y complejos Modelos geométricos simples y complejos Texto, imágenes, vídeoTexto, imágenes, vídeo Sonido 3D y ambienteSonido 3D y ambiente

LL LucesLuces AnimaciónAnimación Gestión de actoresGestión de actores Gestión de actores Gestión de actores

Síntesis de vozSíntesis de voz Animación facialAnimación facial

óó Sincronización labialSincronización labial Expresión de emociones, … Expresión de emociones, …

ArquitecturaArquitecturaqq

Diversas librerías recogidas bajo un mismo proyecto + Diversas librerías recogidas bajo un mismo proyecto + g j p yg j p ysoftware propiosoftware propio Mayor parte de librerías de código abierto o de libre distribuciónMayor parte de librerías de código abierto o de libre distribución

Bloques principalesBloques principales Motor 3DMotor 3D

ó óó ó Gestión y Representación 3DGestión y Representación 3D ActoresActores Animación GeneralAnimación General

A di Sí t i d VA di Sí t i d V Audio y Síntesis de VozAudio y Síntesis de Voz Control e Interacción con el usuarioControl e Interacción con el usuario

Motor de Motor de scriptingscriptingM i d l ió d l tM i d l ió d l t Mecanismos de evolución del entornoMecanismos de evolución del entorno

Gestión de entradasGestión de entradas

ArquitecturaArquitecturaqq

Desarrollado en C++ utilizando librerías deDesarrollado en C++ utilizando librerías de Desarrollado en C++ utilizando librerías de Desarrollado en C++ utilizando librerías de código abierto o libre distribucióncódigo abierto o libre distribución

ArquitecturaArquitecturaqq

ArquitecturaArquitecturaqq

Código abierto (licencias compatibles GPL)Código abierto (licencias compatibles GPL) Código abierto (licencias compatibles GPL)Código abierto (licencias compatibles GPL) OpenSceneGraphOpenSceneGraph: Gestión de grafos de escena: Gestión de grafos de escena Cal3D: Gestión y animación de actoresCal3D: Gestión y animación de actoresCal3D: Gestión y animación de actoresCal3D: Gestión y animación de actores OpenSteerOpenSteer: Animación por : Animación por steeringsteering OpenALOpenAL++: Sonido 3D++: Sonido 3Dpp LuaLua//LuaBindLuaBind: : ScriptingScripting

Software libreSoftware libre SAPI: Síntesis de vozSAPI: Síntesis de voz

Producto comercialProducto comercial LoquendoLoquendo: Paquete de voces en castellano: Paquete de voces en castellano

FuncionamientoFuncionamiento

Grafo de escenaGrafo de escena Grafo de escenaGrafo de escena Estructura jerárquica de tipo arborescente para la Estructura jerárquica de tipo arborescente para la

organización de los elementos de la escenaorganización de los elementos de la escenaorganización de los elementos de la escenaorganización de los elementos de la escena Ventajas:Ventajas:

Facilita la gestión del entorno virtualFacilita la gestión del entorno virtual Facilita la gestión del entorno virtualFacilita la gestión del entorno virtual Mejora la eficiencia (Mejora la eficiencia (cullingculling))

Utilizar Maxine es Utilizar Maxine es construir construir y y organizarorganizar un un grafo de escena ygrafo de escena y manipularmanipular sus elementossus elementosgrafo de escena y grafo de escena y manipularmanipular sus elementossus elementos

FuncionamientoFuncionamiento Componentes de Componentes de MaxineMaxinepp

EscenaEscena: Gestiona el árbol de escena y controla: Gestiona el árbol de escena y controla EscenaEscena: Gestiona el árbol de escena y controla : Gestiona el árbol de escena y controla aspectos generales de la aplicaciónaspectos generales de la aplicación

ElementosElementos: Añadidos automáticamente a la : Añadidos automáticamente a la escenaescena Básicos: Mallas, imágenes, textos, actores, sonidos, Básicos: Mallas, imágenes, textos, actores, sonidos,

l ál áluces, cámaras, …luces, cámaras, … Especiales: Grupos, animadores. Modifican el Especiales: Grupos, animadores. Modifican el

comportamiento de los elementos básicoscomportamiento de los elementos básicoscomportamiento de los elementos básicoscomportamiento de los elementos básicos

FuncionamientoFuncionamiento Grafo de escenaGrafo de escena

Escena

Luz Cámara GrupoLuz Cámara Grupo

Esfera Sonido

Ejemplo de grafo de escena sencilloEjemplo de grafo de escena sencillo

FuncionamientoFuncionamiento Elementos del grafoElementos del grafogg

Propiedades de losPropiedades de los elementoselementos Propiedades de los Propiedades de los elementoselementos

GeneralesGenerales: Comunes todos los elementos : Comunes todos los elementos (( i i f t )i i f t )((en ocasiones sin efecto)en ocasiones sin efecto)

Nombre y tipoNombre y tipo Posición, orientación y escalaPosición, orientación y escala Posición, orientación y escalaPosición, orientación y escala Estado de activación y Estado de activación y gizmosgizmos Asociación a una Asociación a una FSMFSM

EspecíficasEspecíficas: Dependen del tipo de elemento: Dependen del tipo de elementoColor fuente estado de reproducción dimensiones etcColor fuente estado de reproducción dimensiones etc Color, fuente, estado de reproducción, dimensiones, etc.Color, fuente, estado de reproducción, dimensiones, etc.

FuncionamientoFuncionamiento Componentes deComponentes de MaxineMaxineFuncionamientoFuncionamiento Componentes de Componentes de MaxineMaxine

ConsolaConsola: Permite introducir comandos en: Permite introducir comandos en ConsolaConsola: Permite introducir comandos en : Permite introducir comandos en tiempo de ejecucióntiempo de ejecución Crear elementos nuevosCrear elementos nuevos Crear elementos nuevosCrear elementos nuevos Organizar elementos en el árbolOrganizar elementos en el árbol

Modificación de sus propiedadesModificación de sus propiedades Modificación de sus propiedadesModificación de sus propiedades Ejecutar métodos propiosEjecutar métodos propios

FuncionamientoFuncionamiento Comandos y scriptsComandos y scriptsFuncionamientoFuncionamiento Comandos y scriptsComandos y scripts

act = actor();

/ / /

Creación del objeto de tipo actor

DIR = "./data/maxine/";

act:loadSkeleton(DIR.."woman.csf");act:loadMesh(DIR.."woman_body.CMF");act:loadMesh(DIR.."woman leye.CMF"); Carga de ficheros de

Directorio de ubicación de ficheros

_ yact:loadMesh(DIR.."woman_reye.CMF");act:loadMaterial(DIR.."woman_suit.xrf");act:loadMaterial(DIR.."woman_eyes.xrf");

act:loadAnimation("blink" DIR "blink CAF");

esqueleto, mallas, materiales

Carga de ficheros deact:loadAnimation( blink , DIR.. blink.CAF );act:loadAnimation("stand", DIR.."stand.CAF");

act:loadVisemeAnim("vis_silence", DIR.."default.CAF");act:setVisemeAnim ("vis_ae", "vis_silence");

Carga de ficheros de animaciones

Carga de animaciones para los visemas... ... ... ... ... ... ...

act:loadVisemeAnim("vis_p", DIR.."bmpv.CAF");

act:create();

para los visemas

Creación del actor a partir de los ficheros cargados

act:startPose("stand", 0.5, 0.5, 1.0);

act:startPeriodic("blink", 0.05, 0.05, 1.0, 3.0);act:setPeriodicVar("blink", 2.0);

Postura inicial del personaje

Animación periódica (parpadeo)

FuncionamientoFuncionamiento Componentes de Componentes de MaxineMaxinepp

Objetos externos al grafo de escenaObjetos externos al grafo de escena Objetos externos al grafo de escenaObjetos externos al grafo de escena Secuencias de comandos condicionadasSecuencias de comandos condicionadas

Pares condiciónPares condición--acción ejecutados de forma secuencialacción ejecutados de forma secuencialjj Ejecución periódica de comandosEjecución periódica de comandos

Periodicidad estricta o variablePeriodicidad estricta o variabled bú d dd bú d d Motores de búsqueda de respuestasMotores de búsqueda de respuestas

Basados en gramáticasBasados en gramáticas Máquinas de Estados Finitos (Máquinas de Estados Finitos (FSMsFSMs)) Máquinas de Estados Finitos (Máquinas de Estados Finitos (FSMsFSMs))

Guiadas por eventosGuiadas por eventos Sistemas de entradaSistemas de entrada FSMsFSMs Explícitamente mediante un comandoExplícitamente mediante un comando

FuncionamientoFuncionamiento Comunicación redComunicación redFuncionamientoFuncionamiento Comunicación redComunicación red

ComunicaciónComunicación redred Comunicación Comunicación redred

Basado en la filosofía Basado en la filosofía clientecliente--servidorservidor

Escenarios de comunicación:Escenarios de comunicación: Interacción de varios usuarios con una misma escena [UIB]Interacción de varios usuarios con una misma escena [UIB] Gestión remota de una única escena [UAM]Gestión remota de una única escena [UAM] Generación de diferentes vistas de una misma escena paraGeneración de diferentes vistas de una misma escena para Generación de diferentes vistas de una misma escena para Generación de diferentes vistas de una misma escena para

su representación en entornos su representación en entornos inmersivosinmersivos y/o estereográficos y/o estereográficos [CAVE][CAVE]

FuncionamientoFuncionamiento Comunicación redComunicación redFuncionamientoFuncionamiento Comunicación redComunicación red

Interacción de varios usuarios con unausuarios con una misma escena

Gestión remota de una única escenauna única escena

Generación de diferentes vistas de una misma escena

Funcionamiento Funcionamiento Entorno inmersivo CAVEEntorno inmersivo CAVE

Funcionamiento Funcionamiento Entorno inmersivo CAVEEntorno inmersivo CAVE

Funcionamiento Funcionamiento Entorno inmersivo CAVEEntorno inmersivo CAVE

Vídeo CAVEVídeo CAVE

Personajes interactivosPersonajes interactivos Técnicas de animaciónTécnicas de animaciónPersonajes interactivos Personajes interactivos Técnicas de animaciónTécnicas de animación

Técnicas de animaciónTécnicas de animación Técnicas de animaciónTécnicas de animación Animación esqueletalAnimación esqueletal Interpolación de mallas (Interpolación de mallas (morphingmorphing)) Interpolación de mallas (Interpolación de mallas (morphingmorphing)) Simulación de músculosSimulación de músculos

Técnicas de deformación local de mallas medianteTécnicas de deformación local de mallas mediante Técnicas de deformación local de mallas mediante Técnicas de deformación local de mallas mediante actuadoresactuadores

Personajes interactivosPersonajes interactivos AnimaciónAnimación esqueletalesqueletalPersonajes interactivos Personajes interactivos Animación Animación esqueletalesqueletal

Animación basada en un esqueletoAnimación basada en un esqueleto Animación basada en un esqueletoAnimación basada en un esqueleto Estructura jerárquica arborescente formada por Estructura jerárquica arborescente formada por

segmentos unidos (huesos)segmentos unidos (huesos)segmentos unidos (huesos)segmentos unidos (huesos) Similitud conceptual y funcional con los animales Similitud conceptual y funcional con los animales

vertebradosvertebradosvertebradosvertebrados

Personajes interactivosPersonajes interactivos AnimaciónAnimación esqueletalesqueletalPersonajes interactivos Personajes interactivos Animación Animación esqueletalesqueletal

Esqueleto Esqueleto Deformación de la geometríaDeformación de la geometría

Animación mediante cuadros clave (Animación mediante cuadros clave (keyframeskeyframes)) Animación mediante cuadros clave (Animación mediante cuadros clave (keyframeskeyframes)) Secuencia de posturasSecuencia de posturas Posición y rotación de los segmentos para cada posturaPosición y rotación de los segmentos para cada postura

Personajes interactivos Personajes interactivos Generación de actoresGeneración de actoresjj

Uso aplicaciones de modelado y de modelado y animación 3D

convencionales Character Studio

3D Studio MaxTexturas

Exportación a formato utilizado

3D Studio Max

Cal3D Plugin

Mallas Materiales AnimacionesEsqueleto

Formato utilizado por los actoresMotor

Actor

por los actores

Maxine

Motor animación

Personajes interactivosPersonajes interactivosjj

Diseño con herramientas comercialesDiseño con herramientas comerciales Diseño con herramientas comercialesDiseño con herramientas comerciales

1. Modelado geométrico 3. Definición del esqueleto 5. Animación

2. Aplicación de materiales 4. Asociación malla-esqueleto 6. Exportación y uso

Personajes interactivosPersonajes interactivosjj

Animación corporalAnimación corporal Animación corporalAnimación corporal AccionesAcciones CiclosCiclos CiclosCiclos PosesPoses

Mezcla automáticaMezcla automática Mezcla automáticaMezcla automática Animaciones secundariasAnimaciones secundarias

(basadas en ruido de Perlin(basadas en ruido de Perlin(basadas en ruido de Perlin(basadas en ruido de Perlinpara lograr “naturalidad”)para lograr “naturalidad”)

Captura de movimientoCaptura de movimiento

Personajes interactivosPersonajes interactivosPersonajes interactivosPersonajes interactivos

Animación facial basada en Animación facial basada en esqueletosesqueletos

Personajes interactivosPersonajes interactivosjj

Animación facialAnimación facial Animación facialAnimación facial Sincronización labialSincronización labial

Personajes interactivosPersonajes interactivosjj

Animación facialAnimación facial Animación facialAnimación facial Expresiones, emocionesExpresiones, emociones

Interacción emocionalInteracción emocional

Personajes interactivosPersonajes interactivosjj

ó l b ló l b l Sincronización labial y Sincronización labial y emociones en actores emociones en actores

llvirtualesvirtuales

Personajes interactivosPersonajes interactivosjj

Expresión de emociones a través del cuerpoExpresión de emociones a través del cuerpo Expresión de emociones a través del cuerpoExpresión de emociones a través del cuerpo

Personajes interactivosPersonajes interactivosjj

Expresión de emociones a través del cuerpoExpresión de emociones a través del cuerpo Expresión de emociones a través del cuerpoExpresión de emociones a través del cuerpo

Personajes interactivosPersonajes interactivosjj

En Maxine un personaje virtual se caracteriza por:En Maxine un personaje virtual se caracteriza por:En Maxine un personaje virtual se caracteriza por:En Maxine un personaje virtual se caracteriza por: Permite interacción con el usuario: Permite interacción con el usuario:

texto voz ratón teclado gestos expresionestexto voz ratón teclado gestos expresiones texto, voz, ratón, teclado, gestos, expresionestexto, voz, ratón, teclado, gestos, expresiones

Permite obtener información del usuario y del entornoPermite obtener información del usuario y del entorno nivel de ruido, posición del usuario, estado de ánimonivel de ruido, posición del usuario, estado de ánimo nivel de ruido, posición del usuario, estado de ánimonivel de ruido, posición del usuario, estado de ánimo

Soporta comunicación por voz en español en lenguaje Soporta comunicación por voz en español en lenguaje naturalnatural

Posee su propio estado de ánimo que varía en Posee su propio estado de ánimo que varía en función de la relación con el usuario.función de la relación con el usuario. expresión facial, modulación de la voz, tipo de respuestasexpresión facial, modulación de la voz, tipo de respuestas

Interacción multimodal y emocionalInteracción multimodal y emocionalyy

Descripción general del sistema: multimodal yDescripción general del sistema: multimodal y Descripción general del sistema: multimodal y Descripción general del sistema: multimodal y emocionalemocional

Interacción multimodal y emocionalInteracción multimodal y emocionalyy

Interacción con el usuario: EntradaInteracción con el usuario: Entrada Interacción con el usuario: EntradaInteracción con el usuario: Entrada Teclado, ratónTeclado, ratón Reconocimiento del hablaReconocimiento del hablaReconocimiento del hablaReconocimiento del habla Reconocimiento de expresiones facialesReconocimiento de expresiones faciales Sistema de posicionamientoSistema de posicionamientopp Micrófonos de entornoMicrófonos de entorno BotoneraBotonera

Interacción con el usuario: SalidaInteracción con el usuario: Salida Animación corporal y facialAnimación corporal y facial Síntesis de voz, LipSíntesis de voz, Lip--synch synch Expresión de emociones Expresión de emociones

Interacción multimodal y emocionalInteracción multimodal y emocionalyy

Reacciones del agente: Módulo Deliberativo /Reacciones del agente: Módulo Deliberativo / Reacciones del agente: Módulo Deliberativo / Reacciones del agente: Módulo Deliberativo / GenerativoGenerativo Puramente reactivo:Puramente reactivo: interrupción por teclado cambiointerrupción por teclado cambio Puramente reactivo: Puramente reactivo: interrupción por teclado, cambio interrupción por teclado, cambio

de orientación, pedir silencio si detecta ruido, etc. de orientación, pedir silencio si detecta ruido, etc. Deliberativo: análisis para determinar la reacción deDeliberativo: análisis para determinar la reacción de Deliberativo: análisis para determinar la reacción de Deliberativo: análisis para determinar la reacción de

agente (por ejemplo teniendo en cuenta el estado agente (por ejemplo teniendo en cuenta el estado emocional del usuario)emocional del usuario)

Estos módulos se encargan de dar la respuesta Estos módulos se encargan de dar la respuesta adecuada al usuario (mediante la voz, gestos,adecuada al usuario (mediante la voz, gestos,adecuada al usuario (mediante la voz, gestos, adecuada al usuario (mediante la voz, gestos, expresiones, movimientos, etc)expresiones, movimientos, etc)

Interacción multimodal y emocionalInteracción multimodal y emocionalyy

Comunicación usuarioComunicación usuario--avatar vía vozavatar vía voz Comunicación usuarioComunicación usuario--avatar vía vozavatar vía voz

Interacción multimodal y emocionalInteracción multimodal y emocionalyy

Comunicación usuarioComunicación usuario--avatar vía voz: entradaavatar vía voz: entrada Comunicación usuarioComunicación usuario--avatar vía voz: entradaavatar vía voz: entrada ASR: Librería dinámica de LoquendoASR: Librería dinámica de Loquendo Uso de gramáticas independientes de contexto: JSGFUso de gramáticas independientes de contexto: JSGF Uso de gramáticas independientes de contexto: JSGF Uso de gramáticas independientes de contexto: JSGF

(Java Speech Grammar Format). (Java Speech Grammar Format). Resolución de problemas específicos del español:Resolución de problemas específicos del español: Resolución de problemas específicos del español:Resolución de problemas específicos del español:

Diferencia entre palabras con o sin ‘h’, con ‘b’ o ‘v’, o con ‘y’ Diferencia entre palabras con o sin ‘h’, con ‘b’ o ‘v’, o con ‘y’ o ‘ll’. o ‘ll’.

Diferencia entre palabras que se escriben igual pero se Diferencia entre palabras que se escriben igual pero se pronuncian diferente.pronuncian diferente.

Interacción multimodal y emocionalInteracción multimodal y emocionalyy

Comunicación usuarioComunicación usuario--avatar vía voz: motor deavatar vía voz: motor deComunicación usuarioComunicación usuario avatar vía voz: motor de avatar vía voz: motor de búsquedabúsqueda

Basado en el proyecto CyN (ALICE: Basado en el proyecto CyN (ALICE: Artificial Intelligence Artificial Intelligence FoundationFoundation http://www alicebot org/http://www alicebot org/))Foundation Foundation http://www.alicebot.org/http://www.alicebot.org/))

Modificado para soportar los diálogos en españolModificado para soportar los diálogos en español Capacidad para trabajar con acentos, diéresis, eñes y permitir Capacidad para trabajar con acentos, diéresis, eñes y permitir

t d t d i t ió l iót d t d i t ió l iócaracteres de apertura de interrogación o exclamación.caracteres de apertura de interrogación o exclamación. Proceso de búsqueda de respuestas basado en reconocimiento Proceso de búsqueda de respuestas basado en reconocimiento

de patrones de palabras. Cada patrón lleva asociadas: de patrones de palabras. Cada patrón lleva asociadas: respuestas fijas (conocimiento estático)respuestas fijas (conocimiento estático) respuestas con variaciones aleatorias para evitar la impresión de respuestas con variaciones aleatorias para evitar la impresión de

repetición y para diferir en función del estado de ánimo del actor repetición y para diferir en función del estado de ánimo del actor i t al (conocimiento dinámico)i t al (conocimiento dinámico)virtual (conocimiento dinámico)virtual (conocimiento dinámico)

Uso de AIML Uso de AIML (Artificial Intelligence Markup Language)(Artificial Intelligence Markup Language)

Interacción multimodal y emocionalInteracción multimodal y emocionalyy

Motor de diálogoMotor de diálogo

<category>

Motor de diálogoMotor de diálogo

<pattern> I BELIEVE THAT WE WOULD HAVE TO LEAVE THIS CONVERSATION

</pattern>

<template> <random>

<li> <sad/>Well, I suppose I am not what you expected

</li>

<li> <angry/>But is the matter with you?

Don’t you like me?

</li>

<li><surprised/> Why? We were having such a good time! it

</li>

<li><happy/>Come on, let’s talk a little more

</li>

<li>Ok, we will continue another time

</li>

</random> </template>

Interacción multimodal y emocionalInteracción multimodal y emocionalyy

Comunicación usuarioComunicación usuario--avatar vía voz: síntesis de vozavatar vía voz: síntesis de voz Uso de SAPI5 / Loquendo Uso de SAPI5 / Loquendo

SAPI5 permite obtener la información acerca de los visemas SAPI5 permite obtener la información acerca de los visemas (representación visual de un fonema). Esta información se utiliza (representación visual de un fonema). Esta información se utiliza

d l l i i t d l b d l t l h bld l l i i t d l b d l t l h blpara modelar los movimientos de la boca del avatar al hablar.para modelar los movimientos de la boca del avatar al hablar. Generación de emociones en tiempo real modificando la Generación de emociones en tiempo real modificando la

modulación de la voz.modulación de la voz.Se trabaja sobre los parámetros de tono escala de la frecuenciaSe trabaja sobre los parámetros de tono escala de la frecuencia Se trabaja sobre los parámetros de tono, escala de la frecuencia, Se trabaja sobre los parámetros de tono, escala de la frecuencia, volumen y velocidad del habla, que posee SAPI5.volumen y velocidad del habla, que posee SAPI5.

Se trabaja con las seis emociones universales de Ekman: alegría, Se trabaja con las seis emociones universales de Ekman: alegría, tristeza, enfado, sorpresa, aversión y miedo, más la neutral. tristeza, enfado, sorpresa, aversión y miedo, más la neutral. , , p , y ,, , p , y ,

Para determinar la credibilidad de las emociones sintetizadas, Para determinar la credibilidad de las emociones sintetizadas, se utilizaron tres métodos de evaluaciónse utilizaron tres métodos de evaluación Elección forzada: conjunto finito de emociones posiblesElección forzada: conjunto finito de emociones posibles Elección libre: no se restringe la respuestaElección libre: no se restringe la respuesta Elección libre modificada: textos neutrales mezclados con textos Elección libre modificada: textos neutrales mezclados con textos

con emocióncon emoción

Interacción multimodal y emocionalInteracción multimodal y emocionalyy

Comunicación usuarioComunicación usuario--avatar vía voz emocionalavatar vía voz emocional Comunicación usuarioComunicación usuario--avatar vía voz emocionalavatar vía voz emocional

InteracciónInteracción mediantemediante lenguajelenguaje naturalnatural

Interacción multimodal y emocionalInteracción multimodal y emocionalyy

Comunicación usuarioComunicación usuario--avatar vía imagenavatar vía imagen Comunicación usuarioComunicación usuario--avatar vía imagenavatar vía imagen

Interacción multimodal y emocionalInteracción multimodal y emocionalyy

Comunicación usuarioComunicación usuario--avatar vía imagenavatar vía imagen Comunicación usuarioComunicación usuario--avatar vía imagenavatar vía imagen Obtención de imágenes a través de webcam.Obtención de imágenes a través de webcam. Clasificación emocional en base a 10 puntos y 5Clasificación emocional en base a 10 puntos y 5 Clasificación emocional en base a 10 puntos y 5 Clasificación emocional en base a 10 puntos y 5

distancias (estándar MPEG4)distancias (estándar MPEG4)

Verificación de resultados: pruebas con usuarios.Verificación de resultados: pruebas con usuarios.

Interacción multimodal y emocionalInteracción multimodal y emocional

Interacción multimodal y emocionalInteracción multimodal y emocional

Interacción multimodal y emocionalInteracción multimodal y emocional

Interacción multimodal y emocionalInteracción multimodal y emocionalyy

Clasificación emocionalClasificación emocional Clasificación emocionalClasificación emocional

Aplicaciones:Aplicaciones:pp

Presentadores virtuales: Presentadores virtuales: MaxinePPTMaxinePPT EE--MuseumMuseum Tutor Virtual para aplicaciones de enseñanzaTutor Virtual para aplicaciones de enseñanza Interfaz para control Interfaz para control domóticodomótico remotoremoto Intérprete Virtual: Lengua de Signos EspañolaIntérprete Virtual: Lengua de Signos Española Intérprete Virtual: Lengua de Signos EspañolaIntérprete Virtual: Lengua de Signos Española Juegos interactivos para niñosJuegos interactivos para niños

Gestión de entornos virtuales en tiempo realGestión de entornos virtuales en tiempo real

MAXINEMAXINE A li iA li iMAXINE: MAXINE: AplicacionesAplicaciones

Aplicaciones: Aplicaciones: MaxinePPTMaxinePPTpp

Presentadores virtualesPresentadores virtuales

EUROGRAPHICS’08EUROGRAPHICS’08MaxinePPT

Aplicaciones: Aplicaciones: MaxinePPTMaxinePPTpp

Aplicaciones: Presentaciones interactivasAplicaciones: Presentaciones interactivaspp

EUROGRAPHICS’08EUROGRAPHICS’08 Presentaciones / Presentaciones / demo interactivademo interactiva

Aplicaciones: MaxinePPTAplicaciones: MaxinePPTpp

Presentaciones virtuales en entornos inmersivosPresentaciones virtuales en entornos inmersivos Presentaciones virtuales en entornos inmersivos Presentaciones virtuales en entornos inmersivos ((CAVE.aviCAVE.avi))

Aplicaciones: EAplicaciones: E--museummuseumpp

Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum Ambient Intelligence in a Smart Museum Ambient Intelligence in a Smart Museum MuseoMuseo inteligenteinteligente queque se se adaptaadapta a a laslas característicascaracterísticas

dede cadacada visitantevisitante yy permitepermite lala interaccióninteracción natural connatural conde de cadacada visitantevisitante y y permitepermite la la interaccióninteracción natural con natural con laslas obrasobras de artede arte

TecnologíasTecnologías queque integraintegra elel sistemasistema::TecnologíasTecnologías queque integraintegra elel sistemasistema:: PersonajesPersonajes virtualesvirtuales:: interactúaninteractúan concon loslos visitantesvisitantes interfacesinterfaces oralesorales:: reconocimientoreconocimiento yy síntesissíntesis dede vozvoz robotsrobots móvilesmóviles:: recibiránrecibirán aa loslos visitantesvisitantes yy loslos acompañaránacompañarán

enen lala visitavisita tecnologíastecnologías inalámbricasinalámbricas dede comunicacióncomunicación yy localizaciónlocalización:: tecnologíastecnologías inalámbricasinalámbricas dede comunicacióncomunicación yy localizaciónlocalización::

comunicacióncomunicación yy localizaciónlocalización dede loslos visitantesvisitantes enen elel museomuseo tecnologíastecnologías ópticasópticas:: guiadoguiado ópticoóptico porpor elel museomuseo (realidad(realidad

d )d )aumentada)aumentada)

Aplicaciones: EAplicaciones: E--museummuseumpp

Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum Ambient Intelligence in a Smart Museum Ambient Intelligence in a Smart Museum MuseoMuseo inteligenteinteligente

SeSe adaptaadapta aa laslas característicascaracterísticas dede cadacada visitantevisitante Se Se adaptaadapta a a laslas característicascaracterísticas de de cadacada visitantevisitante PermitePermite la la interaccióninteracción natural con natural con laslas obrasobras de artede arte

Aplicaciones: EAplicaciones: E--museummuseumpp

Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum ElEl sistemasistema MaxineMaxine actúaactúa dede ‘puente’‘puente’ parapara lala

comunicacióncomunicación deldel serser humanohumano concon todotodo elel sistemasistemacomunicacióncomunicación deldel serser humanohumano concon todotodo elel sistema,sistema,conceptualmenteconceptualmente parapara elel visitantevisitante

ElEl sistemasistema MaxineMaxine sese utilizautiliza enen dosdos tipostipos dede visitavisita:: VisitaVisita librelibre comandoscomandos oralesorales VisitaVisita guiadaguiada

Aplicaciones: EAplicaciones: E--museummuseumpp

Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum

MM áá ll íí ll Max Max seráserá el el guíaguía en el en el museomuseo(robot)(robot)MaxineMaxine eses lala expertaexperta en arteen arte Maxine Maxine eses la la expertaexperta en arteen arte((pantallaspantallas) )

Aplicaciones: EAplicaciones: E--museummuseumpp

MAXMAX MAXMAX EsEs unauna cabezacabeza dede hombrehombre queque seráserá

guíaguía enen elel museomuseoguíaguía enen elel museomuseo MaxMax seráserá cargadocargado enen unun ordenadorordenador

portátilportátil situadosituado enen elel propiopropio robot,robot, aa susuportátilportátil situadosituado enen elel propiopropio robot,robot, aa susuvezvez lala salidasalida dede vídeovídeo estaráestará conectadaconectadaaa unauna pantallapantalla enen lala parteparte superiorsuperior deldelrobotrobot

PodremosPodremos interaccionarinteraccionar concon MaxMax paraparai di li di l ii ddindicarleindicarle queque nosnos guieguie aa unun cuadrocuadro enenconcreto,concreto, queque prosigaprosiga lala visita,visita, queque sesedetengadetenga etcetcdetengadetenga etcetc..

Aplicaciones: EAplicaciones: E--museummuseumpp

MAXINEMAXINE MAXINEMAXINE EspecialistaEspecialista enen artearte CuandoCuando elel visitantevisitante sese detengadetenga CuandoCuando elel visitantevisitante sese detengadetenga

enfrenteenfrente dede unun cuadrocuadro podrápodrá llamarllamar aaMaxineMaxine parapara resolverresolver sussus dudasdudasMaxineMaxine parapara resolverresolver sussus dudasdudasrelacionadasrelacionadas concon lala pinturapintura

CuandoCuando MaxineMaxine apareceaparece enen lala escena,escena,pp ,,relegarelega elel cuadrocuadro aa unun segundosegundo planoplanoparapara conversarconversar concon elel visitantevisitante

PodremosPodremos interaccionarinteraccionar concon MaxineMaxineparapara preguntarpreguntar sobresobre elel cuadrocuadro quequeestamosestamos observandoobservandoestamosestamos observandoobservando

Aplicaciones: EAplicaciones: E--museummuseumpp

IntegraciónIntegración IntegraciónIntegración ElEl servidorservidor centralcentral eses elel nodonodo

dede comunicacióncomunicación principalprincipaldede comunicacióncomunicación principalprincipalentreentre todostodos loslos sistemassistemas

IntegraciónIntegración mediantemediante DLLDLLIntegraciónIntegración mediantemediante DLLDLL SíntesisSíntesis dede vozvoz

ComunicaciónComunicación concon elel servidorservidorcentralcentral mediantemediante XMLXML--RPCRPC ReconocimientoReconocimiento dede vozvoz

óó óó LocalizaciónLocalización dede lala posiciónposición ControlControl deldel robotrobot

Aplicaciones: EAplicaciones: E--museummuseumpp

Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum Ambient Intelligence in a Smart Museum Ambient Intelligence in a Smart Museum

Aplicaciones: EnseñanzaAplicaciones: Enseñanzapp

Uso de agentes pedagógicos interactivos para laUso de agentes pedagógicos interactivos para la Uso de agentes pedagógicos interactivos para la Uso de agentes pedagógicos interactivos para la enseñanza de Informática Gráfica:enseñanza de Informática Gráfica: Actuando como profesores virtuales mediante laActuando como profesores virtuales mediante la Actuando como profesores virtuales mediante la Actuando como profesores virtuales mediante la

exposición de temas específicos. exposición de temas específicos. Como herramienta para trabajar temas consideradosComo herramienta para trabajar temas considerados Como herramienta para trabajar temas considerados Como herramienta para trabajar temas considerados

“díficiles” por los alumnos. “díficiles” por los alumnos.

Aplicaciones: EnseñanzaAplicaciones: Enseñanzapp

Tutoriales interactivosTutoriales interactivos Tutoriales interactivosTutoriales interactivos

Aplicaciones: Interfaz para control Aplicaciones: Interfaz para control dómoticodómoticop pp p

Se dispone de un entorno inteligente real (Dpto. Se dispone de un entorno inteligente real (Dpto. p g ( pp g ( pde Ingeniería Informática, Universidad Autónoma de Ingeniería Informática, Universidad Autónoma de Madrid) de Madrid) ))

Entorno inteligente Entorno inteligente domóticodomóticogg

Elementos que componen el entorno:Elementos que componen el entorno: Elementos que componen el entorno:Elementos que componen el entorno: Dispositivos de control (sDispositivos de control (sensoresensores/a/actuadoresctuadores)) Dispositivos multimedia (radios televisores pantallasDispositivos multimedia (radios televisores pantallas Dispositivos multimedia (radios, televisores, pantallas Dispositivos multimedia (radios, televisores, pantallas

de información, micrófonos, altavoces, etc.)de información, micrófonos, altavoces, etc.)

Entorno inteligente domóticoEntorno inteligente domóticogg

•• Bus domótico EIB (KNX) para el control de losBus domótico EIB (KNX) para el control de los•• Bus domótico EIB (KNX) para el control de los Bus domótico EIB (KNX) para el control de los dispositivos físicosdispositivos físicos

•• RRed Etherneted Ethernet para elpara el flujo de informaciónflujo de informaciónRRed Etherneted Ethernet para el para el flujo de información flujo de información multimedia multimedia

•• Definición del entorno y los elementos queDefinición del entorno y los elementos queDefinición del entorno y los elementos que Definición del entorno y los elementos que forman parte de él basándose en el lenguaje forman parte de él basándose en el lenguaje XMLXML

•• Repositorio común (pizarra), donde queda Repositorio común (pizarra), donde queda representado el entorno, sus elementos, representado el entorno, sus elementos, p , ,p , ,relaciones, estado, flujos de información, relaciones, estado, flujos de información, aplicaciones, etc.aplicaciones, etc.

Entorno inteligente domóticoEntorno inteligente domóticogg

Capa de contexto.Capa de contexto. Se ha escogido la metáfora de la pizarra por su Se ha escogido la metáfora de la pizarra por su

flexibilidad y simplicidadflexibilidad y simplicidadd d l b ld d l b l La capa de contexto se despliega sobre la La capa de contexto se despliega sobre la

infraestructra de dispositivos y éstos se comunican infraestructra de dispositivos y éstos se comunican ella utilizando mensajes estándar en XML y elella utilizando mensajes estándar en XML y elella utilizando mensajes estándar en XML y el ella utilizando mensajes estándar en XML y el protocolo HTTP (HyperText Transfer Protocol). protocolo HTTP (HyperText Transfer Protocol).

Las entidades disponen de una API deLas entidades disponen de una API de Las entidades disponen de una API de Las entidades disponen de una API de comunicación proporcionada por el sistema que comunicación proporcionada por el sistema que permite la interacción de los dispositivos con el permite la interacción de los dispositivos con el middleware.middleware.

Max: Max: lala nuevnuevaa interfazinterfaz

Objetivo:Objetivo: crear un agente (Max) que haga decrear un agente (Max) que haga de Objetivo: Objetivo: crear un agente (Max) que haga de crear un agente (Max) que haga de nuevo interfaz interactivo para el acceso y nuevo interfaz interactivo para el acceso y control remoto de la habitación inteligentecontrol remoto de la habitación inteligentecontrol remoto de la habitación inteligentecontrol remoto de la habitación inteligente

El interfaz debe permitir dialogar de forma El interfaz debe permitir dialogar de forma natural con el agente al que se ha de podernatural con el agente al que se ha de podernatural con el agente, al que se ha de poder natural con el agente, al que se ha de poder pedir que realice operaciones y consultas sobre pedir que realice operaciones y consultas sobre los dispositivos de la habitación inteligentelos dispositivos de la habitación inteligentelos dispositivos de la habitación inteligente.los dispositivos de la habitación inteligente.

Max: la nueva interfazMax: la nueva interfaz

Funcionalidades (actuación remota)Funcionalidades (actuación remota):: Funcionalidades (actuación remota)Funcionalidades (actuación remota):: Luces Luces ((normalesnormales // regulablesregulables)) CafeteraCafetera CafeteraCafetera TelevisiónTelevisión

F i lid d ( lt t )F i lid d ( lt t ) Funcionalidades (consulta remota)Funcionalidades (consulta remota):: Sensor de puertaSensor de puerta

óó PersonasPersonas y hy habitaciónabitación

Max: la nueva interfazMax: la nueva interfaz

Integración/adaptación a MaxineIntegración/adaptación a Maxine:: Para acceder a la pizarra de forma remotaPara acceder a la pizarra de forma remota sesePara acceder a la pizarra de forma remota Para acceder a la pizarra de forma remota se se

utiliza el protocolo HTPP utiliza el protocolo HTPP que resulta fácil de que resulta fácil de utilizar en scripts que pueden ejecutarse dentro utilizar en scripts que pueden ejecutarse dentro del sistema de preguntas y respuestas de del sistema de preguntas y respuestas de Maxine.Maxine.

Interacción multimodal y emocionalInteracción multimodal y emocionalyy

Comunicación usuarioComunicación usuario--avatar vía vozavatar vía voz Comunicación usuarioComunicación usuario--avatar vía vozavatar vía voz

Max: la nueva interfazMax: la nueva interfaz

Creación de:Creación de: Creación de:Creación de:1.1. Un script de Maxine que cargue el actor virtual, el Un script de Maxine que cargue el actor virtual, el

plano de la habitación y gestione el sistema deplano de la habitación y gestione el sistema deplano de la habitación y gestione el sistema de plano de la habitación y gestione el sistema de preguntas y respuestas.preguntas y respuestas.

2.2. Una gramática que contenga las palabras que debe Una gramática que contenga las palabras que debe g q g p qg q g p qentender.entender.

3.3. Un fuente AIML para la creación de la base de datos Un fuente AIML para la creación de la base de datos con las distintas respuestas.con las distintas respuestas.

4.4. Scripts para realizar las consultas o modificaciones Scripts para realizar las consultas o modificaciones l i t d óti di t HTTPl i t d óti di t HTTPen el sistema domótico mediante HTTP.en el sistema domótico mediante HTTP.

ResultadosResultados

El i d l tEl i d l t El usuario puede ver al agente El usuario puede ver al agente y un plano de la habitación y un plano de la habitación d d d ld d d ldonde se puede ver la donde se puede ver la disposición de los elementos.disposición de los elementos.

El interfaz permite ver los El interfaz permite ver los cambios que producen sus cambios que producen sus ó é áó é áórdenes a través de la cámara órdenes a través de la cámara web.web.

Aplicaciones: Interfaz para control dómoticoAplicaciones: Interfaz para control dómoticop pp p

Control remoto de un entornoControl remoto de un entorno domóticodomótico Control remoto de un entorno Control remoto de un entorno domóticodomótico

Usuario: “Enciende la luz uno”Max: “La luz ya esta encendida”

Usuario: “Enciende la luz uno”Max: “Hecho” (la luz uno pasa a estar encendida)a ec o ( a u u o pasa a esta e ce d da)

Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtualp pp p

Traductor automático: Español a LSETraductor automático: Español a LSE Traductor automático: Español a LSETraductor automático: Español a LSE

Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtualp pp p

Traductor automático: Español a LSETraductor automático: Español a LSE Traductor automático: Español a LSETraductor automático: Español a LSE

Intérprete virtual de LSEIntérprete virtual de LSE

Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual

Diseño de interfacesDiseño de interfaces usabilidadusabilidad accesibilidadaccesibilidad

p pp p

Diseño de interfaces Diseño de interfaces usabilidad, usabilidad, accesibilidadaccesibilidad Este trabajo pretende desarrollar una Este trabajo pretende desarrollar una

herramienta que permita mejorar el acceso a laherramienta que permita mejorar el acceso a laherramienta que permita mejorar el acceso a la herramienta que permita mejorar el acceso a la información por parte de las personas sordas.información por parte de las personas sordas.En EspañaEn España AproxAproxEn EspañaEn España Aprox.Aprox.

Personas sordas 1.000.000 (2.72%)

de los cuales, poseen alta vulnerabilidad 200.000 (0.05%)

Personas que conocen la lengua de signos 400.000 (0.97%)

Niños que nacen sordos (prelocutivos) 1 de cada 1.000

Personas que pierden capacidad de oído (postlocutivos) 4 de cada 1.000

Fuente: www.soycapaz.com

8080

Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual

Métodos de adaptación de los mensajes sonoros: Métodos de adaptación de los mensajes sonoros:

p pp p

SubtituladoSubtitulado Más sencilloMás sencillo Más sencilloMás sencillo No idóneo para personas sordas No idóneo para personas sordas

(prelocutivas) (prelocutivas) No resuelve el problema de adaptaciónNo resuelve el problema de adaptación

ó líó lí Interpretación explícitaInterpretación explícita Verdadera Verdadera traduccióntraducción

Programas más complejos y costososProgramas más complejos y costosos Programas más complejos y costososProgramas más complejos y costosos

8181

Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual

Surge la necesidad de disponer de herramientasSurge la necesidad de disponer de herramientas

p pp p

Surge la necesidad de disponer de herramientas Surge la necesidad de disponer de herramientas que permitan la traducción automática a que permitan la traducción automática a Lengua Lengua de Signosde Signos Sin embargo hay que considerar:Sin embargo hay que considerar:de Signosde Signos. Sin embargo hay que considerar:. Sin embargo hay que considerar: Las Lenguas de Signos poseen gramáticas propias Las Lenguas de Signos poseen gramáticas propias

distintas de las gramáticas de las lenguas habladasdistintas de las gramáticas de las lenguas habladasdistintas de las gramáticas de las lenguas habladasdistintas de las gramáticas de las lenguas habladas La lengua de signos La lengua de signos NO ES UNIVERSALNO ES UNIVERSAL Lengua de Signos Española (LSE):Lengua de Signos Española (LSE): Lengua de Signos Española (LSE): Lengua de Signos Española (LSE):

Gramática propiaGramática propia Variantes locales en España de algunas palabras y Variantes locales en España de algunas palabras y p g p yp g p y

expresionesexpresiones No es única: LSC, LSPV, etc.No es única: LSC, LSPV, etc.

8282

Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual

Sistema de traducción automática de español a LSESistema de traducción automática de español a LSE

p pp p

Sistema de traducción automática de español a LSESistema de traducción automática de español a LSE

Estudio de la LSE y la gramática españolaEstudio de la LSE y la gramática españolad d b ld d b l Estudio de trabajos similaresEstudio de trabajos similares

Gramática inglesaGramática inglesa Basados en estadística y entrenamiento: resultados imprevisiblesBasados en estadística y entrenamiento: resultados imprevisiblesy py p Basados en reglas: definición explícita de reglas, orientados al Basados en reglas: definición explícita de reglas, orientados al

problemaproblema

Los basados en reglas se adaptan mejor al problema de Los basados en reglas se adaptan mejor al problema de traducción de español traducción de español LSE y generan salidas que siempre LSE y generan salidas que siempre cumplen las reglas de la LSEcumplen las reglas de la LSEcumplen las reglas de la LSEcumplen las reglas de la LSE

8383

Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual

Características específicas del sistema desarrollado paraCaracterísticas específicas del sistema desarrollado para

p pp p

Características específicas del sistema desarrollado para Características específicas del sistema desarrollado para la traducción automática de español a LSE :la traducción automática de español a LSE :

Basado en reglas Basado en reglas gramaticalesgramaticales y y morfológicasmorfológicas Permite incluir las Permite incluir las emocionesemociones en la traducciónen la traducción

Puede integrarse en sistemas mayores Puede integrarse en sistemas mayores Entrada: cadena de texto en españolEntrada: cadena de texto en español Entrada: cadena de texto en españolEntrada: cadena de texto en español Salida: sistema de representación de signos para su posterior Salida: sistema de representación de signos para su posterior

animaciónanimación

Verificación de la validez de los resultadosVerificación de la validez de los resultados

8484

Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual

Definición de reglas en base a laDefinición de reglas en base a la gramáticagramática y lay la

p pp p

Definición de reglas en base a la Definición de reglas en base a la gramática gramática y la y la morfologíamorfología del español y la LSEdel español y la LSE Transformación atendiendo a las características sintácticas y Transformación atendiendo a las características sintácticas y

morfológicas de las palabras y a la semántica dentro de la frase.morfológicas de las palabras y a la semántica dentro de la frase.

¿Cómo son las reglas?¿Cómo son las reglas? ¿Cómo son las reglas?¿Cómo son las reglas? Cada categoría gramatical y sintáctica tiene reglas propias. Ej:Cada categoría gramatical y sintáctica tiene reglas propias. Ej:

Sintagma nominal: primero se colocan los genitivos, luego el Sintagma nominal: primero se colocan los genitivos, luego el g g gg g gsustantivo principal y luego los adjetivos.sustantivo principal y luego los adjetivos.

Verbo: al final de la oración.Verbo: al final de la oración. Partícula temporal: primera en la oración. Si no existe, se toma elPartícula temporal: primera en la oración. Si no existe, se toma el Partícula temporal: primera en la oración. Si no existe, se toma el Partícula temporal: primera en la oración. Si no existe, se toma el

tiempo del verbo (PASADO, FUTURO). El presente no se signa.tiempo del verbo (PASADO, FUTURO). El presente no se signa.

8585

Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual

La traducción se lleva a cabo en 4 etapas:La traducción se lleva a cabo en 4 etapas:

p pp p

La traducción se lleva a cabo en 4 etapas:La traducción se lleva a cabo en 4 etapas:

8686

Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtualp pp p

8787

Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual

El sistema se ha desarrollado como un móduloEl sistema se ha desarrollado como un módulo

p pp p

El sistema se ha desarrollado como un módulo El sistema se ha desarrollado como un módulo integrable dentro de cualquier sistema que:integrable dentro de cualquier sistema que:

tor

tor

EntradaEntrada

Sistema productor de texto en español escrito:

SalidaSalida

Sistema capaz de interpretar los signos:

adu

ctad

uct

en español escrito:

Fichero de texto Reconocedor de voz

interpretar los signos:

Avatar en una web Personaje virtual en

Tra

Tra Generador de 

conversaciones…

Personaje virtual en entorno 3D…

8888

Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtualp pp p

Aplicaciones: NiñosAplicaciones: Niñospp

ColegioColegio dede EducaciónEducación EspecialEspecial AlboradaAlborada ColegioColegio de de EducaciónEducación Especial Especial AlboradaAlborada EscenariosEscenarios interactivosinteractivos parapara mejoramejora del del hablahabla en en

alumnosalumnos dede educacióneducación especialespecialalumnosalumnos de de educacióneducación especialespecial JuegosJuegos parapara niñosniños con con problemasproblemas cognitivoscognitivos

DESARROLLODESARROLLO Modelo de procesoModelo de proceso

Generación de Herramientas Didácticas Configurables y Accesibles

DESARROLLO DESARROLLO Modelo de procesoModelo de proceso

Modelo de Proceso de laíIngeniería de la Usabilidad

y la Accesibilidad y(MPIu+a)

Diseño Centrado en el Usuario (DCU)Usuario (DCU)

Proyecto Fin de CarreraGuillermo Blasco Antón

Marzo 2010

DESARROLLO DESARROLLO Juego para educación Juego para educación Generación de Herramientas Didácticas Configurables y Accesibles

g pg pespecial especial

Colaboración con el CPEE Alborada Colaboración con el CPEE Alborada Niños discapacitados – Necesidades heterogéneas Herramienta configurable – Perfil de usuario Herramienta configurable – Perfil de usuario Interacción multimodal Clasificación de pictogramas según categoríasClasificación de pictogramas según categorías Creación de nuevos juegos

Proyecto Fin de CarreraGuillermo Blasco Antón

Marzo 2010

DESARROLLO DESARROLLO Juego para educación Juego para educación Generación de Herramientas Didácticas Configurables y Accesibles

g pg pespecialespecial

Scripts LUA J- Juego

- Niño- Aleatorio- Anima- Imagen

Texto- Texto- Log

Máquina de estados

Proyecto Fin de CarreraGuillermo Blasco Antón

Marzo 2010

DESARROLLO DESARROLLO Juego para educación Juego para educación Generación de Herramientas Didácticas Configurables y Accesibles

g pg pespecialespecial

- Analizador XmlLite Almacenamiento de datos

- Nueva clase CTemplate- Perfil del alumnoPl till- Plantillas

Proyecto Fin de CarreraGuillermo Blasco Antón

Marzo 2010

Aplicaciones: NiñosAplicaciones: Niñospp

EVALUACIÓN EVALUACIÓN Juego para educación Juego para educación Generación de Herramientas Didácticas Configurables y Accesibles

g pg pespecialespecial

E l ióEvaluación 24 alumnos CPEE Alborada

P tí i f d di ñ Partícipes en fases de diseño Sesiones periódicas

Ob ió di t Observación directa Structure Expert Evaluation

M th d (SEEM)Method (SEEM)

Proyecto Fin de CarreraGuillermo Blasco Antón

Marzo 2010

EVALUACIÓNEVALUACIÓN SEEMSEEM

Generación de Herramientas Didácticas Configurables y Accesibles

EVALUACIÓN EVALUACIÓN SEEMSEEM

Structure Expert Evaluation MethodSt uctu e pe t a uat o et od

Proyecto Fin de CarreraGuillermo Blasco Antón

Marzo 2010

Aplicaciones: NiñosAplicaciones: Niñospp Interfaces tangibles y Interfaces tangibles y agentesagentes virtualesvirtuales

Aplicaciones: TANGIBLEAplicaciones: TANGIBLE

Plataforma de Plataforma de l b t i ll b t i l

pp

laboratorio para la laboratorio para la experimentación con experimentación con diferentes paradigmasdiferentes paradigmasdiferentes paradigmas diferentes paradigmas de interacción:de interacción: LEGO© LEGO© MindstormsMindstorms platformplatform

W kb hW kb h WorkbenchWorkbench..

FuturoFuturo

InclusiónInclusión dede modelos de emociones ymodelos de emociones y Inclusión Inclusión de de modelos de emociones y modelos de emociones y personalidadpersonalidadDesarrollo de nuevas aplicacionesDesarrollo de nuevas aplicaciones Desarrollo de nuevas aplicacionesDesarrollo de nuevas aplicaciones ITS (ITS (IntelligentIntelligent TutoringTutoring SystemsSystems))

Vid JVid J Video JuegosVideo Juegos Modelado de usuarioModelado de usuario

Comportamiento: Comportamiento: softcomputingsoftcomputing /modelos /modelos cognitivoscognitivos

MultimodalidadMultimodalidad: Integración y fusión de : Integración y fusión de modalidadesmodalidades

FuturoFuturo

Comportamiento:Comportamiento: softcomputingsoftcomputing / modelos/ modelos Comportamiento: Comportamiento: softcomputingsoftcomputing / modelos / modelos cognitivoscognitivos

MAXINEMAXINEMAXINEMAXINE

¿Preguntas?¿Preguntas?