Desarrollo de una voz sintética con emociones para un robot-guía AUTOR: Alfredo Álvarez Fernández TUTOR: Juan Manuel Montero Martínez

Desarrollo de una voz Desarrollo de una voz sintética con emociones para sintética con emociones para

un robot-guíaun robot-guía

AUTOR: Alfredo Álvarez FernándezTUTOR: Juan Manuel Montero Martínez

2

ÍndiceÍndice Introducción Objetivos Emociones Sistemas de Síntesis Módulo de Preprocesado Módulo de Síntesis de Klatt Integración de Módulos Secuencias de Control Incorporación de Emociones Variación de la fuente Otras modificaciones Sintaxis y Ejemplos Conclusiones Líneas futuras

3

IntroducciónIntroducción

URBANO: “Integración de Robots autónomos en la sociedad”

Acercar sociedad y tecnología– Estética humanoide– Incorporación de características

humanas Voz con emociones

Implementación de Robot piloto


ObjetivosObjetivos

EmocionesEmociones

SistemasSistemasde Síntesisde Síntesis

Módulo de Módulo de PreprocesadoPreprocesado

Módulo de Módulo de Síntesis deSíntesis deKlattKlatt

IntegraciónIntegraciónde Módulos de Módulos

SecuenciasSecuenciasde Controlde Control

IncorporaciónIncorporaciónde Emocionesde Emociones

Variaciones en Variaciones en la fuentela fuente

Otras Otras ModificacionesModificaciones

Sintaxis y Sintaxis y EjemplosEjemplos

Conclusiones Conclusiones

Líneas FuturasLíneas Futuras

4

ObjetivosObjetivos

Incorporar emociones en la voz Alegría Tristeza

Dotar a la voz de ‘roboticidad’Interactuar con el sintetizador a través

del propio texto a sintetizarSíntesis remota

Modelo Cliente - Servidor


ObjetivosObjetivos

EmocionesEmociones












5

EmocionesEmociones Definición (D. Casacuberta 2000)

– Estado mental– Función valorativa– Reacciones fisiológicas prototípicas en la voz

Pitch Duración Calidad de la voz

Tipos (K. Scherer 2000)– Primarias

Alegría, tristeza, enfado

– Secundarias Miedo, sorpresa


ObjetivosObjetivos

EmocionesEmociones












6

Sistemas de SíntesisSistemas de Síntesis

Paramétricos– Sintetizadores por formantes

– Modelos articulatorios

No paramétricos: Concatenación de unidades– Base de datos de unidades “pequeñas” + modificación

prosódica ( PSOLA – Pitch Synchronous Overlap Add )

– Síntesis por Corpus: Selección de unidades sobre una gran base de datos de voz

ELECCIÓN: Formantes Fácil manipulación

Secuencia de fonemas

Parámetros de síntesis

Voz Sintética


ObjetivosObjetivos

EmocionesEmociones












Alf_PFC

- Incluir una descripción de los "Parametricos"

7

Módulo de PreprocesadoMódulo de Preprocesado Texto origen en archivo División en frases Preprocesado Tres lecturas de la frase

1) División en bloques de palabra y parseo de secuencias de control

Modificación de valores medios2) División en bloques de fonemas y asignación de duraciones y f0

3) Generación de parámetros a partir de bloques de fonema

Duración y f0 Reglas fonéticas Valores medios

Lista de parámetros cada 10 ms.

Reglas fonéticasFonemas

Duración y tono

Valores Medios


ObjetivosObjetivos

EmocionesEmociones












8

Módulo de Síntesis de KlattMódulo de Síntesis de Klatt Fuente => Función periódica

Tracto Vocal: Envolvente espectral : Formantes

– Todo polos IIR– Resonadores cascada– Resonadores paralelo

Fuente y tracto controlados por parámetros cada 10 ms.

Frecuencia de muestreo

Frecuencia máxima

: 10 kHz : 5 kHz


ObjetivosObjetivos

EmocionesEmociones












9

Integración de Módulos (I)Integración de Módulos (I)

Sistema CTV:

Módulo preprocesado + Módulo síntesis Klatt

Software separado:

Síntesis Klatt

TextoGeneración Parámetros

Klatt Parámetros Klatt

Ficheros audio

Disco

Memoria


ObjetivosObjetivos

EmocionesEmociones












10

Integración de Módulos (II)Integración de Módulos (II) Integración de

los dosmódulos– Separación

por frases– Parámetros

pasados por memoria

Introducción etapade salida– Tratamiento de señal– Salida en formato

“wav”

Generación parámetros

Klatt

Parámetros Klatt

frase n

Síntesis Klatt

Etapa de Salida

Texto Fichero Audio

MemoriaDisco Disco


ObjetivosObjetivos

EmocionesEmociones




IntegraciónIntegraciónde Módulosde Módulos








11

Secuencias de Control (I): Secuencias de Control (I): Definición y sintaxisDefinición y sintaxis

Combinación especial de caracteres para controlar el sintetizador desde el texto

Sintaxis: [ <letra>:<número>] entre dos palabras

Originalmente: Ámbito de frase– Variación de tono medio– Variación de velocidad de elocución– Variación de amplitud

=> Poco flexible

Mejora de la flexibilidad: Ámbito de palabra


ObjetivosObjetivos

EmocionesEmociones












12

Secuencias de Control (II): Secuencias de Control (II): Flexibilización de secuencias existentesFlexibilización de secuencias existentes

Problema: – Varias etiquetas en una frase

Prevalece la última => Ámbito de frase

Solución: – Introducir valores medios en bloques de

fonemas– Para dejar de aplicar etiqueta:

Introducción de otra etiqueta Etiqueta de cierre: [<letra>:0]

– Guardar en memoria los valores mediosintroducidos (anidamiento)


ObjetivosObjetivos

EmocionesEmociones












13

Secuencias de Control (III): Secuencias de Control (III): Modificación de varios parámetrosModificación de varios parámetros

mediante una etiquetamediante una etiqueta Valor de etiqueta

– Valor de variable en el programa– Puntero a sección en fichero “pros.ini”

[d:3] Hola, me llamo URBANO

Valor: Ganancia: Memoria:


Texto a procesar

[Retardo 1] Valor: 50

Ganancia: 0,5 Memoria: 10



“pros.ini”

Programa


ObjetivosObjetivos

EmocionesEmociones












14







Texto a procesar





“pros.ini”

Programa

1


ObjetivosObjetivos

EmocionesEmociones












15











“pros.ini”

Texto a procesar

Programa

1

2


ObjetivosObjetivos

EmocionesEmociones












16





Valor: 500 Ganancia: 0,5

Memoria: 5






“pros.ini”

Texto a procesar

Programa

1

3

2


ObjetivosObjetivos

EmocionesEmociones












17

Incorporación de emocionesIncorporación de emociones Asignación de duración y frecuencia fundamental a

los bloques de fonema– Modelo duración

Valores iniciales Coeficientes multiplicativos

– Modelo entonación Valor de tono de determinados fonemas Interpolación para resto de fonemas

Originalmente:– Valores iniciales y coeficientes fijos en código

Utilización de valores diferentes para cada emoción– Valores basados en modelado de frases y párrafos

pronunciados por un locutor– “alegría.ini”, “alegriap.ini”, “tristeza.ini”, “tristezap.ini”:

selección del fichero “.ini” a leer en función de la etiqueta recibida


ObjetivosObjetivos

EmocionesEmociones












18

Variaciones en la Fuente (I)Variaciones en la Fuente (I)

Fuente glotal humana– Periódica– Partes de un periodo glotal

fase de apertura glotal fase de cierre glotal fase cerrada

– Aproximación por parábola invertida– Inversa del periodo glotal frecuencia

fundamental


ObjetivosObjetivos

EmocionesEmociones












19

Variaciones en la Fuente (II)Variaciones en la Fuente (II) Señal de fuente excita filtro variable con el

tiempo Inteligibilidad:

– Variación del tracto vocal, no fuente Señal que excita el tracto:

– Fuente glotal humana Voz humana

– Señal robótica Voz robótica

– Señal musical Voz musical

Controlables mediante etiquetas– No humana Carga valores de ficheros al

inicio del programa– Reproducción cíclica


ObjetivosObjetivos

EmocionesEmociones












20

Otras Modificaciones (I) Otras Modificaciones (I) Incorporación de Efectos de AudioIncorporación de Efectos de Audio

Incorporación de eco

Incorporación de trémolo

Controlables mediante etiquetas:– Diferentes retardos en el eco– Diferentes amplitudes y frecuencias en trémolo

Entrada Salida

x(n))]ncos(2a+a)-[(1=y(n) 0 sTf


ObjetivosObjetivos

EmocionesEmociones












21

Otras Modificaciones (II) Otras Modificaciones (II) Concurrencia Síntesis-ReproducciónConcurrencia Síntesis-Reproducción

Etapa de salida introducida Problema

Solución– Reproducción concurrente con síntesis

Interfaz MCI: Señales de control de la reproducción “Pipeline” de dos elementos

Síntesis frase 1

Reprod.

frase 1

Síntesis frase 2

Reprod.

frase 2

t

t

Reprod. frase 1

Reprod. frase 2

Reprod. frase 3

Síntesis frase 1

Síntesis frase 2

Síntesis frase 3

Síntesis frase 4


ObjetivosObjetivos

EmocionesEmociones












22

Otras Modificaciones (III) Otras Modificaciones (III) Servidor de SíntesisServidor de Síntesis

Síntesis remotaPreviamente:

– Extracción de texto a sintetizar de un archivo de texto

Sintetizador Servidor– Escucha peticiones de síntesis– Puerto TCP: 6004

Implementación de cliente


ObjetivosObjetivos

EmocionesEmociones












23

Otras Modificaciones (IV)Otras Modificaciones (IV)Escalado de formantesEscalado de formantes

Simulación de diferentes tamaños de cabeza

Escalado uniforme de formantesSubir frecuencia de los formantes

cabeza más pequeñaControlable mediante etiquetas


ObjetivosObjetivos

EmocionesEmociones












24

Sintaxis y Ejemplos (I)Sintaxis y Ejemplos (I) Voz por defecto

– Hola, me llamo Urbano y esta es la voz que traigo por defecto.

Modificación dinámica del tono medio– [p:70] Puedo modificar el tono medio [p:125] de mi voz cuantas

[p:0] veces quiera dentro de la misma frase [p:0]

Modificación dinámica de la velocidad de elocución– Como en el [u:80] caso del tono medio, [u:160] también puedo

modificar la velocidad de elocución [u:0] de forma dinámica [u:0]

Modificación combinada de tono medio, velocidad de elocución e intensidad

– También puedo cambiar [f:1]los valores medios [f:0] [f:2]de volumen, tono y velocidad de elocución [f:3] en medio de la frase [f:0] con combinaciones [f:0] pregrabadas


ObjetivosObjetivos

EmocionesEmociones












25

Sintaxis y Ejemplos (II)Sintaxis y Ejemplos (II) Introducción de ecos

– [d:1] Introduciendo ecos en el habla puedo hacer que parezca que me encuentro en una gran sala vacía. [d:0] Es posible también simular el efecto de cambio de sala. [d:2] Ahora parece que me encuentro en una sala aún más grande que la anterior, ya que el tamaño de la sala simulada depende del retardo del eco [d:5]

Introducción de trémolo– [m:2] También puedo modular el volumen de mi voz con una señal

sinusoidal.[m:0] Tanto la frecuencia como el índice de modulación puedo escogerlo a placer

Escalado de los formantes– [r:2] Dispongo también de la capacidad de cambiar el tamaño de mi

cavidad bucal para simular diferentes personas. [r:0] Este efecto se consigue mediante escalado de formantes

Pausado– Introduciendo pausas al hablar, puedo enfatizar [b:20] ciertas

palabras para así captar la atención de los oyentes


ObjetivosObjetivos

EmocionesEmociones












26

ConclusionesConclusiones Integración de dos subsistemas Incorporación emociones Introducción de diferentes fuentes Incorporación de otros efectos de valor

añadido Manipulación sencilla mediante el uso de

secuencias de control Concurrencia entre procesado y síntesis Transformación del sintetizador en un

servidor de síntesis


ObjetivosObjetivos

EmocionesEmociones












27

Líneas FuturasLíneas Futuras Incorporación de otras emociones

– Sorpresa– Enfado

Carga de valores iniciales al inicio del programa

Ámbito de palabra para todas las secuencias de control

Concurrencia síntesis-reproducción más potente

Mejorar interfaz servidor-cliente


ObjetivosObjetivos

EmocionesEmociones












28

¿PREGUNTAS?

29


ObjetivosObjetivos

EmocionesEmociones













EmocionesEmociones


Módulo de Módulo de Síntesis porSíntesis porReglaRegla





Síntesis frase 1

Reprod.

frase 1

Síntesis frase 2

Reprod.

frase 2

t

t

Reprod. frase 1

Reprod. frase 2

Reprod. frase 3

Síntesis frase 1

Síntesis frase 2

Síntesis frase 3

Síntesis frase 4

Documents

Desarrollo de una voz sintética con emociones para un robot-guía AUTOR: Alfredo Álvarez Fernández TUTOR: Juan Manuel Montero Martínez