24
I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCG CEEI PET DSC CCC Michelly Guedes Saulo Henrique Medeiros [email protected] [email protected] Julho, 2008 Matraca – Software para Matraca – Software para Auxílio de Invisuais no Uso Auxílio de Invisuais no Uso do Computador do Computador

I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros [email protected] [email protected]

Embed Size (px)

Citation preview

Page 1: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPCWorkshop de Pesquisas

do Grupo PET-Computação

UFCG CEEI PET DSC CCC

Michelly GuedesSaulo Henrique Medeiros

[email protected]@dsc.ufcg.edu.br

Julho, 2008

Matraca – Software para Auxílio de Matraca – Software para Auxílio de Invisuais no Uso do ComputadorInvisuais no Uso do Computador

Page 2: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Índice

• Contextualização• Processamento de Som• Síntese de voz• O Projeto Matraca• A Mudança

2

Page 3: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Contextualização

• Grande demanda de pessoas usando o computador

• Normalmente, os computadores não apresentam formas de acessibilidade adequadas aos usuários invisuais.

• Desenvolvimento de uma ferramenta que minimize essas dificuldades.

3

Page 4: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Proposta

• Ferramenta Matraca– Composta por um Editor de Texto, uma Calculadora e

Envio de Email;– Uso de Síntese de Voz;– Interface usando Auto-Contraste;– Desnecessário os privilégios de Administrador;

4

Page 5: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Processamento de Voz

5

Processamento de Voz

Reconhecimento Síntese

Reconhecimentodo Autor (“Quem”)

Reconhecimentoda fala

(“O que”)

SentençasPré-

Gravadas

Produção de Voz

Modelagem do sistema

Modelagem do sinal

Page 6: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Síntese de Voz

• Sistemas Text-to-Speech– Sistemas que são capazes de gerar sons a partir do

texto

• Onde é usada?– Transação por telefone, Segurança, Criminalística,

Sistemas Educativos;

• O que se busca?– Inteligibilidade e Naturalidade

6

Page 7: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Estratégias

• Dividem-se em dois grupos:– Sentenças pré-gravadas: as ações do sistema são

conhecidas, mais inteligível e natural, porém, menos flexível

• Exemplos de uso: Máquinas de pedágio, Atendimento por telefone

– Produção de Voz: o que será falado não é conhecido a priori, bastante inteligível.

• Desafio: naturalidade; • Exemplos de uso: Leitura de Documentos, Ensino de

Línguas.

7

Page 8: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Processo

• O Processo de Síntese se divide em quatro etapas:– Análise do Texto– Interpretação Fonética – Geração de Sinais– Pronúncia das Palavras

8

Page 9: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Tipos de Síntese

• Modelagem do Sistema: modela o sistema humano de produção de fala– Síntese Articulatória

• Modelagem do sinal: modela os sinais resultantes da fala– Síntese por Formantes

• Modela a fonte de som e as freqüências formantes– Síntese por Concatenação

• Existência de unidades de síntese explícita• Armazenadas mais de uma representação (mais longas e

mais curtas)

9

Page 10: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Tipos de Síntese

0 0.5 1 1.5 2 2.5 3 3.5

20

25

30

35

40

45

50

55

60

65

70

f [KHz]

Per

iodo

gram

a [

dB]

Exemplo /i/:F1=266 Hz, F2=2044Hz, F3=2711Hz, F4=3422Hz

10

Page 11: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Sintetizadores em Português

• IBM Via Voice– Reconhecimento e Síntese, Gratuito, Disponível em

várias línguas• Raquel

– Desenvolvido pela NextUp, Pago, Disponível em várias línguas

• Gabriela– Desenvolvido pela Loquendo, Pago, Disponível em

várias línguas• LHTTSPTB

– Sintetizador utilizado pelo projeto DOSVOX, Gratuito, Disponível para língua portuguesa

11

Page 12: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Sintetizadores em Português

• Falador– Desenvolvido por pesquisadores brasileiros, Gratuito,

Projeto suspenso

• eSpeak– openSource, Windows e Linux, Disponível em várias

línguas

• CloudGarden– Faz uso da JSAPI, desenvolvido para Windows,

Gratuito para 90 dias

12

Page 13: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

O Projeto Matraca - Versão 1.0

• Sentenças pré-gravadas;• Open-source;• Interface de Auto-Contraste;• Delphi;• Máquinas sem privilégios de Administrador

13

Page 14: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

O Projeto Matraca - Estado Atual

• Parceria com alunos da Disciplina Projeto II• Uso da Linguagem Java;• Síntese de Voz;• Reconhecimento de Voz;• Correção ortográfica;• Mudanças no Idioma;

14

Page 15: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

O Projeto Matraca - Estado Atual

15

Page 16: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

O Projeto Matraca - Estado Atual

16

Page 17: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

O Projeto Matraca - Estado Atual

17

Page 18: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

O Projeto Matraca - Estado Atual

18

Page 19: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

O Projeto Matraca - Estado Atual

19

Page 20: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Estado Atual

20

Page 21: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Próximos Passos

• Parceria com o IECOM, no projeto Olhos Digitais;

• Integrar as partes;• Tornar independente do modo Administrador;• Sintetizador na língua Portuguesa;

21

Page 22: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Referências

espeak.sourceforge.net/www.ibm.com/viavoice/brwinuxmicro.opentime.com.brwww.oddcast.comwww.pt.wikipedia.orgintervox.nce.ufrj.br/dosvoxwww.cloudgarden.com

22

Page 23: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPC – Julho, 2008 Michelly Gedes e Saulo Henrique

Dúvidas

23

Page 24: I WPPC Workshop de Pesquisas do Grupo PET-Computação UFCGCEEI PETDSCCCC Michelly Guedes Saulo Henrique Medeiros michelly@dsc.ufcg.edu.br sauloh@dsc.ufcg.edu.br

I WPPCWorkshop de Pesquisas

do Grupo PET-Computação

UFCG CEEI PET DSC CCC

Michelly GuedesSaulo Henrique Medeiros

[email protected]@dsc.ufcg.edu.br

Julho, 2008

Matraca – Software para Auxílio de Matraca – Software para Auxílio de Invisuais no Uso do ComputadorInvisuais no Uso do Computador