DISEÑO E IMPLEMENTACIÓN DE UN KIT DE APLICACIONES PARA PERSONAS CON

DISCAPACIDAD VISUAL UTILIZANDO LA PLATAFORMA ANDROID SDK

Byron Llerena Zambrano

ESCUELA POLITÉCNICA DEL EJÉRCITODEPARTAMENTO DE ELÉCTRICA Y ELECTRÓNICA, AUTOMATIZACIÓN Y CONTROL.

SANGOLQUI – MARZO 2012

1. GENERALIDADES Justificación del proyecto. Objetivos del Proyecto. Descripción del Kit de

aplicaciones.

2. MARCO TEÓRICO Programación orientada a

objetos. Sistema operativo Android Teoría de colores.

3. DISEÑO Navegación Ingreso de caracteres Detección de movimiento Respuestas al individuo

Reconocimiento de color

4. IMPLEMENTACIÓN Aplicación conjunta. Llamadas telefónicas Mensajería Contactos Color

5. PRUEBAS EXPERIMENTALES6. CONCLUSIONES

AGENDA

1. GENERALIDADES

JUSTIFICACIÓN DEL PROYECTO

LOCALIZACIÓN

AUTONOMÍA

COMUNICARSE

SOLUCIÓN

NECESIDADES

Cotidianidad

Herramientas poderosas

Sistema operativo abierto

Uso mayoritario

Desarrollo contínuo

OBJETIVOS Diseñar e implementar un kit de aplicaciones para personas con discapacidad visual utilizando la plataforma Android SDK.

Cubrir mediante el kit de aplicaciones, las funciones principales que un dispositivo celular comprende.

Guiar el individuo a través del kit de aplicaciones.

Realizar pruebas de satisfacción del prototipo en personas con discapacidad visual.

DESCRIPCIÓN DEL KIT DE APLICACIONES

Pantalla táctil Vibrador Acelerómetro TTS Altavoz

SMARTPHONE

ELEMENTOS DEL SMARTPHONE A UTILIZAR

DESCRIPCIÓN DEL KIT DE APLICACIONES

GENERALIDADES DEL SOFTWARE

ADITAMENTO AL

SISTEMA OPERATIVO

ESPAÑOL / INGLÉS

INGRESO MEDIANTE

ACELERÓMETRO

FUNCIONES PRINCIPALE

S

2. MARCO TEÓRICO

PROGRAMACIÓN ORIENTADA A OBJETOS (POO)

Un método de programación que pretende representar la manera en que concebimos las cosas en el mundo real, en código fuente.

Un objeto posee tres elementos importantes, un nombre, características y mecanismos.

Nombre = ClaseCaracterísticas = PropiedadesMecanismos = Métodos

PROGRAMACIÓN ORIENTADA A OBJETOS (POO)

ABSTRACCIÓN

ENCAPSULAMIENTO

MODULARIDAD

POLIMORFISMO

HERENCIA

CARACTERÍSTICAS PRINCIPALES

SISTEMA OPERATIVO ANDROID (ARQUITECTURA)

ARQUITECTURA

SISTEMA OPERATIVO ANDROID

COMPONENTES PRINCIPALES

ACTIVITIES

SERVICES

CONTENT PROVIDERS

BROADCAST

RECEIVERS

Interfaz gráfica al usuario

Proceso en segundo

plano

Proveedor de

información

Recibe y responde anuncios

Pantalla cualquier

a

Cronómetro

Contactos

Celular iniciado

Concepto

Concepto

Concepto

Concepto

Ejemplos

FUNDAMENTOS DE COLORES

MODELO DE COLOR RGB

NOMBRE VALOR DEC(R – G – B )

Blanco 255 – 255 – 255

Negro 0 – 0 – 0

Gris 169 – 169 – 169

Azul 0 – 0 – 255

Rojo 255 – 0 – 0

Verde 0 – 255 – 0

Amarillo 255 – 255 – 0

Cyan 0 – 255 – 255

Magenta 255 – 0 – 255

Café 150 – 75 – 0

Naranja 255 – 127 – 0

Valores de colores en decimal

3. DISEÑO

DISEÑO APLICACIÓN CONJUNTA

RELOJ

MENSAJERÍA CONTACTOS

EVENTOS LLAMADAS

MENÚ PRINCIPAL 1

ACCIONES DE

CONTACTOS

ACCIONES DE

LLAMADAS

HORA ACTUAL

ACCIONES DE

MENSAJERÍA

• LLAMADAS PERDIDAS• MENSAJES NO LEIDOS• NIVEL BATERÍA

Diseño Aplicación conjunta

ESCUCHAR

AJUSTES

AYUDA COLOR

Menú Principal 2

RECONOCIMIENTO DE COLOR

INFORMACIÓN AUDITIVA

DEL SOFTWARE

ELECCIÓN DEL

IDIOMA

INFORMACIÓN PANTALLA

DISEÑO APLICACIÓN CONJUNT A

INGRESO DE CARACTERES

NAVEGACIÓN

DETECCIÓN DE MOVIMIENTO

RECONOCIMIENTO DE COLORES

RESPUESTAS AL INDIVIDUO

Aspectos importantes de diseño

NAVEGACIÓN

RELOJ

MENSAJERÍA CONTACTOS

EVENTOS LLAMADAS

BOTONES

• Click : Escuchar información de botón.

• LongCLick : Realizar acción de botón.

GESTOS•Gesto de derecha a izquierda: Atrás , ignorar llamadas , ignorar mensajes de texto.

• Gesto “Visto” : Aceptar llamadas telefónicas,Leer Mensaje de texto

• Gesto de izquierda a derecha: Paso de menú principal 1 a menú principal 2

INGRESO DE CARACTERES

ALFABÉTICOS

Se añade gestospor el número deToques.

1 Toque

2 Toques

3 Toques

4 toques

B , C, D, G, L, M, N, O, P, R, S, U, V, W, Z

A, B, D, E, F, J, K, N, P, Q, R, T, X, Y, Z

A, E, F, H, I, K, N, R, Z

E, M

INGRESO DE CARACTERES

NUMÉRICOS

Se añade gestospor el número deToques.

1 Toque

2 Toques

1, 2, 3, 4, 5, 6, 7, 8, 9, 0

4, 7, 8, 9

INGRESO DE CARACTERES RECONOCIMIENTO CARACTÉRES ALFABÉTICOS Y NUMÉRICOS

RESPUESTA

Puntos del Toque Calculo de pendientesDistancia en puntos importantes

DETECCIÓN DE MOVIMIENTO

Ciclo del servicio sacudir

Especificaciones acelerómetro

• Actualización cada 100 ms•Eje X para celulares•Eje Z para tabletas

DETECCIÓN DE MOVIMIENTO

a(-) a(+)

msTmsT

4001200

• T < 1200 ms• T > 400 ms

• acel1(+) y acel2(-) • acel1(-) y acel2(+)

Ftotal > Umbral

MENÚ PRINCIPAL

aaaamamam

amF

amF

ccc

cx

c

21

21

Condiciones a cumplir

RESPUESTAS AL INDIVIDUORESPUESTAS AL

INDIVIDUO

AUDITIVA TÁCTIL

ALTAVOZ (TEXT TO SPEECH)

INGLÉS ESPAÑOL

VIBRADOR

Aviso 20 ms

Aviso100 ms

Simultáneas

Notificación de acciónNotificación de información

Tipos

MedioMedio

Tipos de respuestas Tipos de respuestas

Configura idioma dependiendo la localidad

Recursos distintos con las mismas variables

RECONOCIMIENTO DE COLORES

DECODIFICAR IMAGEN JPEG – ARGB 8888

DETERMINAR TAMAÑO DE SALTO DE ANALISIS DE

PIXELES

ANALIZAR COLOR DE CADA PIXEL

ENTREGAR EL COLOR FINAL

INICIO

FIN

CONDICIÓN TAMAÑO DEL SALTO

Tam < 1 Mb 101 Mb ≤ Tam < 2

Mb 20

2 Mb ≤ Tam < 3 Mb

30

3 Mb ≤ Tam < 4 Mb

40

4 Mb ≤ Tam < 5 Mb

50

5 Mb ≤ Tam < 6 Mb

60

Tam ≥ 6 Mb 70

TAMAÑO DE SALTO DE ANÁLISIS DE PIXELES

R GB

COLOR DE CADA PIXEL

0 - 2550 - 255

0 - 255

A

S

Í

N

C

R

O

N

O

NOMBRE VALOR DEC(R – G – B )

Blanco 255 – 255 – 255Negro 0 – 0 – 0 Gris 169 – 169 – 169 Azul 0 – 0 – 255 Rojo 255 – 0 – 0

Verde 0 – 255 – 0 Amarillo 255 – 255 – 0

Cyan 0 – 255 – 255 Magenta 255 – 0 – 255

Café 150 – 75 – 0 Naranja 255 – 127 – 0

4. IMPLEMENTACIÓN

MENÚ PRINCIPAL

1. Reloj2. Mensajería3. Contactos4. Eventos5. Llamadas

1. Ajustes2. Color3. Ayuda4. Información

1. Cubierta receptora de gestos

Menú Principal 1 Menú Principal 2Gesto “Menú 2” Gesto “Atrás”

LLAMADAS TELEFÓNICASContestar llamada entrante Ignorar llamada entrante Acabar llamada

LLAMADAS TELEFÓNICAS

1. Escuchar todo el número ingresado2. Almacenar el número3. Ir al historial de llamadas4. Escuchar la información de la pantalla5. Llamar al número6. Borrar el último número ingresado.7. Cobertura de gestos

Ingreso de números Borrar todo lo ingresado

MENSAJERÍA

1. Botón “Información de la pantalla”2. Botón “Escuchar Mensaje”3. Botón “Siguiente Mensaje”4. Botón “Anterior Mensaje”5. Botón “Responder Mensaje”6. Botón “Borrar Mensaje”7. Cubierta receptora de gestos

en toda la pantalla

Ignorar Mensaje Leer Mensaje Buzón de Entrada

MENSAJERÍAMenú de mensajería Ingreso de número o

de contactoIngreso de texto Gesto espacio

1. Escuchar Texto Ingresado

2. Cambiar de modo letras a números y viceversa

3. Información de Pantalla

4. Enviar5. Borrar ultimo

carácter o número

6. Cubierta receptora de gestos

1. Escuchar Texto Ingresado

2. Cambiar de modo letras a números y viceversa

3. Anterior Contacto4. Info Contacto5. Siguiente Contacto6. Información de

Pantalla7. Aceptar8. Borrar ultimo

carácter o número9. Cubierta receptora

de Gestos

1. Buzón de Entrada2. Buzón de Salida3. Nuevo Mensaje4. Opciones5. Información6. Cubierta

receptora de gestos

CONTACTOSMenú Contactos Ingreso de número Edición o información de contacto

1. Añadir Contacto.2. Escuchar o editar

información de un contacto.

3. Información de pantalla.

4. Cubierta receptora de gestos.

1. Escuchar número ingresado

2. Información de pantalla

3. Borrar último número ingresado

4. Ingresar Nombre5. Cubierta receptora

de gestos .

1. Escuchar Texto Ingresado

2. Anterior “Contacto3. Siguiente Contacto4. Información de

pantalla5. Aceptar Contacto6. Borrar último caracter7. Cubierta receptora de

gestos.

COLOR

1. Superficie “Cámara”2. Información de la pantalla3. Activar Flash4. Atrás

Reconocimiento de color

Diferencia R y G <10Diferencia R y B <10Diferencia B y G <10

R,G,B ≥ 200

R,G,B ≤ 80

80<R,G,B<200

Colores Blanco , Negro , Gris

Determinación tamaño salto

COLOR

Diferencia R y B <60Diferencia B y G <20

Diferencia

R,G < 50

Colores amarillo , café , naranja

DiferenciaR,G ≥ 50

R>110 R≤110

Diferencia R-B > 80

Diferencia R-G > 80

Color rojo

Diferencia B – G > 30

Diferencia B – R > 30

Diferencia

B – G <50

Diferencia

B – G ≥ 50

Colores azul y celeste

• Diferencia B - G > 40

• Diferencia R - G > 40

• R,B > 120

• Diferencia R y G < 20

Diferencia G-B > 30

Diferencia G-R > 30

Color Violeta

Color Verde

5. PRUEBAS EXPERIMENTALES

PRUEBAS EXPERIMENTALESMensajería

Contactos

  FUNCIONALIDAD UTILIDAD

FACILIDAD DE

USO

PERSONA 1 5 5 4

PERSONA 2 5 5 4

PERSONA 3 5 5 1

PERSONA 4 5 5 5

RESULTADO 20 20 14

  FUNCIONALIDAD UTILIDAD

FACILIDAD DE

USO

PERSONA 1 4 5 4

PERSONA 2 4 3 4

PERSONA 3 2 1 4

PERSONA 4 4 4 4

RESULTADO 14 13 16

PRUEBAS EXPERIMENTALESLlamadas

Color

  FUNCIONALIDAD UTILIDAD

FACILIDAD DE

USO

PERSONA 1 4 5 4

PERSONA 2 4 4 4

PERSONA 3 1 5 1

PERSONA 4 5 4 5

RESULTADO 14 18 14

  FUNCIONALIDAD UTILIDAD

FACILIDAD DE

USO

PERSONA 1 5 5 5

PERSONA 2 4 5 5

PERSONA 3 5 4 4

PERSONA 4 4 5 5

RESULTADO 18 19 19

ANÁLISIS TÉCNICO

Uso de Memoria de “Black and White”

Uso de Memoria de “Navegador”

6. CONCLUSIONES

CONCLUSIONES.

Se ha logrado exitosamente que las personas con discapacidad visual realicen y reciban llamadas telefónicas desde su dispositivo con una dificultad muy baja debido al uso de gestos, respuestas vibratorias y mensajes auditivos.

Al utilizar respuestas auditivas y táctiles se le ha facilitado al usuario el uso del dispositivo una vez que se lo empieza a utilizar y la capacidad de acostumbrarse al mismo con el tiempo.

Al realizar pruebas con gente con discapacidad visual se comprobó que el software resultó ser de gran utilidad, y que despertó un interés en sus usuarios por el uso de dispositivos móviles que no se ha presentado antes debido a la falta de software dedicado a estas personas.

El uso de una aplicación dedicada al reconocimiento de colores, ha permitido a personas con discapacidad visual adquirir cierto grado de independencia al momento de elegir sus prendas de vestir.

DESCRIPCIÓN DEL KIT DE APLICACIONES

GESTOS BOTONES

DESCRIPCIÓN DEL KIT DE APLICACIONES

ESCUCHAR

ATRÁSSACUDIR BOTÓN ESCUCHAR

RELOJ

MENSAJERÍA CONTACTOS

EVENTOS LLAMADAS

BOTONES

FUNCIONES PRINCIPALES