70
TRATAMIENTO DE SEÑALES MULTIMEDIA Introducción a los Sistemas Multimedia – Parte 2

Tratamiento de Señales Multimedia 1 Fernando parte1

Embed Size (px)

DESCRIPTION

Primera parte curso de tratamiento de señales multimedia

Citation preview

Page 1: Tratamiento de Señales Multimedia 1  Fernando parte1

TRATAMIENTO DE SEÑALES MULTIMEDIAIntroducción a los Sistemas Multimedia – Parte 2

Page 2: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaces Multimedia

Interfaces Multimedia

Interfaces Hombre – Maquina I

Interfaces Hombre – Maquina II

Qué es la Interacción Hombre-Maquina

Page 3: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaces Hombre – Maquina I

Interfaces Multimedia

Interfaces Hombre – Maquina I

Interfaces Hombre – Maquina II

Qué es la Interacción Hombre-Maquina

Las interfaces de usuario son los medios por los cuales las personas interactúan con un sistema digital.

El usuario ejecuta alguna acción física de acuerdo con un protocolo establecido el cual al efectuar la entrada dispara una operación electrónica.

Casi siempre, estas operaciones incluyen indicaciones para el usuario acerca del efecto de sus acciones , su realimentación.

Page 4: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaces Hombre – Maquina II

Interfaces Multimedia

Interfaces Hombre – Maquina I

Interfaces Hombre – Maquina II

Qué es la Interacción Hombre-Maquina

¿Qué es un paradigma?

Un marco conceptual dentro del que se formulan teorías, leyes y generalizaciones, así como experimentos que los demuestran.

¿Hay entonces paradigmas detrás de los diversos estilos de interacción?

Paradigma: La computadora como autómata

Page 5: Tratamiento de Señales Multimedia 1  Fernando parte1

Qué es la Interacción Hombre-Maquina

Interfaces Multimedia

Interfaces Hombre – Maquina I

Interfaces Hombre – Maquina II

Qué es la Interacción Hombre-Maquina

Page 6: Tratamiento de Señales Multimedia 1  Fernando parte1

Command-line Interfaces I

Qué es la Interacción Hombre-Maquina

Command-line Interfaces

Command-line Interfaces II

Command-line Interfaces III

Command-line Interfaces IV

Llamadas usualmente “Man-Machine Interfaces” (MMIs) dominaron en el periodo de los años 1970s.

Como se muestra en la figura, estos trabajan con un paradigma lingüístico (cadenas alfanuméricas “palabras” arregladas en una determinada sintaxis).

Page 7: Tratamiento de Señales Multimedia 1  Fernando parte1

Command-line Interfaces II

Qué es la Interacción Hombre-Maquina

Command-line Interfaces

Command-line Interfaces II

Command-line Interfaces III

Command-line Interfaces IV

El usuario tipea un comando y recibe una realimentación textual resultando de una interacción de la siguiente clase. User $MESSAGESYSTEM RETRIEVE MTS Mailbox EYVQ: 1 new, 4 old message

Las Interfaces de línea de comando tales como el MTS

(the Michigan Terminal System) o el CMD pueden ser

tremendamente eficiente, comprimiendo todo el

rango de operaciones en unas pequeñas líneas de

texto, debido a que el usuario conoce un pequeño

vocabulario y una sintaxis rígida.

Page 8: Tratamiento de Señales Multimedia 1  Fernando parte1

Command-line Interfaces III

Qué es la Interacción Hombre-Maquina

Command-line Interfaces

Command-line Interfaces II

Command-line Interfaces III

Command-line Interfaces IV

Pero estas interfaces incorporan muy pocas sensaciones del usuario, y son muy difíciles de recordar. En particular, la atención por la realimentación es muy pobre. El sistema cualquiera hace lo que usted le dijo, con una mínima confirmación de sus acciones o genera un mensaje de error a menudo encriptado al extremo.

Page 9: Tratamiento de Señales Multimedia 1  Fernando parte1

Command-line Interfaces IV

Qué es la Interacción Hombre-Maquina

Command-line Interfaces

Command-line Interfaces II

Command-line Interfaces III

Command-line Interfaces IV

El ultimo bastión de esa era fue el MS DOS (Microsoft Disk Operating System), el cual ha sido recubierto en varias generaciones de Windows, y Unix, algunos otros dan opciones entre interfaces graficas y de línea de comando Linux y Mac OS.

Mientras las interfaces de línea de comandos aun se han mantenido activas entre algunas comunidades de alta especialización, los problemas de interfaces graficas siempre encuentran solución en la línea de comandos cuando estas fallan, o cuando alta eficiencia son necesitadas.

Page 10: Tratamiento de Señales Multimedia 1  Fernando parte1

Command-line Interfaces V

Command-line Interfaces IV

Command-line Interfaces V

Interfaces Graficas I

Interfaces Graficas II

Interfaces Graficas III

Desventajas: Dificultad para Memorizar las instrucciones. Ayuda difícil de entender. Nombres de Instrucciones inadecuados.

Ventajas Potente. Flexible. Controlado por usuarios experimentados

Page 11: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaces Graficas I

Command-line Interfaces IV

Command-line Interfaces V

Interfaces Graficas I

Interfaces Graficas II

Interfaces Graficas III

la interfaz gráfica de usuario, es el artefacto tecnológico de un sistema interactivo que posibilita, a través del uso y la representación del lenguaje visual, una interacción amigable con un sistema informático. Normalmente basado en botones, gráficos y palabras sobre una pantalla con los que se controlan la información.

Las interfaces graficas son llamadas en ingles como GUIs (Graphical User Interfaces). Ellos básicamente trabajan en la manipulación de objetos, algún tipo de modificación en su representación a través de un dispositivo normalmente tipo WIMP (Window-Icon-Mouse-Pointer).

Page 12: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaces Graficas II

Command-line Interfaces IV

Command-line Interfaces V

Interfaces Graficas I

Interfaces Graficas II

Interfaces Graficas III

Page 13: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaces Graficas III

Command-line Interfaces IV

Command-line Interfaces V

Interfaces Graficas I

Interfaces Graficas II

Interfaces Graficas III

El usuario interactúa con el sistema, usualmente en clúster representados por áreas dedicadas de la pantalla donde se busca algún tipo de objeto para interactuar (barra de tareas), botones , scroll bar , hiperlinks, entrada de texto por teclado, y menús primitivos .

Page 14: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaces Graficas IV

Interfaces Graficas III

Interfaces Graficas IV

Tipos de interfaces gráficas

Interfaces Multimodal I

Interfaces Multimodal II

Uno de los mas familiares elementos de las interfaces graficas es el menú, en el cual incluye los nombres de los comandos en forma natural, racional y contextual.

Las interfaces Graficas han añadido imaginación y un mas expansivo sentido del espacio, separando y distribuyendo las funciones de las líneas de comando en diferentes lugares , a demás grandes volúmenes de datos o procesos complejos se representan mediantes abstracciones gráficas

¿Para qué sirve una Interfaz Grafica? Mediación entre hombre y máquina. Como sistema de traducción (Visual).

Page 15: Tratamiento de Señales Multimedia 1  Fernando parte1

Tipos de interfaces gráficas de usuario

Interfaces Graficas III

Interfaces Graficas IV

Tipos de interfaces gráficas

Interfaces Multimodal I

Interfaces Multimodal II

GUIs avanzados basados en realidad virtual ahora son usados con más frecuencia en las investigaciones. Muchos grupos de investigación en Norteamérica y Europa están trabajando actualmente en el interfaz de enfoque del usuario o ZUI (Zooming User Interface), que es un adelanto lógico en los GUI, mezclando 3D con 2D. o "2D y medio objetos vectoriales de una D".

Compiz es uno de los primeros Gestores de ventana de composición para el

sistema de ventanas X Window.

Page 16: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaces Multimodal I

Interfaces Graficas III

Interfaces Graficas IV

Tipos de interfaces gráficas

Interfaces Multimodal I

Interfaces Multimodal II

Durante una comunicación multimodal, nosotros hablamos, cambiamos la dirección de la vista, hacemos gestos, y nos movemos con lo cual conseguimos un gran flujo de comunicación que lleva a una discreta semejanza de la interacción con un teclado, mouse, entrados en una manera secuencial sobre una interfaz grafica.

Sharon Oviatt and Philip Cohen (2000)

Page 17: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaces Multimodal II

Interfaces Graficas III

Interfaces Graficas IV

Tipos de interfaces gráficas

Interfaces Multimodal I

Interfaces Multimodal II

La era de las interfaces graficas esta cerca de terminar pero va a continuar como parte de un entorno en un sistema de comunicación multimodal el cual posee un incremento en sus entradas físicas y un amplio rango de salidas en ambos casos principalmente de movimiento y sonido.

En el lado de las entradas gestos, movimientos y la voz va a tomar un rol importante y por otra parte la realimentación con el video, sonido y voz dominaran.

Los sistemas Multimodal tienen la característica de no necesitar la entera atención por un solo canal de realimentación, el canal podría bloquearse y la comunicación continuara.

Page 18: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaces Multimodal III

Interfaces Multimodal II

Interfaces Multimodal III

Interfaces Multimodal IV

Keypad Interfaces I

Keypad Interfaces II

Page 19: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaces Multimodal IV

Interfaces Multimodal II

Interfaces Multimodal III

Interfaces Multimodal IV

Keypad Interfaces I

Keypad Interfaces II

Aplicaciones multimodales Síntesis de habla (Texto > voz) Reconocimiento de habla (Voz >

Texto) Generación de documentos

multimodales Sistemas de traducción por medio de

voz Sistemas de diálogo por medio de voz

Page 20: Tratamiento de Señales Multimedia 1  Fernando parte1

Keypad Interfaces I

Interfaces Multimodal II

Interfaces Multimodal III

Interfaces Multimodal IV

Keypad Interfaces I

Keypad Interfaces II

81# Menu of the Touchtone Teller 51# Current Certificate and Savings Rates 52# Current Loan Rates 11# Savings Account Balance (01) 12# Checking Account Balance (02) 15# Specific Account Balance (Plus 2 digit Account Number) 20# To Access Another Member Account 66# Change Access Code 69# Card Activation 80# Repeat Last Response *# Cancel Transaction 99# End Call

Algunos codigos para marcar para la obtencion de un credito

Page 21: Tratamiento de Señales Multimedia 1  Fernando parte1

Keypad Interfaces II

Interfaces Multimodal II

Interfaces Multimodal III

Interfaces Multimodal IV

Keypad Interfaces I

Keypad Interfaces II

Las interfaces de teclado numérico en ingles llamadas también TUIs (Touchtone User Interfaces), trabajan con un paradigma lingüístico , empleando “palabras,” usualmente aisladas , aunque algunas veces con una sintaxis determinada. Estas consisten en registrar instrucciones o peticiones en las cuales el usuario responde marcando los botones del teclado.

Un típico ejemplo : Phone: To make your withdrawal from your savings

account, press “1.” From drafts, press “2.” From shares, press “3.” From a loan advance, press “4.”

User: beep

Page 22: Tratamiento de Señales Multimedia 1  Fernando parte1

Keypad Interfaces III

Keypad Interfaces II

Keypad Interfaces III

Keypad Interfaces IV

Keypad Interfaces V

Interfaz de Voz I

Page 23: Tratamiento de Señales Multimedia 1  Fernando parte1

Keypad Interfaces IV

Keypad Interfaces II

Keypad Interfaces III

Keypad Interfaces IV

Keypad Interfaces V

Interfaz de Voz I

Estos sistemas uno de los de mas pobre satisfacción por parte de los usuarios ya que es difícil en su interacción y es uno de las principales motivaciones para el desarrollo de las interfaces de voz.

Un ejemplo de interfaces por teclado: Relaciones entre teclas y su significante

1 “ahorros,” 2 “retiros,” 3 “cotizaciones,” 4 “Informe de Prestamos”?

Transitoriedad del significante del teclado: con las excepción de unas cuentas teclas ( el menú principal,1 u 0 significara “hablar con un ser humano”), cada uno de los subsiguiente menús encuentran un diferentes significante para cada tecla. (con 1 significa “banca” en otro lugar significara “retiro,” puede significar ‘’guardar ’’).

Page 24: Tratamiento de Señales Multimedia 1  Fernando parte1

Keypad Interfaces V

Keypad Interfaces II

Keypad Interfaces III

Keypad Interfaces IV

Keypad Interfaces V

Interfaz de Voz I

El tamaño, numero y arreglo de las teclas es un trabajo duro ya que hay muy pocas (únicamente 12 comandos activos que pueden ser evaluables en un determinado instante), en una pequeña matriz únicamente para una corta, infrecuente, y una unidireccional entrada numérica, no para una breve interacción.

La aparente interminable, navegación jerárquica en forma de árbol (“menús”): después el usuario presiona 1 (o 2 o 3), acá nos encaminamos a una rama u a otra rama; entonces el usuario esta forzado a trepar para coger otra rama .

Page 25: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaz de Voz I

Keypad Interfaces II

Keypad Interfaces III

Keypad Interfaces IV

Keypad Interfaces V

Interfaz de Voz I

Ya no mas la voz es una propiedad única de los seres humanos , sino que ahora esta habilidad esta compartida con las maquinas.

Sarah Borruso

La interfaz de voz posee un amplio rango de ítems los que sencillamente son configuraciones relacionadas con la “habla”, “dialogo,” y “sistema,” que tienen una relación a alguna palabra y que se reduce a un acrónimo.

VUI (Voice User Interface) Interface de términos cortos. Ellos trabajan con el paradigma lingüístico (cadena de palabras), y consiste palabras, planas y simples: en ambos sentidos hacia el computador y hacia la persona.

Page 26: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaz de Voz II

Interfaz de Voz I

Interfaz de Voz II

Interfaz de Voz III

Interfaz de Voz IV

Interfaz de Voz V Niels Ole Bernsen and Laila Dybkjær definen a una interfaz de voz

como un “ un sistema unimodal de entrada de voz/salida de voz el

cual conduce un dialogo acerca de una simple tarea en un lenguaje

simple y con un único usuario ” (2000). (Ellos prefieren el nombre de

SLDS, Spoken Language Dialogue System).

Page 27: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaz de Voz III

Interfaz de Voz I

Interfaz de Voz II

Interfaz de Voz III

Interfaz de Voz IV

Interfaz de Voz V

Mientras los humanos tienen grandes habilidades de trabajar en varias formas y además de poder hacer múltiples tareas a la vez, y las interfaz de voz ayuda a potenciar estas labores. Adema el ser humano tiene una gran adaptación para entender cualquier tipo voz.

Page 28: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaz de Voz IV

Interfaz de Voz I

Interfaz de Voz II

Interfaz de Voz III

Interfaz de Voz IV

Interfaz de Voz V

Conversacion humano - maquina: el usuario habla y el computador responde. Aca un ejemplo: SpeechActs : Welcome to SpeechActs. Please say your full name. Nicole: Nicole Yankelovich. SpeechActs : You currently have “Lunch with Kate Ehrlich” until 2 pm. At 3pm

you have “Brainstorming meeting in the lab.” At 6:30 pm you have “Dinner with Ellen.”

Nicole: What do I have tomorrow? SpeechActs: Tomorrow, you have “Dentist appointment.” Nicole: What about Bob? SpeechActs: On Tuesday, November 16th, Bob has “Visit to Georgia Tech.” Nicole: And on Wednesday? SpeechActs: On Wednesday, November 17th at 2:15 pm, Bob has “Return to

Boston.” At 5:15 pm, Bob has . . .” Nicole: Stop. Tell me what I have. SpeechActs: On Wednesday, November 17th you have no appointments.

(Yankelovich, 1994

Page 29: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaz de Voz V

Interfaz de Voz I

Interfaz de Voz II

Interfaz de Voz III

Interfaz de Voz IV

Interfaz de Voz V

ASPECTOS IMPORTANTES DE LA COMUNICACION El que comienza la interacción es Nicole, ella lleva el

flujo de la conversación, la controla. Una de las propiedades de la aplicación es que

permite una referencia implícita. Nicole no tiene que decir “What about Bob’s schedule tomorrow?”

Otra propiedad de la aplicación es que su lógica es consistente pero no obstinada. Cerca al fin de la conversación, por ejemplo La Maquina le dice a Nicole acerca de la reunión de Bob el miércoles, esto es razonable ya que el tópico de la comunicación iniciado por Nicole es acerca de las reuniones de Bob. Pero esto no fue lo que Nicole quería significar ella comprende que la maquina y ella no hablan del mismo tema, y repara el problema preguntando por lo de ella.

Page 30: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaz de Voz VI

Interfaz de Voz V

Interfaz de Voz VI

Interfaz de Voz VII

Interfaz de Voz VIII

Interfaz de Voz IX

ASPECTOS IMPORTANTES DE LA COMUNICACIÓN La estructura de jerárquica de la maquina

esta oculta al usuario, Nicole no esta forzada para navegar a través de esta estructura. Ella solo desea saber acerca de su reunión cuando ella anteriormente hablaba de la reunión de Bob, y la aplicación le entrega su calendario.

Ella solamente interrumpe la respuesta de la maquina y pregunta acerca de su horario, para realizar esto la aplicación borra su contenido actual pero retiene el contenido del calendario y le responde con la información de su calendario.

Page 31: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaz de Voz VII

Interfaz de Voz V

Interfaz de Voz VI

Interfaz de Voz VII

Interfaz de Voz VIII

Interfaz de Voz IX

Otro ejemplo de aplicación de interfaz voz: Telefónica: Para información acerca de transporte

decir “Transporte”. Para información acerca de entretenimiento decir “Entretenimiento.” Para información acerca del clima decir “clima.”

Caller: Transporte. Telefónica: Para información acerca de vuelos

aéreos decir “aeropuerto”. Para información de viajes por autobús, decir “buses.” Para información acerca de viajes por tren , decir “tren.”

Caller: Aeropuerto. Telefónica: Para arribos al aeropuerto , decir

“Aterrizaje.” Para salidas , decir “Salidas.” y etc.

Page 32: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaz de Voz VIII

Interfaz de Voz V

Interfaz de Voz VI

Interfaz de Voz VII

Interfaz de Voz VIII

Interfaz de Voz IX

Esta aplicación es un Sistema de Respuesta por Voz — tiene sus virtudes e involucra muchos subtítulos para su diseño. Realizados correctamente ellos pueden eliminar la arbitrariedad y transitoriedad de las funciones semánticas que existen en las interfaces de teclado.

Estos poseen un vocabulario mayor a 12 teclas. Por esta razón son mejores que las interfaces de teclado, pero su estructura jerárquica también lo hace tedioso de usar.

Page 33: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaz de Voz IX

Interfaz de Voz V

Interfaz de Voz VI

Interfaz de Voz VII

Interfaz de Voz VIII

Interfaz de Voz IX

Los sistemas de Respuesta por voz no son malvados, en lugar de esto ellos solo intenta escuchar lo que el usuario pronuncia y corroborar sus afirmaciones (trae muchas dificultades).

El diseño de las interfaces de voz son construidas sobre interacciones anteriores de respuesta de voz, no comienza de cualquier punto, cuando la conversación se corta requiere de una interacción inteligente de voz para poder recuperar la conversación en general el sistema debe de ser (fiable en seguridad y robusto para cualquier degradación de la señal).

Page 34: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaz de Voz X

Interfaz de Voz IX

Interfaz de Voz X

Interfaz de Voz XI

Interfaz de Voz XII

Groupware

Tratamiento del habla La tecnología del habla es una de las áreas

con más perspectivas de futuro en el campo de la lingüística computacional.

Comprende dos tipos de investigaciones: Síntesis de voz: Generar voz automáticamente a

partir de un texto escrito. Reconocimiento del habla: Identificar los

elementos del habla (fonemas, palabras), lo que permite un tratamiento lingüístico posterior (comprensión).

Page 35: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaz de Voz XI

Interfaz de Voz IX

Interfaz de Voz X

Interfaz de Voz XI

Interfaz de Voz XII

Groupware

Tratamiento del habla El reconocimiento de habla es una tarea

difícil, debido a diversos factores. Variaciones de pronunciación según el contexto Diferentes acentos y dialectos Ruidos ambientales Elementos no lingüísticos en el habla Defectos de pronunciación

Page 36: Tratamiento de Señales Multimedia 1  Fernando parte1

Interfaz de Voz XII

Interfaz de Voz IX

Interfaz de Voz X

Interfaz de Voz XI

Interfaz de Voz XII

Groupware

locuaz

Fábricas

Plantas industrialesVehículos

Sistemas de seguridad

Cajeros Automáticos

PBX

PBX

Page 37: Tratamiento de Señales Multimedia 1  Fernando parte1

Groupware

Interfaz de Voz IX

Interfaz de Voz X

Interfaz de Voz XI

Interfaz de Voz XII

Groupware

Groupware • Software que facilita actividades

grupales • Giro: Interacción humano-humano

mediada por computadora • Paradigma: la computadora como lugar

de reunión (o canal de comunicación)

Page 38: Tratamiento de Señales Multimedia 1  Fernando parte1

Aplicación en Domotica

Groupware

Aplicación en Domotica

El tacto (háptica) I

El tacto (háptica) II

El tacto (háptica) III

El olfato

Page 39: Tratamiento de Señales Multimedia 1  Fernando parte1

El tacto (háptica) I

Groupware

Aplicación en Domotica

El tacto (háptica) I

El tacto (háptica) II

El tacto (háptica) III

El olfato

¿Por qué preocuparnos por el tacto? Es un canal sensitivo muy importante en el

diseño de sistemas de Realidad Virtual Resulta muy útil para personas con

discapacidades visuales o auditivas Proporciona una realimentación en tareas

como pulsar un botón o una tecla, o arrastrar un objeto por la pantalla

Page 40: Tratamiento de Señales Multimedia 1  Fernando parte1

El tacto (háptica) II

Groupware

Aplicación en Domotica

El tacto (háptica) I

El tacto (háptica) II

El tacto (háptica) III

El olfato

El tacto no está localizado, recibimos los estímulos a través de la piel

Las áreas mas sensibles son los dedos Tenemos tres tipos de receptores

sensoriales: Termorreceptores (calor) Nocirreceptores (intensidad) Mecanorreceptores (presión)

Page 41: Tratamiento de Señales Multimedia 1  Fernando parte1

El tacto (háptica) III

Groupware

Aplicación en Domotica

El tacto (háptica) I

El tacto (háptica) II

El tacto (háptica) III

El olfato

Otros aspectos de la percepción háptica son: El sentido cenestésico o conciencia de la posición del

cuerpo y las extremidades El sentido vestibular, que proporciona información acerca

de la orientación, el movimiento y la aceleración

Normalmente no somos conscientes de ellos, salvo cuando nuestros receptores sensoriales reciben estímulos inadecuados

Son muy importantes en el diseñode sistemas de Realidad Virtual Si no se tienen en cuenta

nos encontramos con problemas

de mareos, nausea y

desorientación espacial

Page 42: Tratamiento de Señales Multimedia 1  Fernando parte1

El olfato

Groupware

Aplicación en Domotica

El tacto (háptica) I

El tacto (háptica) II

El tacto (háptica) III

El olfato

Ha comenzado a ser explorado por las posibilidades que ofrecen los olores para crear mundos virtuales parecidos a los reales.

Además es importante porque el sentido del olfato está conectado con el sistema encargado de procesar las emociones (‘interfaces emocionales’).

Aún existen grandes dificultades para su uso en el diseño de interfaces: Existe una gran variación individual

en la sensibilidad al olor, La sensibilidad se pierde con el

tiempo de exposición, etc.

Page 43: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual I

El olfato

Realidad virtual I

Realidad virtual II

Realidad virtual III

Realidad virtual IV

Realidad virtual V

El ordenador crea un entorno sensorial que es dinámicamente controlado por las acciones de la persona, aparentando ser real para ella.

Dispositivos especiales Aspectos fundamentales:

Interactividad Combinación de sentidos. Inmersión Sensación de realidad. Realimentación visual en

tiempo real, calidad de la imagen

Page 44: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual II

El olfato

Realidad virtual I

Realidad virtual II

Realidad virtual III

Realidad virtual IV

Realidad virtual V

Objetivos Exploración por el usuario de un

mundo virtual creado por el ordenador Exploración de diseños

de arquitectura

Mundo virtual

ordenador

Page 45: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual III

El olfato

Realidad virtual I

Realidad virtual II

Realidad virtual III

Realidad virtual IV

Realidad virtual V

Interacción con otros usuarios participantes en la misma aplicación Juegos tridimensionales o

simulaciones de combates militares

Mundo virtual

ordenador

Page 46: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual IV

El olfato

Realidad virtual I

Realidad virtual II

Realidad virtual III

Realidad virtual IV

Realidad virtual V

Acción a distancia sobre el mundo real a través de una representación virtual del mismo Cirugía a distancia

Mundo virtual

ordenador

Mundo real

Page 47: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual V

El olfato

Realidad virtual I

Realidad virtual II

Realidad virtual III

Realidad virtual IV

Realidad virtual V

Elementos Dispositivos de posicionamiento Dispositivos de visualización Dispositivos de navegación Ordenador Software

Page 48: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual VI

Realidad virtual V

Realidad virtual VI

Realidad virtual VII

Realidad virtual VIII

Realidad virtual IX

Grados de libertad

Mundo tridimensional: 6

grados de libertad

Posición, orientación

Page 49: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual VII

Realidad virtual V

Realidad virtual VI

Realidad virtual VII

Realidad virtual VIII

Realidad virtual IX

Posicionamiento

El objetivo de los posicionadores es determinar la posición (x,y,z) y la orientación (yaw, pitch, roll) de alguna parte del cuerpo del usuario en relación a un punto fijo

La mayoría de los dispositivos de interacción utilizados en realidad virtual tienen un posicionador en ellos

Page 50: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual VIII

Realidad virtual V

Realidad virtual VI

Realidad virtual VII

Realidad virtual VIII

Realidad virtual IX

Latencia La latencia es el "retardo entre el cambio de

la posición y orientación del objetivo que es seguido y el informe de este cambio al ordenador”

Si la latencia es mayor de 50 milisegundos lo notará el usuario y posiblemente puede causar nausea o vértigo

Page 51: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual IX

Realidad virtual V

Realidad virtual VI

Realidad virtual VII

Realidad virtual VIII

Realidad virtual IX

Dispositivos

Posicionadores mecánicos Estructura articulada ajustable Rápidos y exactos pero incómodos

Posicionadores electromagnéticos Emisor externo de campos

electromagnéticos Detector en usuario. Envía al ordenador El ordenador calcula por triangulación Populares pero inexactos. Les afecta el metal

Page 52: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual X

Realidad virtual IX

Realidad virtual X

Realidad virtual XI

Realidad virtual XII

Realidad virtual XIII

Posicionadores ultrasónicos 3 emisores fijos de ondas sonoras

y 3 receptores en el usuario Precisan línea de visión directa

emisor-receptor Posicionadores infrarrojos

Emisores fijos y cámaras receptoras.Triangulación

Precisan línea directa entre emisor y cámara Posicionadores inerciales

Conservación del momento angular.Giroscopios

Grandes volúmenes de trabajo

Page 53: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual XI

Realidad virtual IX

Realidad virtual X

Realidad virtual XI

Realidad virtual XII

Realidad virtual XIII

Visualización Dispositivos

Gafas LCD resplandecientes En cada momento se permite la visión de

un ojo La imagen de la pantalla cambia ligeramente para cada

ojo (izquierda-derecha) Las gafas conmutan de un ojo a otro a 60Hz Ligeros, sin cables y fáciles de usar Hay que mirar a la pantalla: no hay inmersión

Casco (HMD, Head Mounted Display)

Page 54: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual XII

Realidad virtual IX

Realidad virtual X

Realidad virtual XI

Realidad virtual XII

Realidad virtual XIII

Casco (HMD) Los cascos colocan una pantalla enfrente de

cada ojo del individuo todo el tiempo El segmento del ambiente virtual generado y

presentado se controla por la orientación de los sensores montados en el casco

El ordenador reconoce el movimientode la cabeza y genera una nuevaperspectiva

Unas lentes y espejos agrandanla vista y llenan el campo visual

Page 55: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual XIII

Realidad virtual IX

Realidad virtual X

Realidad virtual XI

Realidad virtual XII

Realidad virtual XIII

Audio 3D El sonido aumenta considerablemente la sensación de

realidad Debe modelar las condiciones ambientales:

Fuente y dirección del sonido Efectos ambientales (eco) Ruido de fondo

Evolución del sonido: Sonido monofónico: un altavoz, una señal Sonido estereofónico: dos altavoces, señales

retrasadas Sonido ambiental: más altavoces, se juega con los

retardos Idea: crear un campo de sonido tridimensional Gran potencial para discapacitados (ciegos)

Page 56: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual XIV

Realidad virtual XIV

Realidad virtual XV

Realidad virtual XVI

Realidad virtual XVII

Realidad virtual XVIII

Dispositivos Ratón 3D

Ratón con posicionador Útil para navegar y seleccionar

Palanca de mando Palanca con posicionador

Guante Más intuitivo. Permite manipular objetos Varias tecnologías

Page 57: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual XV

Realidad virtual XIV

Realidad virtual XV

Realidad virtual XVI

Realidad virtual XVII

Realidad virtual XVIII

Guante Fibra óptica Dataglobe (VPL Research) Red de fibras ópticas colocadas a

lo largo de los dedos. En un extremo hay un LED y en otro un fotosensor

Las fibras tienen algunos cortes. Al doblar los dedos la luz escapa por ellos

La cantidad de luz detectada por el fotosensor es una medida de cuánto se ha doblado el dedo

Page 58: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual XVI

Realidad virtual XIV

Realidad virtual XV

Realidad virtual XVI

Realidad virtual XVII

Realidad virtual XVIII

Medidas mecánicas Dexterous Hand Master, DHM Exoesqueleto que se sujeta a los dedos con

bandas de velcro Un sensor mecánico mide la flexión del dedo Mide movimientos de lado a lado de un dedo Más exacto pero más difícil de usar

Page 59: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual XVII

Realidad virtual XIV

Realidad virtual XV

Realidad virtual XVI

Realidad virtual XVII

Realidad virtual XVIII

Galgas extensométricas Powerglobe de Mattel (Nintendo) Menos exacto, bajo precio Tiras de plástico recubiertas de tinta conductora

colocadas a lo largo del dedo Al doblar el dedo varía la resistencia eléctrica de la

tinta

Page 60: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual XVIII

Realidad virtual XIV

Realidad virtual XV

Realidad virtual XVI

Realidad virtual XVII

Realidad virtual XVIII

Ordenador Características más importantes:

Velocidad (polígonos/segundo) Memoria RAM de 256MB a 8GB Monitores de alta frecuencia y resolución

Ejemplos Onyx2 InfiniteReality Deskside. 1 a 4 procesadores. Memoria

de textura de 16 a 64MB. 6M pol/seg Onyx2 InfiniteReality Monster. 2 a 64 procesadores. Memoria

de textura de 80 a 320MB. 80M pol/seg

Page 61: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual XIX

Realidad virtual XVIII

Realidad virtual XIX

Realidad virtual XX

Realidad virtual XXI

Realidad virtual XXII

Software El ojo percibe como tiempo real imágenes que se

proyectan con una secuencia mínima de 50 a 100 mseg Un software de realidad virtual se puede reducir a:

Bucle de eventos Actualización de imágenes Latencia de seguimiento del tracking

Por ejemplo si el bucle consta de 50 mseg, la actualización de las imágenes tarda 50 mseg, y el retardo

del tracking es de 50 mseg, tenemos 150 mseg: estamos un poco por encima del mínimo

Page 62: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual XX

Realidad virtual XVIII

Realidad virtual XIX

Realidad virtual XX

Realidad virtual XXI

Realidad virtual XXII

La cueva

Page 63: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual XXI

Realidad virtual XVIII

Realidad virtual XIX

Realidad virtual XX

Realidad virtual XXI

Realidad virtual XXII

Háptica

La retroalimentación de fuerza es el área de la háptica que trata con dispositivos que interactúan con músculos y tendones, y dan al ser humano una sensación de que se aplica una fuerza.

Estos dispositivos consisten principalmente en robots manipuladores que proporcionan una reacción de fuerza al usuario con fuerzas correspondientes al ambiente virtual en el que está.

Page 64: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual XXII

Realidad virtual XVIII

Realidad virtual XIX

Realidad virtual XX

Realidad virtual XXI

Realidad virtual XXII

La retroalimentación táctil trata con dispositivos que interactúan con los nervios terminales de la piel los cuales indican la presencia de calor, presión y textura

Estos dispositivos se usan típicamente para indicar si el usuario está en contacto con un objeto virtual

Otros dispositivos de retroalimentación táctil han sido utilizados para estimular la textura de un objeto virtual

Cybergrasp

Page 65: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad virtual XXIII

Realidad virtual XXII

Realidad virtual XXIII

Realidad Aumentada I

Realidad Aumentada II

Realidad Aumentada III

Cybertouch

Page 66: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad Aumentada I

Realidad virtual XXII

Realidad virtual XXIII

Realidad Aumentada I

Realidad Aumentada II

Realidad Aumentada III

Es una combinación de texto y gráficos generados por ordenador con imágenes reales, todo ello en tiempo real

Idea: aumentar la información que recibe el usuario

La realidad aumentada puede utilizar los mismos dispositivosque la realidad virtual

Futuro: ordenadores vestibles

Page 67: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad Aumentada II

Realidad virtual XXII

Realidad virtual XXIII

Realidad Aumentada I

Realidad Aumentada II

Realidad Aumentada III

Page 68: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad Aumentada III

Realidad virtual XXII

Realidad virtual XXIII

Realidad Aumentada I

Realidad Aumentada II

Realidad Aumentada III

Page 69: Tratamiento de Señales Multimedia 1  Fernando parte1

Realidad Aumentada IV

Realidad Aumentada III

Realidad Aumentada IV

Conclusiones

Page 70: Tratamiento de Señales Multimedia 1  Fernando parte1

Conclusiones

Realidad Aumentada III

Realidad Aumentada III

Conclusiones

Existe una amplia variedad de dispositivos de interacción que usan todas las maneras posibles de comunicación con los seres humanos

Es importante conocer sus posibilidades para saber cómo aplicarlos