>> Aplicaciones

App. Realidad Virtual A. García-Alonso 1

>> Aplicaciones <<Realidad VirtualVirtual Reality

LINK http://www.sc.ehu.es/ccwgamoa/docencia/Material/Presentaciones

http://www.sc.ehu.es/ccwgamoa/docencia/Material/Presentaciones


Apuntes históricos• 1970 Plotter• 1975 Vector images (“osciloscopio”) Tektronix• 1980 raster (“terminals”, PCs, micros)• 1983 (z) depth-buffer (3D, Clark “geometry

engine”)• 1985 Workstation Silicon Graphics• 1992 CAVE (Carolina Cruz Neira, Tom DeFanti)• 2000 GPU NVidia … • 2005 Consolas Nintendo, Sony, Microsoft TfnoMóvil, TVstereo, autostereo

VR-Introducción A. García-Alonso 3

Terminología

• Visualización (3D) interactiva • GPU (Graphic Processing Unit), ancestors :

– graphic accelerator– graphic engine

• Real time• Real time feedback

– Capture user interaction– Generate 3D images

• Interfaces– “Desktop”– Visualización 3D


Terminología• Telepresencia Visualización

– retransmitir vs. generar • Simulación Visualización

– refresco, problemas específicos• Simulación & Animación

– variedad hasta el equívoco• Imágenes estereoscópicas


Interacción persona-computador• Historia

– Tarjetas perforadas (lotes)– Terminal alfanumérico (interacción)– Gráficos por ordenador (interacción gráfica : GUI )– Sistemas de ventanas (desktop metaphor)

• Investigación presente y Futura expansión– Realidad Virtual y Realidad Aumentada– Sistemas colaborativos– 3D GUI (sobremesa, proyectado, aumentado)– Sistemas “User oriented”


Technologies• Telepresence• Virtual Reality

– VR vs. Interactive visualization • Augmented Reality• Mixed Reality

VIDEOS


Inmersión• Recibir acciones de la(s) persona(s) +• Modelo físico (geometría + propiedades) +• Simulación ( leyes físicas + relaciones + IA ) +• Generar sensaciones

=> I N M E R S I Ó N

ligaduras mecánicasgravedad, electrostática, ...

térmicascomportamientos (rebaños/ia)


Inmersión• Recibir de la(s) persona(s) input devices ( capture ) +• Modelo físico estruct. Datos ( modelado ) +• Simulación algorit. ( animación ) +• Generar sensaciones output devices ( rendering )

=> I N M E R S I Ó N


Areas de aplicación• Visualización científica

– Fluidos– Deformaciones

• Arquitectura y decoración• Entrenamiento de operadores (máquinas y vehículos)• “Simuladores”• Medicina• CAD, fabricación, montaje, mantenimiento, ...


Comunicación en el mundo real• Real environment (medio ambiente real: mundo y personas)

– Vista ¿ gestos ?

– Oido ¿ habla ?

– Tacto bidireccional (coupled) !!! (temperatura, fuerza, presión, rugosidad, etc.)– Gusto ¿ ser “gustado” ?

– Olfato ¿ olor segregado ?

• Virtual environment– Nos limitaremos a comunicación : VE ↔ usuario– Prescindimos de : avatar(es) ↔ usuario (clases de Amalia)


Comunicación : del VE al usuario• Nos muestra imágenes• Nos habla o genera sonidos• Realimentación háptica• Nos ofrece sabores u olores


Comunicación : del usuario al VE• Nos ve: capta posiciones (visión/sensores) e interpreta

– Cuerpo y extremidades, mano, cara (o sólo boca) – Reconoce gestos (posiciones o secuencia movimientos)

• Nos oye (comando, lenguaje natural)• Realimentación háptica• ¿nos saborea o nos huele?

Acción directa input devices : mouse, wand, haptic, glove, …


Temas• Conceptos : inmersión, interacción, captura, modelado,

animación, rendering, telepresencia, VR, AR, haptic• Equipos : displays y hápticos• Geometría : modelos & challenges• Image rendering• APIs• Práctica : openGL, estéreo, haptic.


Estereo• Pasivo : cines• Activo : home estereo TV• Autoestereo• Otros : anaglyph images (anaglifos), goggles (+ lentillas,

proyección directa sobre ojo), holográficos


Sistema visual• Cuadro o película (parte de una pared)

– No inmersivo• Proyección envolvente (estéreo panel suficientemente grande,

pantalla curva, o varias paredes)– Inmersión parcial

• Pantalla transparente (placa o “gafas”)– Inmersión parcial

• Inmersion (gemelos -goggles-, periscopio -boom-, casco -head mounted display-, CAVE)– Pura imagen virtual


Gráficos por

Computador

(Visualización)


Gráficos por Computador• Base para el principal subsistema de salida en VR

– (recordar esquema)• IGS : Image Generation System

– distintos niveles de abstraccion o encapsulamiento• librerías gráficas• sistemas gráficos• visualizadores de ficheros

– problemas de I/O


IGS : Image Generation System• librerías gráficas

– OpenGL, Direct3D, ...• sistemas gráficos

– Inventor, Performer– Sistemas para visualizar bases de datos geométricas muy

grandes (HP, SGI, SGI & Microsoft, Second life)– Simuladores

• visualizadores de ficheros– DXF, Catia, SolidEdge, ... VRML, X3D


Conceptos básicos• frame buffer

– pixel, resolución– memoria en la tarjeta gráfica

• 256 colores• tabla de colores + índice de color• true color (8 + 8 + 8)

– refresco de la memoria gráfica– información referida a un pixel:

• RGB (8 x 3 bits)• RGBA• profundidad Z (2 ó 4 bytes)• doble buffering• GPUs


Conceptos básicos• “frame” o cuadro

– tiempo real– “off line”

• generación / reconocimiento (síntesis/análisis)– cooperación

• texturas• i/f de usuario

• generación, síntesis, infografía, GxC– modelos– animación– visualización


Elementos de GxC• modelos

– geometría y topología– materiales– fuentes de luz

• animación– posición cuerpos, luces, cámaras, ...– transformación de cámara (perspectiva, paralela, ...)– cambios de propiedades en el tiempo,– deformaciones,– crecimiento, – leyes físicas o comportamientos, ...


.....• Visualización

– interactiva o en tiempo real / en espera o en lote– visibilidad e iluminación– modelo interacción luz-superficie– luz ambiente– sombras– transparencia– reflejos– profundidad de campo, .....


El proceso de generación de imagen• limpiar frame buffer y z-buffer• definir posición y orientación de la cámara (otros

parametros no suelen variar de frame a frame)• definir luces• recorrer cuerpos• declarar su posición (matriz)• recorrer superficies• definir material• enviar los polígonos• “swap” de frame buffers

Field of view & aspect ratio

z

yα

yx z


zzzzz• zzz• aaa

– xxx– fffff

• gggg

xxxxxxxx

Documents

>> Aplicaciones