New Media Production

Week 4

Virtual Reality & Augmented Reality

รศ.ดร.พลพงษ บญพราหมณ

สานกวชาสารสนเทศศาสตร

(Virtual Reality)

Virtual Reality หรอเรยกกนยอ ๆ วา “วอาร” (VR) หรอ ความจรงเสมอน

หมายถงรปแบบการปฏสมพนธทใชเทคโนโลยระดบสงเพอสรางการจาลอง

เสมอนจรง ( Real-time Simulation) ผานอปกรณรบสญญานจานวนมาก

เพอใหการประมวลผลใหสามารถแสดงปฏสมพนธใกลเคยงกบในชวตจรงมาก

ทสด

3

ขอบเขตการนาเสนอ บทนา (Introduction) ประวตของ VR ชนดของ VR เทคโนโลยของ VR สถาปตยกรรมของระบบ VR การประยกตใช VR ในงานตางๆ

4

Introduction

What is Virtual Reality(VR)? Virtual Reality refers to a high-end user

interface that involves real-time simulation and interactions through multiple sensorial channels.

.

5

Introduction (Cont’d)

Why VR? VR is able to immerse you in a computer-

generated world of your own making: a room, a city, the interior of human body. With VR, you can explore any uncharted territory of the human imagination.

6

ความเปนมาของความเปนจรงเสมอน

ความเปนจรงเสมอนเปนววฒนาการอยางหนงของเทคโนโลยท

เกดจากการวจยของรฐบาลอเมรกนเมอกวา 40 ปทแลว เพอการวจยและ

พฒนาเทคโนโลยสาหรบดานการทหารและการจาลองในการบน

ตอมาในระหวาง พ.ศ. 2503 – 2512 (ทศวรรษ 1960s) lvan

Sutherland ซงนบเปนบดาของเทคโนโลยความจรงเสมอนไดประดษฐ

จอภาพสวมศรษะ 3 มต รนแรกออกมา และในระยะนนไดมพฒนาการ

ดานคอมพวเตอรกราฟกเกดขน การใชจอภาพสวมศรษะรวมกบ

คอมพวเตอรกราฟก 3 มต จงนบเปนตนกาเนดของเทคโนโลยความจรง

เสมอนในปจจบน

7

ในระหวาง พ.ศ. 2513 – 2532 (ทศวรรษ 1970s – 1980) การวจยใน

หองปฏบตการวจยอวกาศอารมสตรอง ไดพฒนาเทคโนโลยการจาลองการ

บนโดยการปรบปรงจอภาพสวมศษะใหดขนโดยใหนกบนสวมใสแลวจะม

ความรสกกลมกลนไปกบสภาพแวดลอมเสมอนจรง เมอนกบนมองออกไปใน

โลกความจรงเสมอนซงปรากฏอยเบองหนาแลว จะเหนเสมอนวามเครองบนอนปรากฏอยภายใตสภาพแวดลอมนนในชวงเวลาเดยวกนนนเอง

การวจยเกยวกบความจรงเสมอนในมหาวทยาลยตางๆในสหรฐอเมรกากมการ

ดาเนนการอยางกวางขวาง เชนทมหาวทยาลย North Carolina ไดมการใช

เทคนคความจรงเสมอนในการสรางจนตนาการดานสถาปตยกรรมและดาน

การแพทยและทมหาวทยาลย Wisconsin และมหาวทยาลย Connecticut ไดม

การวจยเกยวกบ “ความจรงประดษฐ” ทซงความมปฏสมพนธกบโลกเสมอนจรง

สามารถใชไดทงทางดานการศกษาและบนเทง

9

ในชวงประมาณ พ.ศ.2531-2532 โครงการ NASAไดชวยแพรเทคโนโลยความจรง

เสมอนไปโดยไมตงใจ โดยแมวา NASA จะมเงนทนจากดในการทางาน แต

นกวทยาศาสตรของ NASAไดรวมกบโปรแกรมเมอรและผผลตอปกรณเกยวกบ

คอมพวเตอรไดนาเอาสวนประกอบตางๆ ทมอยแลวมาประดษฐรวมกนเพอใหได

จอภาพสวมศรษะในราคาเยาวและใชเปนครงแรกในกองทพอากาศ การประชาสมพนธ

โครงการนไดชวยโหมกระพอความนาตนเตนของเทคโนโลยความจรงเสมอนใหมมาก

ยงขน และตางกหวงวาการใชเทคโนโลยความจรงเสมอนคงจะมราคาถกเพอใหสามารถ

ใชไดทวไปในชวตประจาวน

10

ในป2536 เทคโนโลยความเปนจรงเสมอนไดขยายวงกวางทางดาน

บนเทง โดยเฉพาะอยางยงในสถานบนเทง เชน ดสนยเวลดไดมการใช

เทคโนโลยอยางกวางขวาง ในระยะตอมาผผลตเกมคอมพวเตอรเชน Sega

และ Nintendo ไดนาเทคโนโลยความจรงเสมอนมาใชในเกมตางๆแทน

ของเดม ในขณะทบรษทตางๆไดพฒนาการใชความจรงเสมอนในดาน

บนเทงอยน สถาบนการศกษาและกลมนกวจยกมความพยายามในการนา

ความจรงเสมอนมาใชในดานตางๆ เชน ดานวศวกรรม วทยาศาสตร

การแพทยและการฝกอบรม

11

ชนดของ VR (Types of VR System)

Windows on World(WoW)

– Also called Desktop VR.

– Using a conventional computer monitor to display the 3D virtual world.

12

Types of VR System Immersive VR

– Completely immerse the user's personal viewpoint inside the virtual 3D world.

– The user has no visual contact with the physical word. – Often equipped with a Head Mounted Display (HMD).

13

Types of VR System(Cont’d)

Telepresence – A variation of visualizing

complete computer generated worlds.

– Links remote sensors in the real world with the senses of a human operator. The remote sensors might be located on a robot. Useful for performing operations in dangerous environments.

14

VR Examples (Cont’d)

Telepresence VR

15

Types of VR System(Cont’d)

Mixed Reality(Augmented Reality) – The seamless merging of real space and

virtual space. – Integrate the computer-generated virtual

objects into the physical world which become in a sense an equal part of our natural environment.

16

VR Examples (Cont’d)

Augmented VR

17

Types of VR System(Cont’d) Distributed VR

A simulated world runs on several computers which are connected over network and the people are able to interact in real time, sharing the same virtual world.

18

Technologies of VR--Hardware

อปกรณในการทางานของความเปนจรงเสมอน

การทางานของความเปนจรงเสมอนจะประกอบดวยอปกรณสาคญ 2 อยาง

คอ จอภาพสวมศรษะและถงมอรบรโดยการทางานรวมกบซอฟแวรโปรแกรม

คอมพวเตอร

จอภาพสวมศรษะ

จอภาพสวมศรษะ หรอทเหนทวไปคอชดแวนตา ประกอบดวยแวนตาท

บรรจจอมอนเตอรขนาดเลกซงทาดวยกระจก 3 มต เรยกวา stereoscopic glasses

กระจกจะทามมกวางประมาณ 140 ซงครอบคลมการเหนในแนวนอนเกอบทงหมด

ชดแวนตาจะใชสญญาณอนฟาเรดพรอมเลนสปด-เปด รรบแสงทาดวยการเสนอภาพ

ทแยกกนเลกนอยอยางรวดเรวในเลนส แวนตาทง 2 ขางสามารถเคลอนทไดโดยรอบ

ในเนอท 3 มต ซงขนอยวามอะไรเกดขนในทศทางใดบางในไซเบอรสเปซนน

19

Technologies of VR--Hardware

Head-Mounted Display (HMD) − A Helmet or a face mask providing the visual and auditory

displays. − Use LCD or CRT to display stereo images. − May include built-in head-tracker and stereo headphones

20

http://www.jvrb.org/articles/34/figure2.jpg

• Lets us see new views of virtual worlds as we turn our heads • Three-dimensional depth perception is created by “stereoscopy,” where slightlydifferent views of the same imageappear to each eye.

21

Head Tracking

• A tracking mechanism registers any head motion by the user. •When the user moves her/his head, the scene changes accordingly, just as in real life

22

Technologies of VR--Hardware Binocular Omni-Orientation Monitor (BOOM)

− Head-coupled stereoscopic display device. − Uses CRT to provide high-resolution display. − Convenient to use. − Fast and accurate built-in tracking.

23

Technologies of VR--Hardware

Cave Automatic Virtual Environment (CAVE) − Provides the illusion of immersion by projecting stereo

images on the walls and floor of a room-sized cube. − A head tracking system continuously adjust the stereo

projection to the current position of the leading viewer.

Cave Automatic Virtual Environment (CAVE)

• A room with projections on all walls, floor and ceiling

• The users wear shutter glasses to get a 3D view of the world.

• The users are able to move and control the environment with some kind of input mechanism – Camera – Device in hand

25

ถงมอรบร

ถงมอรบร เปนถงมอขนาดเบาทมเสนใยนาแสงเรยงเปนแนวอยตาม

นวและเมอเปนเครองรบรการเคลอนทและสงสญญาณไปยงคอมพวเตอรเมอ

สวมถงมอแลวจะทาใหเขาถงสงแวดลอม 3 มต ถงมอรบรจะทาใหผใชจบตอง

และรสกไดถงวตถสงของซงไมมอยนนจรง ผวหนาของถงมอจะมการกระตน

การสมผส เมอคอมพวเตอร รบความรสก วามอของผใชกาลงจบวตถเสมอน

ซงแมจะไมมอยจรงกตาม แตผใชจะมความรสกเสมอนวตถนนเปนของจรง

นนคอเมอเราจบวตถเสมอน เราจะรสกเสมอนวาเราไดจบวตถจรงดวยนวของ

เราเอง ถงมอทรบรนยมใชกนจะเปนถงมอความดนลมทมเครองรบความรสก

และถงลมเลกๆ อยภายใน ไดแก ถงมอขอมล ซงเปนผลตภณฑของบรษท วพ

แอล รเสซ อนคอรพอเรชน

http://www.sg.hu/kep/2001_07/SensorGloveII.jpg

26

Technologies of VR--Hardware

Data Glove – Outfitted with sensors on the fingers as well as an overall

position/orientation tracking equipment. – Enables natural interaction with virtual objects by hand gesture

recognition.

27

Technologies of VR--Hardware

Control Devices – Control virtual objects in 3 dimensions.

28

Technologies of VR--Software

Toolkits – Programming libraries. – Provide function libraries (C & C++).

Authoring systems – Complete programs with graphical interfaces for creating

worlds without resorting to detailed programming.

29

Technologies of VR--Software

– Multiverse (Freeware) – Virtual Reality Studio ($100) – Sense8 World Tool Kit (WTK) (over $1000) – Autodesk Cyberspace Development kit (over $1000)

ซอฟแวรโปรแกรม

การทเราจะเหนภาพ 3 มต จะตองใชซอฟแวรโปรแกรมเพอสรางภาพบน

คอมพวเตอรเพอใหผใชสามารถทองสารวจไปในโลกเสมอนจรงได พฒนาการของโปรแกรมตางๆ

เชน vream’s the VREAM System,Sense8’s WorldToolkit,เปนสงทชวยในการนาหรอสรางวตถ 3

มต และเพมคณลกษณะๆเชน เสยง การเคลอนทและการเชอมโยงหลายมต ระบบการทางานของ

โปรแกรมจะจดการฐานขอมลของวตถเสมอนและปรบใหเปนไปตามการเคลอนทของผใช

30

Technologies of VR--Software

VRML(Virtual Reality Modeling Language) − Standard language for interactive simulation

within the World Wide Web. − Allows to create "virtual worlds" networked via

the Internet and hyperlinked with the World Wide Web.

− Aspects of virtual world display, interaction and internetworking can be specified using VRML without being dependent on special gear like HMD.

– VR models can be viewed by Netscape or IE with a browser plug-in.

Virtual reality Modeling Language (VRML)

Most exciting is the ongoing development of VRML on the World Wide Web. In addition to HTML (Hypertext Markup Language), that has become a standard authoring tool for the creation of home pages, VRML provides three-dimensional worlds with integrated hyperlinks on the Web. Home pages become home spaces.

Characteristics Of VRML • Not a programming

language like c++ or java

• Descriptive (rather than procedural) like HTML

• File formats contains human readable and editable ASCII text

33

Architecture of VR System

Input Processor, Simulation Processor, Rendering Processor and World Database.

Input Processor

Rendering Processor

World Database

Simulation Processor

visual, auditory, haptic, touch…

Position & Orientation

VR Framework

Start Stop

Get/Set

Proxy

Simulation

Movement Speech

Input

Human

World

Input 1

Output 2

Output 3

Selection Measurement

Operation

Interaction

Graphics Sounds

Output

35

Components of VR System (Cont’d) Input Processor

– Control the devices used to input information to the computer. The object is to get the coordinate data to the rest of the system with minimal lag time.

– Keyboard, mouse, 3D position trackers, a voice recognition system, etc.

36

Components of VR System (Cont’d)

Simulation Processor – Core of a VR system. – Takes the user inputs along with any tasks

programmed into the world and determine the actions that will take place in the virtual world.

37

Components of VR System (Cont’d) Rendering Processor

– Create the sensations that are output to the user. –Separate rendering processes are used for visual, auditory, haptic and other sensory systems. Each renderer take a description of the world stat from the simulation process or derive it directly from the World Database for each time step.

38

Components of VR System (Cont’d) World Database (World Description

Files) – Store the objects that inhabit the world,

scripts that describe actions of those objects.

Applications

• Ergonomics Design • Architecture • Training • Medicine • Engineering and Design • E-Commerce • Entertainment • Manufacturing

40

การใชความจรงเสมอนในวงการตางๆ

ความจรงเสมอนเปนระบบคอมพวเตอรททาใหผใชจมอยใน

ภาพลวงตาของคอมพวเตอรและสามารถสารวจผานโลกลวงตานได เราจง

สามารถนามาประยกตใชใหเกดประโยชนในวงการตางๆ ไดมากมายหลายแขนง

อาทเชน กายศาสตร(ergonomics ) โบราณคด การแพทย สถาปตยกรรม

บนเทง ดงน

กายศาสตร เนองจากเทคโนโลยความเปนจรงเสมอนเปน

การนารางกายคนเราเขาไปอยในโลกเสมอนจรง จงนบไดวาเปนระบบ ถา

องคการ NASA ตองการทจะออกแบบอปกรณทางดานอวกาศจะใชอปกรณเลา

นนไดอยางไร นกวจยของ NASA ตองใชความจรงเสมอนในการทาออกแบบ

อปกรณและทดสอบวารางกายมนษยจะสามารถเขากนไดและใชอปกรณนนได

อยางไร (การยศาสตร :ergonomics เปนการศกษาและปฏบตการออกแบบอป

การณเพอใหสอดคลองและไดสดสวนกบกายวภาคของมนษย รวม

สภาพแวดลอมตางๆ ดวย

ดานสถาปตยกรรม (Architecture)

An area in which virtual reality has tremendous potential is in architectural design. Already being created are architectural "walk-throughs" that allow designers and clients to examine homes and office buildings, inside and out, before they're built. With virtual reality, designers can interactively test a building before construction begins.

44

ดานการศกษาและการฝกอบรม

Education & Training – Driving simulators. – Flight simulators. – Ship simulators. – Tank simulators.

Training

• United States: The military used it as flight simulators to train pilots.

• National Aeronautics and Space Administration (NASA) use VR technology to construct a model of the Hubble Space Telescope (HST) .in September, 1993, approximately 100 members of the NASA HST flight team received over 200 hours of training using the VR...

Driving simulators

Flight simulators

Ship simulators

Tank simulators

VR in Education

“By using VR in education abstract material now considered too difficult for many students and taught even to advanced learners only at the college level could be mastered by most students in middle school and high school.” -NASA Software Technology Branch

VR in Education • Think of a child exploring a forest for the 1st time. • A child will best learn about the forest not from reading or listening, but by walking into it and becoming a part of it. • The child is free to explore the forest any way she likes. • Discovery and experience are the best teacher.

VR in Education

VR in Education

VR in Education

55

การประยกตใชทางการแพทย

การแพทย แพทยและศลยแพทยใชความจรงเสมอนในการดระบบ 3 มต

ในรางกายคนไข หรอแมแต “เดนสารวจ”ผานทางสมอง ซอมการผาตดผานทาง

คนไขเสมอนกอนทจะทาการผาตดจรง โดยสามารถเลยนแบบการเรยนทาง

การแพทยทใชเครองมอจรงในการทาการแตจะผาตดกบหนจาลองพลาสตกโดย

ปรบใหอยในโลกเสมอนจรง อกวธหนงทใชความจรงเสมอนในการผาตดจะ

เปนการใชเครองมอขนาดจวเรยกวา “กลองสองภายใน” (endoscope) ทม

ปลายทอสอดเขาไปในรางกายคนไข การผาตดจะใชกลองสองภายในนแทนท

จะผาตดใหมรอยผาทรางกายคนไขจงทาใหลดความเจบปวดและเพมความ

ปลอดภยในการผาตดเปนอยางมาก

Medicine • researchers are using virtual reality technology to create 3-D

ultrasound images to help doctors diagnose and treat congenital

heart defects in children

• The medical application of VR was stimulated initially by the need of

medical staff to visualise complex medical data, particularly during

surgery and for surgery planning, and for medical education and

training.

57

Applications (Cont’d) Medicine

− Practice performing surgery. − Perform surgery on a remote patient. − Teach new skills in a safe, controlled environment.

58

การประยกตใชในงานอตสาหกรรม

Manufacturing – Easy to modify – Low cost – High efficient

59

การประยกตใชในงานโบราณคด

โบราณคด ความจรงเสมอนจะชวยในการสารวจซากโบรณวตถท

คนพบไดวาของเดมเปนอยางใดและอยในสมยใด และชวยในการคด

คานวณขอมลตางๆ เชนขนาดของโบราณสถาน อาท ปรามดไดอยาง

รวดเรวและเปนทหวงกนวาสกวนหนงนกวทยาศาสตรจะสามารถ

ศกษาทะเลสาบทอยใตทวปแอนตารกตกาไดโดยใชความจรงเสมอน

ในลกษณะของการใชหนยนตระยะไกล (telerobotics)

Bam and its Cultural Landscape After the earthquake of the 26th December 2003 and the

immense destruction of the Bam heritage in Iran, the reconstruction of the ruins especially of the citadel of Bam has become an important task for experts.

first phase of the project were to develop the 3Dimensional models of 7 case studies inside the citadel of Bam (Main gate,Bazaar,Tekkiyeh (religious plaza), Mosque, Sistani house, barrack, stable, four season reception room

Cont….

The team of drawing the 3D models consisting of in Japan from Waseda University and the team of Raaz Ahang architectural firm in Iran from University of Tehran has made a tremendous effort to build the 3D models.

67

การประยกตใชเพองานศลปะและบนเทง บนเทง มการทดลองสรางสถานบนเทงแบบใหม ทใชเทคโนโลยความจรง

เสมอนในรปแบบของภาพยนตรเดมแตจะมอปกรณอานวยความสะดวกนานา

ชนด ผแสดงจะแปลงรางไดหลายแบบในการแสดงจะใหความบนเทงทเหนอ

ชนกวาสถานบนเทงทวไป นอกจากนสวนสนกตางๆเชน DisneyWorldและ

Universal Studio ในรฐฟลอรดา สหรฐอเมรกา กใชเทคโนโลยความจรง

เสมอนกบเครองเลนตางๆเพอความตนเตนเราใจแกผเลนเปนอยางมาก

68

Entertainment – More vivid – Move exciting – More attractive

VR in Arts

VR in Games

VR in Research

74

Current problems Cybersickness / simulator sickness Low-fidelity Expensive Lack of integration between application packages

& Future work High-fidelity system Cost-saving Collaborative High-level contact between participants in distributed

VR

75

Summary

Visualization of complicated, large data is helpful for understanding and analysis.

VR offers us a new way to interact with computer.

VR enables us to experience the virtual world that is impossible in real world.

VR is changing our life, eventually VR will increasingly become a part of our life.

Augmented Reality Goals

Taxonomy Technology

What is Augmented Reality?

• A combination of a real scene viewed by a user and a virtual scene generated by a computer that augments the scene with additional information.

The Ultimate Goal of AR • Create a system such that no user CAN NOT

tell the difference between the real world and the virtual augmentation of it.

Augmented Reality vs. Virtual Reality

Augmented Reality • System augments the

real world scene • User maintains a sense

of presence in real world

• Needs a mechanism to combine virtual and real worlds

Virtual Reality: • Totally immersive

environment • Visual senses are under

control of system (sometimes aural and proprioceptive senses too)

Miligram’s Reality-Virtuality Continuum

Mixed Reality (MR)

Real Environment

Virtual Environment

Augmented Reality (AR)

Augmented Virtuality (AV)

Miligram coined the term “Augmented Virtuality” to identify systems which are mostly synthetic with some real world imagery added such as texture mapping video onto virtual objects.

Miligram’s Taxonomy for Mixed Reality Displays

• Reproduction Fidelity – quality of computer generated imagery

• Extent of Presence Metaphor – level of immersion of the user within the displayed scene

• Extent of World Knowledge – knowledge of relationship between frames of reference for the real world, the camera viewing it, and the user Reproduction

Fidelity

Extent of Presence Metaphor

Extent of World Knowledge

Combining the Real and Virtual Worlds

We need: • Precise models • Locations and optical properties of the viewer

(or camera) and the display • Calibration of all devices • To combine all local coordinate systems

centered on the devices and the objects in the scene in a global coordinate system

Combining the Real and Virtual Worlds (cont)

• Register models of all 3D objects of interest with their counterparts in the scene

• Track the objects over time when the user moves and interacts with the scene

Realistic Merging

Requires: • Objects to behave in physically plausible manners

when manipulated • Occlusion • Collision detection • Shadows **All of this requires a very detailed description of the

physical scene

Components of an Augmented Reality System

Research Activities

• Develop methods to register the two distinct sets of images and keep them registered in real-time – New work in this area has started to use computer

vision techniques

• Develop new display technologies for merging the two images

Performance Issues

Augmented Reality systems are expected: • To run in real-time so that the user can move around

freely in the environment • Show a properly rendered augmented image

Therefore, two performance criteria are placed on the system:

• Update rate for generating the augmenting image • Accuracy of the registration of the real and virtual

image

Limitations for Updating the Generated Images

• Must be at 10 times/second • More photorealistic graphics rendering • Current technology does not support fully lit,

shaded and ray-traced images of complex scenes

Failures in registration due to: – Noise

• Position and pose of camera with respect to the real scene

• Fluctuations of values while the system is running

– Time delays • In calculating the camera position • In calculating the correct alignment of the graphics

camera

Failures in Registration

Display Technologies

• Monitor Based • Head Mounted Displays:

– Video see-through – Optical see-through

Monitor Based Augmented Reality

• Simplest available • Little feeling of being immersed in

environment

Optical see-through HMD

Feb 4, Spring 2002 CS 7497 93

Video see-through HMD

Video Composition for Video see-through HMD

• Chroma-keying – Used for special effects – Background of computer graphics images is set to

a specific color – Combining step replaces all colored areas with

corresponding parts from video • Depth Information

– Combine real and virtual images by a pixel-by-pixel depth comparison

Advantages of Video see-through HMD

• Flexibility in composition strategies • Wide field of view • Real and virtual view delays can be

matched

Advantages of Optical see-through HMD

• Simplicity • Resolution • No eye offset

Applications

• Medical • Entertainment • Military Training • Engineering Design • Robotics and

Telerobotics

• Manufacturing, Maintenance, and Repair

• Consumer Design • Hazard Detection • Audio

98

Reference

[1] What is Virtual Reality?, http://vr.isdale.com/WhatIsVR/frames/WhatIsVR4.1.html.

[2] Augumented and Mixed Reality, http://www.mic.atr.co.jp/~poup/research/ar/.

[3] Virtual Reality Applications, http://vresources.jump-gate.com/applications/applications.shtml.

[4] K.-P. Beier. Virtual Reality: A short Introduction. http://www-vrl.umich.edu/intro/

[5] Franchi,J. Vertual Reality: An Overview. ERIC Digest, June 1995

Q & A