Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich

ZMIEŠANÁ REALITA

doc. Ing. Branislav Sobota, PhD.

Katedra počítačov a informatiky

FEI TU Košice

© 2016

Systémy Virtuálnej Reality

KPI FEI TU Košice SVR - Zmiešaná realita 2

Zmiešaná realita (MR) (Azuma)

STAR 1200XL (Vuzix)

Zmiešaná realita (mixed reality, MR) je oblasť

počítačového výskumu zaoberajúca sa

kombináciou reálneho sveta a počítačom

generovaných dát (virtuálnej reality), kde

počítačom generované syntetické objekty sú

vmiešavané do reálneho prostredia a naopak,

v reálnom čase

MS Hololens


Zmiešaná realita ako koncept

používateľského rozhrania

Používateľské rozhranie má mnoho foriem. Jedná sa v princípe o

systém styku medzi dvomi oblasťami/subjektami a môže sa

vyskytovať nie len v počítačoch, ale na akomkoľvek

prístroji/systéme. Napríklad ovládač k televízoru má

používateľské rozhranie.

Oblasť/

subjekt

A

Oblasť/

subjekt

B

Rozh

ra

nie


Human-computer interface (Card et. al)

Identifikácia hranice HCI je pomerne obtiažna. Kľúčovým

aspektom je možno to, že používateľ a počítač musia byť

zapojení do komunikatívneho dialógu, ktorého účelom je

dosiahnutie vykonania nejakej úlohy. Dialóg môže byť časovo

obmedzený, pretože počítač aj používateľ majú prístup k

prúdu symbolov ktoré putujú tam a späť za účelom

uskutočňovania komunikácie; každý z nich môže prerušiť,

dopytovať a opravovať komunikáciu na rôznych miestach v

tomto procese. Všetky mechanizmy, ktoré sa pri tom

používajú, tvoria rozhranie: fyzické zariadenia, napr.

klávesnice a displeje, ako aj počítačové programy určené

pre kontrolu interakcie.


Základné charakteristiky MR

• kombinuje reálne a virtuálne

• je interaktívna

• prebieha v reálnom čase

• je registrovaná v troch dimenziách

Systém zmiešanej reality je považovaný

za definitívne imersívny systém aj v rámci konceptu HCI

Ronald T.Azuma


Zmiešaná realita – Milgramovo continuum

• Rozšírená (obohatená) realita (augmented reality, AR) – vkladanie syntetizovaných objektov do reálneho sveta

• Rozšírená virtualita (augmented virtuality, AV) – vkladanie reálnych objektov do syntetizovaného sveta

Milgramov prechod (Milgramovo continuum) medzi reálnym a virtuálnym prostredím


Zmiešaná realita – Mannova klasifikácia

Realita Virtualita

Rozšírená realita (augmented reality, AR)

Rozšírená virtualita (augmented virtuality, AV)

Medialita

(sprostredkovanie)

Striktne sprostredkovaná virtualita

Sprostredkovaná realita (mediated reality, MR)

Sprostredkovaná virtualita (mediated virtuality, MV)


Medialita

Medialita vo forme sprostredkovania

Sprostredkovanie z hľadiska tejto technológie je rozšírený pojem zahrňujúci aj

isté prvky prenosu zviditeľnenia (vizualizácie) do iného formátu t.j. transformáciu

objektov do „mediálnej“ podoby.

Mediácia - proces prevádzania (transformácie) údajov v rámci vytvárania resp.

presunu objektov zahrňujúci aj množinu transformácií umožňujúcich transport

údajov na zviditeľnenie (vizualizáciu)

Medialita je potom chápaná ako interaktívne rozhranie t.j. prostredie styku

rozdielnych svetov. Jedná sa teda o mieru možného prepojenia medzi

heterogénnymi svetmi, v ktorých sú využívané rozdielne formy sprostredkovania

(zviditeľnenia, vizualizácie).


Typy MR systémov (podľa toho ako pozorovateľ vidí MR)

MR s priamym pohľadom

(optical see-through)

(s polopriepustným displejom)

MR s nepriamym pohľadom

(video see-through)

(s HMD)


Typy MR systémov (podľa toho ako dochádza k zlaďovaniu virtuálnych objektov s reálnym svetom )

• systémy so značkami (marker systems) – do reálnej scény sa umiestnia špeciálne značky, ktoré sú počas behu rozpoznané a nahradené virtuálnymi objektmi

• systémy bez značiek (semi-markless, markerless systems) - vyhodnocovanie a vkladanie je bez značiek, avšak sú potrebné iné doplnkové informácie napr. rozpoznanie obrazu, tváre príp. GPS


Obohatená a rozšírená realita (podľa toho v akom priestore dochádza k zlaďovaniu virtuálnych objektov s reálnym

svetom )

• Obohatená realita – bez priamej geometrickej väzby s reálnym svetom

• Rozšírená realita – s geometrickou väzbou s reálnym svetom

Google Glass


Toky dát v systémoch VR/MR

Vstupné

rozhrania

Vstupno-

výstupné

rozhrania

Vstupné dáta

Jadro VR

systému

Vstupné

dáta

jadra

Výstupné dáta

jadra

Dáta generované

jadrom VR systému

VSTUPY VÝSTUPY

Výstupné

rozhrania

Výstupné dáta

Vstupno-

výstupné

rozhrania


Previazanie zobrazovaných obrazov v systémoch

MR

reálna scéna videná používateľom

súradnicový systém reálnej

scény

Virtuálny (syntetizovaný) objekt

súradnicový systém virtuálnej

scény

Zosúladenie reálnej a virtuálnej scény

(prepočet súradnicových systémov)

súradnice pozície kamery

Renderovanie grafiky (výpočet výslednej

virtuálnej grafickej scény)

súradnice pozície kamery

súradnicový systém sveta

(výstupná súradnicová sústava)

Obraz scény (reálny pohľad)

Virtuálny obraz (virtuálny pohľad)

súradnice obrazu reálnej scény

súradnice virtuálneho obrazu

Výstupné zobrazovacie zariadenie

Výstupný obraz zmiešanej reality

R

používateľ


Oblasti nasadenia MR systémov

• Výskumné a akademické aktivity

• Komerčné systémy

• Počítačové hry, exteriérová MR

• MR v mobilných zariadeniach

• Armádne nasadenie

• Medicína

• Priemyselné riešenia, architektúra

• Výuka a tréning


MR vo výskumných aktivitách

• MARS (Mobile Augmented Reality System created at GC and UI lad of Columbia University): http://graphics.cs.columbia.edu/projects/ mars/mars.html

• ARMAR (Augmented Reality for Maintenance And Repair): http://graphics.cs.columbia.edu/projects/armar/index.htm

• Sixth Sense (Wearable gestural interface developed at MIT media lab): http://www.pranavmistry.com/projects/sixthsense/index.htm

• ARToolKit (Software library for building AR applications created by Human Interface Technology laboratory): http://www.hitl.washington.edu/ artoolkit/

• DART (Designer’s Augmented Reality Toolkit created by Augmented Environments Laboratory of Georgia Institute of Technology): http://www.cc.gatech.edu/dart/


Komerčné MR systémy • Mirage - kompletný AR system vyvinutý Arcane Technologies: http://www.arcane-technologies.com/en/

• Virtual Box Simulator - aplikácia pre optimalizáciu zásielky pred poslaním: https://www.prioritymail.com/simulator.asp?id=18015211&ssno=26968

• Layar - štandardizácia AR zobrazovača: (http://blog.machinecontrolonline.com/?p=279)

• InterSense - riadenia strojov a zariadení a tréning obsluhy a servisu: (http://www.intersense.com)

• Boeing repair assistant (http://www.boeing.com)

• Procter & Gamble - reklamná kampaň na produkty Always (http://www.always.com/infinity/always_infinity.jsp#/experience-the-magic)

• D’Fusion (software na návrh a prezentáciu pomocou MR (AR): http://www.t-immersion.com/en,solution-presentation,559.html


Exteriérová MR a hry

Komponenty systému ARQuake a pohľad používateľa

http://wearables.unisa.edu.au/arquake


MR v mobilných zariadeniach

Vzhľad projektu MARA - systém AR pre mobilné telefóny

(http://research.nokia.com /research/projects/mara/index.html),


MR v mobilných zariadeniach

Fanta Virtual Tennis (http://fanta.eu/)


MR a medicína


MR a armáda

SIMNET, MILES2000 (http://www.tesslcs.com) (aj ASR)


MR a priemysel a architektúra

Ukážka servisnej BMW AR technológie


MR a automobilový priemysel

navigačné prvky v spojení so systémom GPS priamo do výhľadu vodiča

(napr. systém firmy Alvis Technologies Inc., http://www.alvis.com.tw/products.php?pkid=2)


MR a priemysel a architektúra

Model budovy a jej „zobrazenie“ v reálnom prostredí


MR a výuka a tréning

Zariadenie Spinnstube – skutočnosť (hore) a študentov vnem (dole)


HOLODESK, HOLOLENS (AR, Microsoft)

http://www.youtube.com/watch?feature=player_embedded&v=JHL5tJ9ja_w#!


Niektoré MR (AR) systémy

• D'Fusion Studio (http://www.t-immersion.com/)

• Metaio (http://www.metaio.com)

• ARTag (http://www.artag.net/)

• BuildAR (http://www.hitlabnz.org/wiki/Introduction_to_BuildAR)

• AR-media Plugin pre SketchUp

(http://www.inglobetechnologies.com/ /en/products/arplugin_su/info.php)

• ARToolkit (http://www.hitl.washington.edu/artoolkit/)


AR-media

Ukážka funkcie pluginu AR-media pre SketchUp


ARToolkit

jednoduché prostredie pre vytvorenie AR aplikácií, OpenSource s GPL licenciou pre nie

komerčné využitie

multiplatformové knižnice (Windows,Linux,MAC OS,SGI)

prekrýva 3D virtuálny objekt na reálnej značke

podpora rôznych vstupov (USB,Firewire,karty) a formátov (RGB/YUV420P,YUV)

podpora sledovania viacerých kamier

GUI inicializujúce rozhranie

rýchle a nenáročné sledovanie značiek (planárna detekcia v reálnom čase)

jednoduchá grafická knižnica (založená na GLUT) a vykresľovanie založené na OpenGL

podpora 3D VRML

jednoduché a modulovateľné API (v jazyku C) a podpora iných jazykov (JAVA,Matlab)

kompletná sada príkladov a utilít

softwérová knižnica na vytváranie zmiešanej reality. Rieši kľúčový

problém pri vývoji aplikácií zmiešanej reality, ktorým je určenie pozície

zorného poľa užívateľa.


Proces práce s ARToolkit


Proces vytvárania MR scény

Zhromažďovanie

údajov

collection

Model vytváranie/editácia

Model export

Model kontrolné vykreslenie

Model

OK ? Model

výstup

Marker definícia

Marker vytváranie/editácia

Marker

OK ?

Spájanie

modelu a

markera

Spojenie

OK ?

Príprava dát

finálnej scény

Vykreslenie

finálnej scény

rendering

Marker kontrola rozpoznania

Vstup

reálnej scény

+

+

+

-

-

-


Štandardný proces práce AR aplikácie bez

exaktných značiek

Inicializácia kamery

Štart

Inicializácia predlôh

Inicializácia 3D modelu Inicializácia

Načítanie video snímky

Detekcia predlohy/objektu

Výpočet pozície a orientácie

Vykreslenie 3D modelu

Vypnutie kamery

Koniec

Hlavný

cyklus

Ukončenie

Inicializácia kamery

Štart

Inicializácia predlôh

Inicializácia 3D modelu Inicializácia

Načítanie video snímky

a rozdelenie do subregiónov

Vykreslenie 3D modelu

Vypnutie kamery

Koniec

Hla

vný c

yklu

s

Ukončenie

Detekcia

predlohy1/

objektu1

Detekcia

predlohy2/

objektu2

Detekcia

predlohyN/

objektuN

. . .

Výpočet

pozície

a orientácie

objektu1

Výpočet

pozície

a orientácie

objektu2

Výpočet

pozície

a orientácie

objektuN

. . .

Par

alel

izác

ia

GPGPU

Paralelizácia

procesu


Štandardný proces práce AR aplikácie bez

exaktných značiek

1. kamera neustále sníma reálnu scénu a posiela video do

výpočtového systému na spracovanie

2. Programové vybavenie spracúva snímku po snímke

a pomocou zvolenej metódy na detekciu hľadá v snímke

danú(é) predlohu(y)/objekt(y).

3. po rozpoznaní objektu (predlohy) sa vypočíta jeho

pozícia a orientácia

4. ak je známa pozícia a orientácia, umiestni sa virtuálny

model na danú pozíciu

5. používateľ vidí na displeji reálnu scénu snímanú kamerou

rozšírenú o virtuálny 3D model.


Metódy detekcie používané v systémoch

MR (AR)

•SIFT - Scale Invariant Feature Transform

•SURF - Speeded-Up Robust Features



MR (AR) - SIFT

1. Vyhľadanie lokálnych extrémov v rozpoznávanom priestore – V prvej fáze sa

zostrojí scale-space (SS) t.j. mierkovo nezávislá reprezentácia obrázku pri

Gaussovom rozmazaní. V ňom sa vyhľadajú všetky lokálne extrémy. Pre

efektívny výpočet SS sa používa rozdiel Gaussových funkcií – Difference-of-

Gaussians (DoG)

2. Presnejšie určenie významných bodov – V tomto kroku sa získané body

z prvej fázy podrobnejšie skúmajú. Tie, ktoré majú nedostatočnú stabilitu sú

vylúčené a u zvyšných, ktoré sú stabilné sa spresni poloha v priestore.

3. Priradenie orientácií – V tejto častí je významným bodom priradená

dominantná orientácia na základe orientácie gradientu v okolí bodu.

Priradením orientácie docielime nezávislosť bodov od rotácie.

4. Vytvorenie deskriptorov pre významné body – Pre každý významný bod je

vypočítaný deskriptor na základe gradientu v okolí bodu. Pomocou

deskriptorov je možné hľadať zhody v porovnávaných obrazoch.



MR (AR) - SURF

SURF je metóda, ktorá dokáže popísať obrázok pomocou

deskriptorov. Metóda SURF je novšou obdobou metódy

SIFT. Popis pomocou deskriptorov vygenerovaných touto

metódou je invariantný voči rotácii a vzdialenosti kamery

od popisovaného objektu. Algoritmus SURF sa využíva

v mnohých aplikáciách počítačového videnia, ako napr. pri

rekonštrukcii 2D a 3D scén, klasifikáciu obrázkov a hlavne

pre rýchly popis obsahu obrázku.



MR (AR) - SURF Algoritmus je možno rozdeliť na niekoľko funkčných časti:

1. Prvý funkčný blok algoritmu je tzv. „integrálny obraz“. Integrálny

obraz v každom svojom obrazovom bode obsahuje hodnotu súčtu

hodnôt obrazových bodov (pixelov) od počiatku obrazu až do

daného bodu.

2. Ak je k dispozícii integrálny obraz, potom na výpočet ľubovoľnej

veľkej sumy hodnoty pôvodného obrazu potrebujeme iba 4 okolité

významové body (napr. na výpočet hodnoty sumy hodnôt pixelov vo

vnútri celého definovaného obdĺžnika nám stačí poznať hodnoty

rohových pixelov odpovedajúceho integrálneho obrazu).

3. Ďalej metóda SURF používa determinant Hessianovej matice.

Hessianová matica je štvorcovou maticou druhých parciálnych

derivácií spojitej funkcie 4. V ďalšom kroku nastáva budovanie mierkovo nezávislej reprezentácie

obrázu

5. Algoritmus končí priradením orientácie a vytvorením deskriptorov



MR (AR) - SURF

Významné body spoločné pre značku a aktuálnu snímku


Výpočet pozície, orientácie, projekcie


Výpočet pozície, orientácie, projekcie


Ukážka celkového procesu MR bez

exaktných značiek

Zobrazenie MR pre HMD

(datovú prilbu)


Celkový diagram

procesu MR bez

exaktných značiek


Schéma vysokoúrovňového systému MR

Kamera

Senzorová časť

GPS Inerciálny snímač

Procesná časť

Definícia modelu Údaje o pozícii Databáza objektov

Vykresľovanie

Dis

ple

j

Obraz z kamery

AR údaje

Procesná časť

Globálna

definícia

modelu/sveta

Globálne údaje

o pozícii vrátane

relačných

Globálna databáza

objektov

Kom

unik

ačná

sieť


Využitie MR Možnosť pozrieť si výslednú realizáciu ešte pred samotnou realizáciou za pomoci MR

projekcie, možnosť „prechádzať sa“ v prípadných existujúcich priestoroch.

Ľahké odhalenie chýb pri projekcii - chybného umiestnenia prípadne chýbajúceho

konštrukčného prvku

Pre investora ľahké posúdenie a úprava pôvodného návrhu o optimálnom usporiadaní

technológie ešte pred začiatkom samotnej realizácie. K projektu sa môžu pri takomto type

vizualizácie vyjadrovať aj netechnici resp. môžu byť potlačené jazykové bariéry

Pohľady na projekt, ktoré v reáli nie sú možné

V kombinácii s GPS a prípadnými mobilnými zariadeniami orientácia vo výrobnom podniku

alebo ako prvok rozhrania informačného systému podniku, kde môžu byť zobrazované

doplnkové informácie o objektoch (napr. evidenčné číslo, dostupnosť na sklade či

zodpovednú osobu).

Možnosť pripraviť si a natrénovať postup dopravy a montáže s ohľadom na rozmer

zariadenia a dostupného priestoru

Tréning obsluhy technológie bez potreby pobytu priamo v prevádzke

Tréning požiarnej ochrany, zváračský simulátor, tréning na vysokozdvižnom vozíku, tréning

bezpečnostých jednotiek

Možnosť prípravy efektných prezentácií a podkladov pre budúcu reklamnú resp. investičnú

kampaň


Príklad použitia MR (AR, KPI FEI TU Košice)





Príklad použitia MR (AR, KPI FEI TU Košice) Skladanie PC

1 2

3 4


Príklad použitia MR (AR, KPI FEI TU Košice) Skladanie výrobnej linky

1 2

3 4


Príklad použitia MR (AR, KPI FEI TU Košice) Virtuálny klavírny trenažér



Rozšírená virtualita

reálny pohľad zobrazenie v systéme AV


Experimentálne pracovisko MR (AR, KPI FEI)



reálny stav vnem (pohľad) pozorovateľa



Znázornenie tréningového procesu pomocou

dátovej prilby a snímača v parciálnej úlohe

uchopenie telesa (hore) a pri posúvaní vozíka

s motorom (dolu)

vnem (pohľad) pozorovateľa

Virtuálne pracovisko v modelovacom prostredí Tecnomatix JACK 7.1 (SIEMENS, vizual KPI FEI TU Košice)



Schéma základnej koncepcie distribuovaného systému zmiešanej reality

Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice)



Základné moduly distribuovaného systému zmiešanej reality


• komunikačný modul,

• úložisko údajov,

• synchronizačný modul,

• vizualizácia,

• údaje z polohových senzorov,

• gestá dátovej rukavice,

• realizácia skriptovaných animácií,

• detekcia kolízií medzi objektmi,

• manipuláciu s virtuálnymi objektmi pomocou dátovej rukavice,

• zachytenie zvuku,

• prehrávač zvuku.



Implementácia distribuovaného systému zmiešanej reality




Interakcie medzi modulmi distribuovaného systému zmiešanej reality




Výhody distribuovaného systému zmiešanej reality


• využitie výpočtovej schopnosti viacerých počítačov,

• nezávislosť modulov,

• asynchrónne vykonávania nezávislých činností VR,

• možnosť zámeny len niektorých modulov,

• škálovateľnosť.



Ukážka práce a pohľad pozorovateľa v distribuovanom systéme zmiešanej

reality




Ukážka práce dvoch účastníkov v distribuovanom systéme zmiešanej reality


KPI FEI TU KošiceKPI FEI TU Košice SVR - Zmiešaná realitaSVR - Virtuálna realita 61

OTÁZKY ?

© 2016 KPI FEI TU Košice

Documents

Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich