Environnement de Réalité Augmentée Collaboratif : Manipulation d’Objets Réels et Virtuels

iMAGIS-GRAVIR / IMAG

Environnement de Réalité Augmentée Collaboratif : Manipulation d’Objets Réels

et Virtuels

Raphaël GrassetJean-Dominique Gascuel

iMAGIS-GRAVIR/IMAG

iMAGIS est un projet joint entre CNRS,INRIA,INPG and UJF


MotivationsRéalité

Augmentée (RA)

Intégration R+V

Réalité (R)

Métaphores naturelles de communications

(verbales, gestuelles expressions)

interaction 3D intuitive

Réalité Virtuelle (RV)

Simulation, AnimationCalculs Complexes

Informations évolutives


Motivations•Applications

– Visualisation scientifique – Architecture, urbanisme– Ingénierie– Jeu – Éducation

..Etc..


Motivations

Difficultés:– Calibrage et Alignement des deux mondes.– Erreur de mesures + latence (délai mesure-vision).– Techniques d’interaction intuitive.– Intégration visuelle des deux mondes (occultations, éclairage).– Gestion multi-utilisateurs.

But : proposer un environnement de réalité augmentée collaboratif multi-utilisateur.

Approche : (simplicité, rapidité) / (fiabilité, robustesse)


Etat de l ’Art Approche Réalité Virtuelle[Feiner92], [Bajura92], [Sims94], [Azuma94], [Tuceryan94], [State96]

Approche Interface Homme-Machine[Well1ner91], [Krueger91], [Rekimoto94], [Berrard99]


Système collaboratif en RA[Ahlers95], [Schmalstieg96], [Agrawala97], [Butz99], [Broll00], [Tiles01]

[Ullmer97], [Rauterberg98], [Raskar98], [Streitz99], [Rekimoto99]

Etat de l ’Art


Plan

•Motivations et Etat de l’Art

•Configuration : Petit Groupe et Environnement Informatique

•Calibrage : Rapide et Intuitive

•Nouvelles Techniques d’interactions

•Gestion multi-utilisateurs

•Conclusion et Futurs Travaux

iMAGIS-GRAVIR / IMAGUnix, X

OpenGL Performer, AL, VL, Qt

Architecture LogicielleBut : configuration session (rapide, optimisé) et supporter différents utilisateurs, périphériques, objets manipulés.

Approche : Architecture modulaire + Configuration par fichier XML.

GestionObjets

( chargement, droit,

initialisation..)

GestionInteractions

( Navigation, Manipulations,

Outils)

Gestionmatériel(capteur,

graphique, vidéo, son..)

GestionUtilisateurs(configuration, initialisation )

Application


Gestion matérielBut : support périphériques personnels (jeu) + environnement fixe (industrie). Calibrage et incorporation des périphériques au système.

Approche : technique de calibrage simple et intuitive réalisé par utilisateur. « plug’n calib’ n play » ([Studierstube]).Complexité masqué par fichier configuration XML ([RS01]).

Fichier XML

Calibrage + Configuration

Environnement

Application

p->GetData()


Configuration : Petit GroupeConfiguration centralisé :

– utilisateur autour d’une table : collaboration face à face.

– Aire partagée et Aire privée.Aire partagée

Aire personnelle(menu virtuel, donnée privée)


Configuration : Environnement Informatique

•Visualisation: Casque semi-transparent optique vue directe, information privée, faible poids.

•Interaction: stylo

facilement utilisable.

•Tracking: capteur magnétique

rapide,

pas de ligne de visibilité.


Plan








Calibrage

World CS

Image CS

Transmitter CS

Receptor CS

Emitter CS

Eye CSHead CS

Tip CS

But : Erreur statique : mauvais alignement entre réel et virtuel ([Azuma94]).

Approche : méthode de calibrage interactive avec effort minimum. Suffisamment précis et rapide.

HMD Calibration

Pen Calibration

World Calibration


•Calibrage du casque ([Azuma94], [Tuceryan95], [Tuceryan00] ) : figer la vue et aligner un objet réel avec un objet virtuel.

• Calibrage du stylo ([Fuhrmann99], [Tuceryan95]) : orienter le stylo dans 4 directions très représentatives.

•

• Calibrage du monde ([Fuhrmann99], [Tuceryan95]): sélection de 4 points du plateau.

Calibrage : Méthode

Point fixe

P2P3

P1P4


Calibrage : Résultats

Erreur largement acceptable pour un grand nombre d’applications.

Erreur Dynamique : Filtrage de Kalman ([Azuma94]).

2 cm


Plan








Manipulations d ’objets

But : manipulation intuitive des objets.Approche : « retour haptique » favorise interaction.

=> contact avec la table.=> respect de la gravité.

Métaphore naturelle / Métaphore virtuelle ([Kato00]).

Outils dans la zone personnelle de l’utilisateur (déplacer, tourner, détruire, ajout d’objets).


Manipulations d ’objets : Déplacement objets

Approche : adapté des méthodes réels (pas de « clic »).

Saisir, Soulever, Déplacer Toucher, Pousser


Déplacement d’objets •Méthode « Lever-Déplacer »

Stylo

Plan de travail

Objet virtuel


Déplacement d’objets•Méthode « Glisser »

• Animation du déplacement

Plan de travail

Objet virtuel

Stylo


Ajout d ’objetsBut : ajouter objets réels et virtuels de façon dynamique ([Szalavari97], [Kato00]).

Approche : -Ajouter des objet virtuels : menu virtuels.-Ajouter des objets réels : digitaliser ces objets. Pourquoi ?

Décor (statique), TUI (dynamiques).

Quel Type ? Modèle connu/inconnu.


Ajout d ’objets : modèle connu

But: obtenir la transformation entre le repère de l’objet et le repère du monde (géométrie+apparence connue). Contrainte: Objet posé sur un support plan (3DOF). Methode: superposer représentation virtuel avec la representation réel du modèle.

Objet réel Objet virtuelObject CS


Ajout d ’objets : modèle connu

pion réel


Ajout d ’objets : modèle inconnu

P1

5 DOF

But:obtenir la position et la géométrie de l’objet générique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points.

exemple: ajout rectangle.


P1

5 DOF

But:obtenir la position et la géometrie de l’objet génerique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points.




P1

2 DOF

P2





P1

0 DOF

P2







Tangible User Interface (TUI)But : utiliser un objet réel pour manipuler des objets virtuels ( [Fitzmaurice95], [Ishii97], [Fjeld97], [Poupyrev01]).

Contraintes: un capteur et plusieurs objets réels à manipuler.

Approche : temporairement attacher un capteur magnétique aux objets précédemment ajoutés.

Objets réel


Passage RA/RVBut : Visualisation de la scène sous différents points de vue. Passage RA (face à face) à RV (immersion) ([Kiyokawa99], [Kato00]).

Approche : « plonger dans la scène ». ( WIM [Stoakley95]).

t1

t2

t1

t2

ArbresPersonnage

Plan de travail


Multi-utilisateursBut : Informations suivant le rôle d’un utilisateur.Approche : vue personnelle ( [Smith96], [Agrawala97], [Szalavari98],

[Butz99]).Matrice creuse pour chaque objet.

Utilisateur Visibilité Déplacement Annotation

Défaut

Architecte

Maurice

Clients Joe Robert


Multi-Utilisateurs : résultats

Vue Joueur 1 Vue Joueur 2

Vue Maître de Jeu


Vidéos


Conclusions et Futurs Travaux• Environnement de RA basé sur une architecture souple.

• Support # utilisateurs, # périphériques, # données.

• Techniques de manipulation d’objets réels et virtuels dans un même espace (stylo « mixte » + TUI).

• Simulation dans l’espace de travail.

• Réalisme de l’intégration : éclairage, ombres.

• Occultations mains, doigt, bras.

• Déplacement d’objets sans capteurs (TUI + « Real Reality »).

• Évaluation.


Travaux précédentsInteractions avec des objets réels

•Whitaker[1995]

•Shared Space[1999]

•Build-IT[1997]


Reconaissance de gesteProblème : passage de commandes rapidement [Starner,1995]•Geste simple : déplacement horizontal sur le plateau de jeu

•Extension à une trajectoire complexe : successions de segments Ex : “CFC “


Premier prototype


Le stylo mixte


Interaction 3D


Plan• Motivations et Etat de l’Art• Configuration : Petit Groupe et Environnement Informatique

– Architecture Logiciel– Gestion Souple du Materiel– Configuration de Test

• Nouvelles Techniques d ’interactions– Manipulation d ’Objets – Ajout d ’objets– Passage RA<->RV: exocentric egocentric

• Gestion multi-utilisateurs• Conclusion et Futurs Travaux

Documents

Environnement de Réalité Augmentée Collaboratif : Manipulation d’Objets Réels et Virtuels