IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset...

iMAGIS-GRAVIR / IMAG

Environnement de réalité augmentée : vers les jeux vidéos

Raphaël GrassetProjet de DEA IVR

Responsable : JD GascueliMAGIS/GRAVIRprojet CNRS/INRIA/UJF/INPG

iMAGIS-GRAVIR / IMAG

Introduction : Motivations

Contexte : proposer un environnement de jeu utilisant un système informatique.

•Conservation des avantages d'un jeu réel– Communication, interaction ..etc.. pour de petits

groupes

•Conservation des avantages d'un jeu virtuel– animations (personnages, effets spéciaux)– calculs complexes– informations évolutives

iMAGIS-GRAVIR / IMAG

Réalité Augmentée: Historique Rapide (1/2)

Définition : superposition d'informations virtuelles à l'environnement réel

[Feiner,1992]

•Projet KARMA : Première démonstration de faisabilité

(guide de Maintenance)

iMAGIS-GRAVIR / IMAG

Mettent en avant un certain nombre de “points durs” :

• Alignement Réel/Virtuel(Calibration)

• Erreur de mesures• Latence (délai mesure-vision)• Occultations (devant et

derrière)

[Bajura,1992]

[Sims, 1994]

Réalité Augmentée: Historique Rapide (2/2)

iMAGIS-GRAVIR / IMAG

PLAN

• Introduction

•Matériel

•Acquisition de « Qualité »

• Interaction 3D

•Conclusion

iMAGIS-GRAVIR / IMAG

Le capteur SAGEIS•Principe

Caméra linéaire àoptique cylindrique

Intersection entrele plan gauche et le plan de droite

PointD'intersection

Caméra

Poutre de support

filtre infrarouge

iMAGIS-GRAVIR / IMAG

Manipulations avec le capteur SAGEIS

•Expérimentation (15 jours)

•Calcul et simulation hors-ligne

LEDinfrarouge

LEDinfrarouge

iMAGIS-GRAVIR / IMAG

Le capteur "Flock of Birds"•Moins précis, mais disponible

•Principe

RepèrePointeur

RepèreCapteur

RepèreCapteur

RepèreCamera

RepèreEmetteur

Repère duMonde

iMAGIS-GRAVIR / IMAG

Manipulation avec le capteur "Flock of Birds"

capteurs

émetteur

caméra pour la soutenance

iMAGIS-GRAVIR / IMAG

PLAN• Introduction

•Matériel

•Acquisition de « Qualité »– Filtrage (Kalman)– Calibrage du stylet– Reconnaissance de geste

• Interaction 3D

•Conclusion

iMAGIS-GRAVIR / IMAG

Utilisation d'un filtre de Kalman (1/2)

•Principe

[Kalman,1961]

[Liang,1991]

•Utilisation– filtrage du bruit de mesure– prédiction : solution à la latence

Initialisation de X et P

Etat X, Covariance P

Etape de mise à jour de la prédiction

(Predicteur)

Etape de mise à jour de la mesure

(Correcteur)

Extrapolation basé sur X

positionprédite

EntréeCapteur

iMAGIS-GRAVIR / IMAG

Utilisation d'un filtre de Kalman (2/2)

iMAGIS-GRAVIR / IMAG

Calibration du stylet (1/2)Problème : Où est la pointe du stylet par rapport au capteur ?• Recherche du point fixe par minimisation [Tuceryan,1995]

Pw

R1,T1R3,T3 R2,T2

Pt

iMAGIS-GRAVIR / IMAG

Callibration du stylet (2/2)•Optimisation de la procédure

– 4 mesures – "approximativement pyramidale"

Désalignement

iMAGIS-GRAVIR / IMAG

Reconaissance de gesteProblème : passage de commandes rapidement [Starner,1995] Geste simple : déplacement horizontal sur le plateau de jeu

•Extension à une trajectoire complexe : successions de segments sur le plateau de jeu Ex : “CFC “

iMAGIS-GRAVIR / IMAG

PLAN• Introduction

• Matériel

• Acquisition de « Qualité »

• Interaction 3D

– Boutons et Menus

– Ajout d’objets

– Déplacement de pions

• Conclusion

monde horizontale

iMAGIS-GRAVIR / IMAG

Boutons et Menus (1/2)

•PIP [Szalavari,1997] Sensation de contact

•Déplacement vertical pour la sélection d’un élement

•Validation

iMAGIS-GRAVIR / IMAG

Boutons et Menus (1/2)

sélectiondu deuxième itemsélection

du première item

barre de menus

iMAGIS-GRAVIR / IMAG

Ajout d’objets•Pourquoi ajouter des objets Réels ?

• interaction (pion virtuel placé dessus)

• occultation (pion virtuel placé derrière)

•Pourquoi ajouter des objets Virtuels ?

2 cas : – pour des objets dont le modèle 3D est inconnu – pour des objets dont le modèle 3D est connu

iMAGIS-GRAVIR / IMAG

Exemple : digitalisation d’un parallélogramme (1/2)

iMAGIS-GRAVIR / IMAG

Exemple : digitalisation d’un parallélogramme (1/2)

point librepoint librepremier pointfixé plan créé cube virtuel

superposé

iMAGIS-GRAVIR / IMAG

Placement d ’un objet connu par une arête

•Géométrie connue

•Méthode d’ajout par arête commune

•Contrainte d’horizontalité

2 clics suffisent

Boîte englobante

Arête de réference

Base

Repère du mondeRepère du monde

Objet réel

Objet virtuel

Faire tourner l’objet pourFinir l’alignement

Objet réel superposéAu virtuel

On a la position et l’orientation de l’objet

Objet virtuel

iMAGIS-GRAVIR / IMAG

Placement par rotation Z d ’un objet

•Pas d’arête “simple”

•Méthode d’ajout par centrage

•Contrainte d’horizontalité

1 clic-glissé suffit

Objetvirtuel

Repère du monde

Faire coincider l’objet par rotation autour du centre

Repère du monde

Objet réel aligné avec le virtuel

On connait la position et l’orientation de l’objet

Base

Boîte englobante

iMAGIS-GRAVIR / IMAG

Placement sur un objet réel

pion réel

iMAGIS-GRAVIR / IMAG

Déplacement de pion virtuel (1/3)

•Méthode “Lever-Déplacer”

Pourquoi : action principale dans un jeu !

iMAGIS-GRAVIR / IMAG

Déplacement de pion virtuel (2/3)

•Méthode“Glisser”

•animation du déplacement

iMAGIS-GRAVIR / IMAG

Déplacement de pion virtuel (3/3)

trajectoire

pion virtuel

iMAGIS-GRAVIR / IMAG

Contributions•Procédure de calibrage de la tête et du stylet•Ajout dynamique d’objets•Déplacement de pions•Reconnaissance de gesteExtensions futurs• illumination

– ombres– modèle réaliste

•navigation dans un espace virtuel

iMAGIS-GRAVIR / IMAG

Creation de la scène•utilitaires de créations

iMAGIS-GRAVIR / IMAG

Calibration de la camera (1/4)

Repèrecapteur

Repèrecamera

iMAGIS-GRAVIR / IMAG

Calibration de la camera (2/4)

Repèrecamera

Repèrecapteur

cube réel + cube virtuel

Vue fixe

iMAGIS-GRAVIR / IMAG

Calibration de la camera (3/4)

iMAGIS-GRAVIR / IMAG

Calibration de la camera (4/4)