IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR

iMAGIS-GRAVIR / IMAG

Environnement de réalité augmentée : vers les jeux vidéos

Raphaël GrassetProjet de DEA IVR

Responsable : JD GascueliMAGIS/GRAVIRprojet CNRS/INRIA/UJF/INPG


Introduction : Motivations

Contexte : proposer un environnement de jeu utilisant un système informatique.

•Conservation des avantages d'un jeu réel– Communication, interaction ..etc.. pour de petits

groupes

•Conservation des avantages d'un jeu virtuel– animations (personnages, effets spéciaux)– calculs complexes– informations évolutives


Réalité Augmentée: Historique Rapide (1/2)

Définition : superposition d'informations virtuelles à l'environnement réel

[Feiner,1992]

•Projet KARMA : Première démonstration de faisabilité

(guide de Maintenance)


Mettent en avant un certain nombre de “points durs” :

• Alignement Réel/Virtuel(Calibration)

• Erreur de mesures• Latence (délai mesure-vision)• Occultations (devant et

derrière)

[Bajura,1992]

[Sims, 1994]

Réalité Augmentée: Historique Rapide (2/2)


PLAN

• Introduction

•Matériel

•Acquisition de « Qualité »

• Interaction 3D

•Conclusion


Le capteur SAGEIS•Principe

Caméra linéaire àoptique cylindrique

Intersection entrele plan gauche et le plan de droite

PointD'intersection

Caméra

Poutre de support

filtre infrarouge


Manipulations avec le capteur SAGEIS

•Expérimentation (15 jours)

•Calcul et simulation hors-ligne

LEDinfrarouge

LEDinfrarouge


Le capteur "Flock of Birds"•Moins précis, mais disponible

•Principe

RepèrePointeur

RepèreCapteur

RepèreCapteur

RepèreCamera

RepèreEmetteur

Repère duMonde


Manipulation avec le capteur "Flock of Birds"

capteurs

émetteur

caméra pour la soutenance


PLAN• Introduction

•Matériel

•Acquisition de « Qualité »– Filtrage (Kalman)– Calibrage du stylet– Reconnaissance de geste

• Interaction 3D

•Conclusion


Utilisation d'un filtre de Kalman (1/2)

•Principe

[Kalman,1961]

[Liang,1991]

•Utilisation– filtrage du bruit de mesure– prédiction : solution à la latence

Initialisation de X et P

Etat X, Covariance P

Etape de mise à jour de la prédiction

(Predicteur)

Etape de mise à jour de la mesure

(Correcteur)

Extrapolation basé sur X

positionprédite

EntréeCapteur


Utilisation d'un filtre de Kalman (2/2)


Calibration du stylet (1/2)Problème : Où est la pointe du stylet par rapport au capteur ?• Recherche du point fixe par minimisation [Tuceryan,1995]

Pw

R1,T1R3,T3 R2,T2

Pt


Callibration du stylet (2/2)•Optimisation de la procédure

– 4 mesures – "approximativement pyramidale"

Désalignement


Reconaissance de gesteProblème : passage de commandes rapidement [Starner,1995] Geste simple : déplacement horizontal sur le plateau de jeu

•Extension à une trajectoire complexe : successions de segments sur le plateau de jeu Ex : “CFC “


PLAN• Introduction

• Matériel

• Acquisition de « Qualité »

• Interaction 3D

– Boutons et Menus

– Ajout d’objets

– Déplacement de pions

• Conclusion

monde horizontale


Boutons et Menus (1/2)

•PIP [Szalavari,1997] Sensation de contact

•Déplacement vertical pour la sélection d’un élement

•Validation


Boutons et Menus (1/2)

sélectiondu deuxième itemsélection

du première item

barre de menus


Ajout d’objets•Pourquoi ajouter des objets Réels ?

• interaction (pion virtuel placé dessus)

• occultation (pion virtuel placé derrière)

•Pourquoi ajouter des objets Virtuels ?

2 cas : – pour des objets dont le modèle 3D est inconnu – pour des objets dont le modèle 3D est connu


Exemple : digitalisation d’un parallélogramme (1/2)


Exemple : digitalisation d’un parallélogramme (1/2)

point librepoint librepremier pointfixé plan créé cube virtuel

superposé


Placement d ’un objet connu par une arête

•Géométrie connue

•Méthode d’ajout par arête commune

•Contrainte d’horizontalité

2 clics suffisent

Boîte englobante

Arête de réference

Base

Repère du mondeRepère du monde

Objet réel

Objet virtuel

Faire tourner l’objet pourFinir l’alignement

Objet réel superposéAu virtuel

On a la position et l’orientation de l’objet

Objet virtuel


Placement par rotation Z d ’un objet

•Pas d’arête “simple”

•Méthode d’ajout par centrage

•Contrainte d’horizontalité

1 clic-glissé suffit

Objetvirtuel

Repère du monde

Faire coincider l’objet par rotation autour du centre

Repère du monde

Objet réel aligné avec le virtuel

On connait la position et l’orientation de l’objet

Base

Boîte englobante


Placement sur un objet réel

pion réel


Déplacement de pion virtuel (1/3)

•Méthode “Lever-Déplacer”

Pourquoi : action principale dans un jeu !



•Méthode“Glisser”

•animation du déplacement



trajectoire

pion virtuel


Contributions•Procédure de calibrage de la tête et du stylet•Ajout dynamique d’objets•Déplacement de pions•Reconnaissance de gesteExtensions futurs• illumination

– ombres– modèle réaliste

•navigation dans un espace virtuel


Creation de la scène•utilitaires de créations


Calibration de la camera (1/4)

Repèrecapteur

Repèrecamera



Repèrecamera

Repèrecapteur

cube réel + cube virtuel

Vue fixe





Documents

IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR