Upload
others
View
9
Download
0
Embed Size (px)
Citation preview
Orange Labs/Pascal Houlier
1/25
Présentation du projet GAMME - 17 Juin 2011
Projet GAMMEProjet GAMME
Guide AugmentGuide Augmentéé Mobile pour Mobile pour les Musles Muséées et Expositionses et Expositions
Coordinateur: Orange Labs/ Pascal Houlier
Orange Labs/Pascal Houlier
2/25
Présentation du projet GAMME - 17 Juin 2011
PlanPlan
�� Un projet financUn projet financ éé par lpar l ’’ANRANR
� Les partenaires
�Quelle Réalité Augmentée(RA) pour le musée ?
�De la technologie aux usages
�Résultats
�Perspectives
Orange Labs/Pascal Houlier
3/25
Présentation du projet GAMME - 17 Juin 2011
Un projet financUn projet financéé par lpar l’’ANRANR�l’ANR : Agence Nationale de la recherche
�Projets de recherche fondamentale
�Projets de recherche industrielle( acquisition de connaissance pour la mise au point de nouveaux produits, création de composants de systèmes complexes pour la validation de technologie à l’exclusion de prototypes)
�GAMME est un projet de recherche industrielle qui répondait à l’appel d’offre 2007 Audiovisuel & Multimedia
�Projets de développement pré-concurrentiel(concrétisation de la recherche industrielle avec possibilité d’ un 1er prototype)
�Pôle Images et Réseaux. Labellisation par le CSV (comité de sélection et de validation)
Orange Labs/Pascal Houlier
4/25
Présentation du projet GAMME - 17 Juin 2011
Un projet financUn projet financéé par lpar l’’ANRANR
�Objectif principal: Expérimenter la Réalité Augmentée sur mobile dans un Musée. Nouveaux composants logiciels , nouveaux usages.
�Coût total 1.5 M€(0.7 M€ ANR - 60% des dépenses PME et 40% autres )
�démarrage 02 / 2008
�Fin 12 / 2010
Orange Labs/Pascal Houlier
5/25
Présentation du projet GAMME - 17 Juin 2011
PlanPlan�Un projet financé par l’ANR
�� PartenariatPartenariat
�Quelle Réalité Augmentée(RA) pour le musée ?
�De la technologie aux usages
�Résultats
�Perspectives
Orange Labs/Pascal Houlier
6/25
Présentation du projet GAMME - 17 Juin 2011
�Orange Labs (Tech lab) project leader
�INRIA (Lagadic team)
�CEA (Leti lab)
�MOVEA
�Polymorph-software
�Ville de Rennes (Musée des Beaux-Arts)
PartenariatPartenariat
Orange Labs/Pascal Houlier
7/25
Présentation du projet GAMME - 17 Juin 2011
�Orange Labs (Tech lab) project leader� Montage du projet à partir de collaborations existantes
PartenariatPartenariat
Projet OrangeRA mobile
Utilisation de capteursen extérieur
These CIFRE(RA)
Fabien Servant
Projets OrangeRéalité virtuelle
ExpérimentationMusée des beaux-ArtsThèse Areti Damala
(RA marqueurs)
Orange Labs/Pascal Houlier
8/25
Présentation du projet GAMME - 17 Juin 2011
PlanPlan�Un projet financé par l’ANR
�Partenariat
�� Quelle RQuelle R ééalitalit éé AugmentAugment éée(RA) pour le muse(RA) pour le mus éée ?e ?
�De la technologie aux usages
�Résultats
�Perspectives
Orange Labs/Pascal Houlier
9/25
Présentation du projet GAMME - 17 Juin 2011
Quelle Quelle RRééalitalitéé AugmentAugmentéée pour le muse pour le muséée ?e ?�Un dispositif de Réalité Augmentée
�Permet d’ajouter des éléments virtuels au monde qui nous entoure�Réalise cette fonction en temps réel�Assure la cohérence 3D des objets virtuels dans le monde réel
�Choix pour le projet GAMME �Dispositif mobile équipé d’une caméra�Restitution sur un écran
Orange Labs/Pascal Houlier
10/25
Présentation du projet GAMME - 17 Juin 2011
Quelle Quelle RRééalitalitéé AugmentAugmentéée pour le muse pour le muséée ?e ?�Différentes technologies pour la RA
�Capteurs (GPS + accéléromètre + magnétomètre).Beaucoup d’applications sur les smartphones en extérieur , précision faible pour le recalage du virtuel sur le réel.un exemple sur smartphone:
En intérieur le GPS doit être remplacé par un autre procédé de localisation ( triangulation wifi, puces nfc etc…)
�Méthodes de Vision par ordinateurAnalyse du flux video pris par la caméra du dispositif.Bonne précision pour le recalage du virtuel sur le réel
�Recalage sur des marqueursproblème d’ajouts d’éléments intrusifs.
�Recalage sur des points naturelsdemande une puissance de calcul importanteMéthode choisie pour le projet GAMME
Orange Labs/Pascal Houlier
11/25
Présentation du projet GAMME - 17 Juin 2011
� Une phase de détection de points naturels (sur un plan) dans l’imagecourante.
�Reconnaissance du tableau par unemise en correspondance avec des images de références.
(On choisit Image de référenceavec meilleur score)
�Calcul de la pose initiale de la caméra(position et orientation dans l’espace)
Quelle Quelle RRééalitalitéé AugmentAugmentéée pour le muse pour le muséée ?e ?
Orange Labs/Pascal Houlier
12/25
Présentation du projet GAMME - 17 Juin 2011
Quelle Quelle RRééalitalitéé AugmentAugmentéée pour le muse pour le muséée ?e ?
�« Tracking »estimation des déplacements de la caméra et traitement des occlusions
�En parallèle gestion d’un monde virtuelavec une caméra virtuelle possédant àchaque instant la même pose que la caméra réelle.permettant le recalage entre le monde virtuel et le monde réel
Orange Labs/Pascal Houlier
13/25
Présentation du projet GAMME - 17 Juin 2011
PlanPlan�Un projet financé par l’ANR
�Partenariat
�Quelle Réalité Augmentée(RA) pour le musée ?
�� De la technologie aux usagesDe la technologie aux usages
�Résultats
�Perspectives
Orange Labs/Pascal Houlier
14/25
Présentation du projet GAMME - 17 Juin 2011
De la technologie aux usagesDe la technologie aux usages> > le calcul de Posele calcul de Pose
�� CalculCalcul de pose pour le de pose pour le recalagerecalage rrééel/virtuelel/virtuel: Développer un nouvel algorithme d’estimation de pose, robuste, sans marqueurs, combinant les techniques de vision par ordinateur et les mesures fournies par des capteurs embarqués.
•• Estimation de pose en visionEstimation de pose en vision (INRIA)
• Pour l’initialisation: algorithme basé recherche de points naturels.
• Tracker pour fournir le déplacement de la caméra.
•• Mesure dMesure d’’attitude avec des attitude avec des microcapteursmicrocapteurs (CEA & MOVEA)
• MotionPodTM (acceleromètre + magnetomètre 3axes)
Orange Labs/Pascal Houlier
15/25
Présentation du projet GAMME - 17 Juin 2011
De la technologie aux usagesDe la technologie aux usages> > GAMME GAMME EngineEngine
�Un moteur pour jouer des scénarios variés (Orange)�Permet le séquencement de la visite et la présentation de
chaque oeuvre�Augmente la scène réelle avec de nombreux types d’objet.
(Images , objets 3D animés, flash, html, video, son)
�Assure les interactions pour manipuler les oeuvres
Orange Labs/Pascal Houlier
16/25
Présentation du projet GAMME - 17 Juin 2011
�� OutilOutil auteur pour un auteur pour un ““mondemonde augmentaugmentéé””(Polymorph-software )génère les fichiers XML de description des scénarios
De la technologie aux usagesDe la technologie aux usages> > Editions des contenusEditions des contenus
�Choix de l’œuvre et des objets d’augmentation
� Positionnement et orientation de ces objets dans l’espace réel
Orange Labs/Pascal Houlier
17/25
Présentation du projet GAMME - 17 Juin 2011
� site d’expérimentation : MBAR(Musée des Beaux-Arts de Renneswww.mbar.org )
�Collaboration étroite avecles professionnels du musée :conservatrices, médiatrices
�Scénarios: visites thématiquescentrées sur les tableaux
�Audience :cible jeunes 15-25ans
Tous les tableaux utilisés dans cette présentation font partie des collections dumusée des beaux-arts de Rennes qui en possède les droits.
De la technologie aux usagesDe la technologie aux usages> > Sortir la RA des labos Sortir la RA des labos –– le Musle Musééee
Orange Labs/Pascal Houlier
18/25
Présentation du projet GAMME - 17 Juin 2011
De la technologie aux usagesDe la technologie aux usages> > Sortir la RA des labos Sortir la RA des labos –– ExpExpéérimentationsrimentations ((OrangeOrange))
� Scénario thématique sur quelques œuvres sélectionnées, pour l’exposition « à notre guise » été 2009cible : UMPC Samsung (ultramobile PC, écran 7» )
� Scénario thématique avec guidage RA dans l’expositionpermanente du musée.(été 2010)
cible : UMPC Samsung (ultramobile PC, écran 7» )
� Visite libre sur toutes les œuvres d’une salle sur le XVIIe (fin 2010)Cible: MID Viliv (mobile internet device, écran 4.8» )
Orange Labs/Pascal Houlier
19/25
Présentation du projet GAMME - 17 Juin 2011
PlanPlan�Un projet financé par l’ANR
�Partenariat
�Quelle Réalité Augmentée(RA) pour le musée ?
�De la technologie aux usages
�� RRéésultatssultats
�Perspectives
Orange Labs/Pascal Houlier
20/25
Présentation du projet GAMME - 17 Juin 2011
RRéésultats > sultats > ddéémonstrateursmonstrateurs�Avec 3 types de scénarios
�Thématique sur quelques œuvres sélectionnées
�Thématique avec guidage RA �Visite libre sur toutes les œuvres d’une
salle
�Sur 3 cibles mobiles�UMPC (ultramobile PC, écran 7» )�MID (mobile internet device, écran 4.8» )�Smartphone (écran 3.7» )
Orange Labs/Pascal Houlier
21/25
Présentation du projet GAMME - 17 Juin 2011
RRéésultats > rsultats > rééutilisablesutilisables�Composants logiciels réutilisables dans d’autres
contextes.� Librairie de tracking� Moteur de rendu � Editeur d’augmentation
� Usage pérenne au musée des beaux-arts de Rennes�2 types de visites augmentées�Editeur d’augmentation pour créer de nouveaux
scénarios
Orange Labs/Pascal Houlier
22/25
Présentation du projet GAMME - 17 Juin 2011
RRéésultats > rsultats > rééutilisablesutilisables�Le démonstrateur 2011 au Musée des beaux-arts
� 5 tablettes tactiles Viewpad10 �Moins puissantes que les umpc du projet�Un mode photo (l’utilisateur prend en photo le tableau
à analyser , le contenu interactif se joue sur cette photo)
pour 2 scénarios:�Thématique dans la
collection permanente�Visite libre salle XVIIe
Orange Labs/Pascal Houlier
23/25
Présentation du projet GAMME - 17 Juin 2011
RRéésultats > publicationssultats > publications� Revue « Culture et Recherche n°118-119 », Novembre 20 08
P. Houlier. Usages en mobilité, le projet GAMME
� ICPR’08– Tampa, Floride, Décembre 2008F. Servant, E. Marchand, P. Houlier, I. Marchal. Visual planes-based simultaneous localization and model refinement for augmented reality. In IAPR, Int. Conf. on Pattern Recognition,
� Epique2009 – Nice, France, Septembre 2009A.Bationo-Tillon . De l’analyse de l’activité de visite muséale à la conception d’un guide de réalitéaugmentée.
� Revue « Les cahiers de l’ANR n °°°°1 » Juin 2009 P.Houlier . Projet Gamme. Nouvelles médiations dans les musées avec la réalité augmentée.
� VRIC 2010 – Laval, France, Avril 2010A.Bationo-Tillon, I.Marchal, P.HoulierWhen augmented reality enrich museum visit: Lessons learned
� IROS 2010 – Tapei, Taiwan, Octobre 2010F.Servant E.Marchand P.Houlier. Improving monocular plane-based SLAM with inertial measures.
� ISMAR 2010 – Séoul, Corée du Sud, Octobre 2010A.Bationo-Tillon, E.Marchand, J.Laneurit, F.Servant, I.Marchal, P.HoulierA day at the museum: an augmented fine-art exhibit
Orange Labs/Pascal Houlier
24/25
Présentation du projet GAMME - 17 Juin 2011
PlanPlan�Un projet financé par l’ANR
�Partenariat
�Quelle Réalité Augmentée(RA) pour le musée ?
�De la technologie aux usages
�Résultats
�� PerspectivesPerspectives
Orange Labs/Pascal Houlier
25/25
Présentation du projet GAMME - 17 Juin 2011
PerspectivesPerspectives�Techno: améliorer le calcul de pose
�Techno Vision : nouvelles techniques de détection et tracking pour étendre le recalage aux objets 3D.
�Micro Capteurs : prendre en compte l’arrivée de gyroscopes sur les mobiles.
�Cibles plus puissantes et plus légères (nouveaux smartphones et tablettes)
�Usages�Inventer de nouvelles interactions, nouvelles
métaphores grâce aux outils développés.