View
214
Download
0
Category
Preview:
Citation preview
Acquisition de vidéos HDR multi-vues
Jennifer BONNARD
Jennifer BONNARD
Séminaire CReSTIC SIC Le 19 janvier 2012
Directrice de thèse : Céline LOSCOS Encadrant : Gilles VALETTE
Jennifer BONNARD 2 Séminaire CReSTIC SIC Le 19 janvier 2012
Sommaire
• Introduction
• État de l’art
• Images HDR
• Images 3D
• Méthode développée
• Résultats obtenus
• Conclusion
• Perspectives
Jennifer BONNARD 3 Séminaire CReSTIC SIC Le 19 janvier 2012
Sommaire
• Introduction
• État de l’art
• Images HDR
• Images 3D
• Méthode développée
• Résultats obtenus
• Conclusion
• Perspectives
Jennifer BONNARD 4 Séminaire CReSTIC SIC Le 19 janvier 2012
Introduction
Images en relief Images HDR Vidéos
Ajout d’une information de
profondeur
Ajout d’une plus grande gamme
dynamique d’intensités lumineuses
Ajout de mouvement
Thèse « Capture Vidéos 3D et HDR »
Vers une restitution fidèle de la réalité
Jennifer BONNARD 5 Séminaire CReSTIC SIC Le 19 janvier 2012
Sommaire
• Introduction
• État de l’art
• Images HDR
• Images 3D
• Méthode développée
• Résultats obtenus
• Conclusion
• Perspectives
Jennifer BONNARD 6 Séminaire CReSTIC SIC Le 19 janvier 2012
État de l’art – Images HDR
• Acquisition • Méthodes
• Combinaison de plusieurs images acquises à des temps d’exposition différents [Debevec 97]
• Estimation des courbes de réponse liant valeur RGB et valeur HDR des pixels [Debevec 97,Mann 95, Mitsunaga 95]
• Acquisition d’une vidéo avec des temps d’exposition différents [Kang 03]
• Matériel • Caméra Spheron [SpheroCam HDR 11], Tocci [Tocci 11] • Appareil photo doté de la fonction HDR [Apple]
• Visualisation
• Écrans HDR : BrightSide repris par Dolby • Logiciels : Photoshop, HDRShop, … avec tone mapping ([Reinhard
05], [Drago 03],, [Fattal 02]) intégré, goHDR Media Player, …
Jennifer BONNARD 7 Séminaire CReSTIC SIC Le 19 janvier 2012
État de l’art – Imagerie HDR
Image LDR produite par tone mapping [Drago 2003] à
partir de l’image HDR
Utilisation d’une fonction poids
[Debevec 97]
-
Tem
ps
d
’exp
osi
tio
n
+
Jennifer BONNARD 8 Séminaire CReSTIC SIC Le 19 janvier 2012
Sommaire
• Introduction
• État de l’art
• Images HDR
• Images 3D
• Méthode développée
• Résultats obtenus
• Conclusion
• Perspectives
Jennifer BONNARD 9 Séminaire CReSTIC SIC Le 19 janvier 2012
État de l’art – Images 3D
• Acquisition 3D • Images
• Plusieurs prises de vues par un appareil photo standard (rail photo CReSTIC) • Appareil photo stéréoscopique
• Vidéos • Plusieurs caméras synchronisées • Caméra multi-scopique :
OctoCam de 3DTV Solutions et CReSTIC
• Visualisation 3D • Avec lunettes • Sans lunettes
Rail photo CReSTIC
Caméra multi-scopique développée par la société
3DTV Solutions et le CReSTIC
Jennifer BONNARD 10 Séminaire CReSTIC SIC Le 19 janvier 2012
État de l’art – Images 3D
Rail photo CReSTIC
Caméra multi-scopique développée par la société
3DTV Solutions et le CReSTIC
• Acquisition 3D • Images
• Plusieurs prises de vues par un appareil photo standard (rail photo CReSTIC) • Appareil photo stéréoscopique
• Vidéos • Plusieurs caméras synchronisées • Caméra multi-scopique :
OctoCam de 3DTV Solutions et CReSTIC
• Visualisation 3D • Avec lunettes • Sans lunettes
Jennifer BONNARD 11 Séminaire CReSTIC SIC Le 19 janvier 2012
Caractéristiques
• 8 objectifs alignés horizontalement
• Distance inter centres optiques : 59 mm
• Distance à la scène : 4,20 m
• Volume de la scène : 1 m3
État de l’art – Images 3D
Jennifer BONNARD 12 Séminaire CReSTIC SIC Le 19 janvier 2012
Géométrie associée : géométrie parallèle décentrée
• Axes optiques parallèles entre eux
• Distance de convergence non-infinie
État de l’art – Images 3D
Jennifer BONNARD 13 Séminaire CReSTIC SIC Le 19 janvier 2012
État de l’art – Images 3D
+ • Acquisition de
8 images synchronisées d’une même scène
• Caméra à géométrie connue
- • Limitation
matérielle
+ - • Points de vue
différents
Jennifer BONNARD 14 Séminaire CReSTIC SIC Le 19 janvier 2012
État de l’art – Images 3D
+ • Acquisition de
8 images synchronisées d’une même scène
• Caméra à géométrie connue
- • Limitation
matérielle
+ - • Points de vue
différents
Exploitation des avantages de la caméra pour proposer une solution
pour la vidéo HDR multi-vue
Jennifer BONNARD 15 Séminaire CReSTIC SIC Le 19 janvier 2012
État de l’art – Images 3D
Les écrans autostéréoscopiques
Écran à réseau lenticulaire
Jennifer BONNARD 16 Séminaire CReSTIC SIC Le 19 janvier 2012
État de l’art – Images 3D
Caméra multi-scopique développée par la société
3DTV Solutions et le CReSTIC
Écran autostéréoscopique
Images LDR 8 bits par canal
Image composite LDR 8 bits par canal
Jennifer BONNARD 17 Séminaire CReSTIC SIC Le 19 janvier 2012
Sommaire
• Introduction
• État de l’art
• Images HDR
• Images 3D
• Méthode développée
• Résultats obtenus
• Conclusion
• Perspectives
Jennifer BONNARD 18 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée
Acquisition
Adaptation de la caméra
Mise en correspondance
des pixels
Calcul des images HDR
Rendu 3D HDR (Tone Mapping)
Jennifer BONNARD 19 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée
Acquisition
Adaptation de la caméra
Mise en correspondance
des pixels
Calcul des images HDR
Rendu 3D HDR (Tone Mapping)
Jennifer BONNARD 20 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée : adaptation de la caméra
Calibration géométrique
Calibration colorimétrique
Alignement horizontal des
images
Cohérence des couleurs sur les 8
capteurs
Réaction différente selon le capteur
Imprécision de leur positionnement lors du montage de la caméra
Mêmes capteurs CMOS
Jennifer BONNARD 21 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée : adaptation de la caméra
• Fixation de filtres directement sur les objectifs de la caméra
• 2 filtres de densité 0.9
• 2 filtres de densité 0.6
• 2 filtres de densité 0.3
• Positionnement des filtres basé sur une heuristique
Limiter l’écart de densité des filtres sur deux vues consécutives
Temps d’exposition / 2
Temps d’exposition / 8
Temps d’exposition / 4
Temps d’exposition réel
Jennifer BONNARD 22 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée : adaptation de la caméra
Images LDR 8 bits par canal
Acquisition simultanée de plusieurs temps d’exposition (simulés) à partir de plusieurs points de vue
d = 0.3 d = 0.6 d = 0.9 d =0 d = 0.3 d = 0.9 d = 0.6 d =0
Temps d’exposition réel = 40 ms
Jennifer BONNARD 23 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée
Images à des temps d’exposition différents
Images pondérées par le temps d’exposition
1 image HDR par vue
Rendu HDR 3D
Jennifer BONNARD 24 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée
Images à des temps d’exposition différents
Images pondérées par le temps d’exposition
1 image HDR par vue
Rendu HDR 3D
Jennifer BONNARD 25 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée
Acquisition
Adaptation de la caméra
Mise en correspondance
des pixels
Calcul des images HDR
Rendu 3D HDR (Tone Mapping)
Jennifer BONNARD 26 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée : mise en correspondance
• Méthode de mise en correspondance [Niquin 11]
• Match : ensemble de pixels représentant le même point 3D de la scène
• Basée sur la colorimétrie et une minimisation d’énergie
Caves Ruinart [Niquin 11]
Jennifer BONNARD 27 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée
Acquisition
Adaptation de la caméra
Mise en correspondance
des pixels
Calcul des images HDR
Rendu 3D HDR (Tone Mapping)
Jennifer BONNARD 28 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée : calcul des images HDR
Images LDR
Images LDR acquises avec filtres
Points 3D de la scène
M
Jennifer BONNARD 29 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée : calcul des images HDR
Images LDR
Images LDR acquises avec filtres
Points 3D de la scène
M
Jennifer BONNARD 30 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée : calcul des images HDR
• Calcul de la valeur HDR E Pour le match M et chaque composante c dans R, V, B p : pixel appartenant à M dans l’image n (n є [1,8]) Ic (p): intensité de p dans la composante c w : fonction poids
dtn : temps d’exposition de l’image n
• Calcul de la fonction poids W
c : valeur du pixel dans la composante R, V ou B
𝑤 𝑐 = 1 − 2 𝑐
255− 1
12
𝐸𝑐 ℳ = 𝑤 𝐼𝑐 𝑝 𝑝∈ℳ 𝐼𝑐 𝑝 /𝑑𝑡𝑛
𝑤 𝐼𝑐 (𝑝) 𝑝∈ℳ
Jennifer BONNARD 31 Séminaire CReSTIC SIC Le 19 janvier 2012
Points 3D de la scène
M
Méthode développée : calcul des images HDR
Images LDR
Images LDR acquises avec filtres
Images HDR
Jennifer BONNARD 32 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée
Images à des temps d’exposition différents
Images pondérées
1 image HDR par vue
Rendu HDR 3D
Jennifer BONNARD 33 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée
Acquisition
Adaptation de la caméra
Mise en correspondance
des pixels
Calcul des images HDR
Rendu 3D HDR (Tone Mapping)
Jennifer BONNARD 34 Séminaire CReSTIC SIC Le 19 janvier 2012
Méthode développée
Images à des temps d’exposition différents
Images pondérées
1 image HDR par vue
Rendu HDR 3D
Jennifer BONNARD 35 Séminaire CReSTIC SIC Le 19 janvier 2012
Sommaire
• Introduction
• État de l’art
• Images HDR
• Images 3D
• Méthode développée
• Résultats obtenus
• Conclusion
• Perspectives
Jennifer BONNARD 36 Séminaire CReSTIC SIC Le 19 janvier 2012
Résultats obtenus
Génération d’images HDR 3D à partir d’une caméra multi-scopique
Images LDR acquises avec filtres
Images HDR HDRShop
Jennifer BONNARD 37 Séminaire CReSTIC SIC Le 19 janvier 2012
Résultats obtenus
• Problèmes dus à :
• La calibration
• Un arrière plan à l’infini
• La mise en correspondance des pixels
Jennifer BONNARD 38 Séminaire CReSTIC SIC Le 19 janvier 2012
Résultats obtenus
Exemple d’erreurs produites
Jennifer BONNARD 39 Séminaire CReSTIC SIC Le 19 janvier 2012
Sommaire
• Introduction
• État de l’art
• Images HDR
• Images 3D
• Méthode développée
• Résultats obtenus
• Conclusion
• Perspectives
Jennifer BONNARD 40 Séminaire CReSTIC SIC Le 19 janvier 2012
Conclusion
• Première étude de génération de vidéos HDR 3D
• À partir du matériel disponible au laboratoire
• En appliquant des méthodes de la littérature
• Limitations actuelles
• Temps de calcul
• Types de scènes acquises
Jennifer BONNARD 41 Séminaire CReSTIC SIC Le 19 janvier 2012
Sommaire
• Introduction
• État de l’art
• Images HDR
• Images 3D
• Méthode développée
• Résultats obtenus
• Conclusion
• Perspectives
Jennifer BONNARD 42 Séminaire CReSTIC SIC Le 19 janvier 2012
Perspectives
• Adaptation de la caméra • Amélioration des méthodes de calibration • Variation des temps d’exposition par une autre
méthode
• Mise en correspondance des pixels • Optimisation de la méthode utilisée • Exploration d’autres méthodes
• Calcul des images HDR Utilisation directe des valeurs acquises par les
capteurs
• Tone mapping Recherche d’algorithmes pour les vidéos HDR 3D
Jennifer BONNARD 43 Séminaire CReSTIC SIC Le 19 janvier 2012
Merci de votre attention… Des questions ?
Recommended