Sylvain Paris et François Sillion

iMAGIS est un projet commun CNRS - INPG - INRIA - UJF

iMAGIS-GRAVIR / IMAG

Optimisation à base deOptimisation à base de

flot de grapheflot de graphepourpour

l'acquisition d'informations 3Dl'acquisition d'informations 3Dà partir deà partir de séquences d'imagesséquences d'images

Sylvain Paris et François SillionSylvain Paris et François Sillion


Cadre de travailCadre de travail

SéquenceSéquenced’images fixesd’images fixes


Schéma généralSchéma général

ImagesImages

Information 3DInformation 3D

Choix(optimisation)

Choix(optimisation)

CalculCalcul

TraitementTraitement


PlanPlan• Algorithme d'acquisition 3DAlgorithme d'acquisition 3D

• Travaux antérieursTravaux antérieurs

• Flot de graphe : introductionFlot de graphe : introduction

• Optimisation dans le plan 2DOptimisation dans le plan 2D

• Cas 3DCas 3D

• Acquisition 3D : résultatsAcquisition 3D : résultats

• ConclusionConclusion


Algorithme de reconstructionAlgorithme de reconstruction

Séquence d'images Séquence d'images fixes dans le tempsfixes dans le temps

++DiscrétisationDiscrétisationde l'espace 3Dde l'espace 3D

Fonction decohérence

Fonction decohérence

Ce point 3D appartient-il à la surface d'un objet ?

Ce point 3D appartient-il à la surface d'un objet ?


Algorithme de reconstruction (2)Algorithme de reconstruction (2)

OptimisationOptimisation

Fonction de cohérenceFonction de cohérence

SurfaceSurface

Post-traitementsPost-traitements


Quoi optimiser ?Quoi optimiser ?La fonction de cohérence La fonction de cohérence coûtcoût

OUIOUI NONNON

forte cohérenceforte cohérencefaible coûtfaible coût

faible cohérencefaible cohérencefort coûtfort coût


Quoi optimiser ? (2)Quoi optimiser ? (2)A priori : les objets sont lisses.

La cohérence ne suffit pas.

Terme de régularité pénaliser les discontinuités.

OUIOUI NONNON


Formulation : une énergieFormulation : une énergie

coût pénalité

Surface fonction f

énergie = coût (cohérence) + pénalité (régularité)

x et y pour contrôler la pénalité.


Choix de la pénalitéChoix de la pénalité

PénalitéPénalité : faible le long des discontinuités de couleur : faible le long des discontinuités de couleur

xx yy


PlanPlan• Algorithme d'acquisition 3D

• Travaux antérieursTravaux antérieurs

• Flot de graphe : introduction

• Optimisation dans le plan 2D

• Cas 3D

• Acquisition 3D : résultats

• Conclusion


Travaux antérieursTravaux antérieurs

Aucune optimisationAucune optimisation [Kutulakos et Seitz 99, Slabaugh et al. 00]

• précision en fonction du nombre de points de vue et précision en fonction du nombre de points de vue et de leurs positionsde leurs positions

[Scharstein et Szeliski]

Optimisation ligne par ligneOptimisation ligne par ligne[Ohta et Kanade 85, Okutomi et Kanade 93,...]

nécessite peu de points de vuenécessite peu de points de vue cohérence entre lignescohérence entre lignes pas de reliefpas de relief


Travaux antérieursTravaux antérieursOptimisation globale sur la surfaceOptimisation globale sur la surface

type "descente de gradient"type "descente de gradient" [Faugeras et Keriven 98]

difficile à mettre en difficile à mettre en œœuvre (minima locaux)uvre (minima locaux)

type "flot de graphe"type "flot de graphe" [Roy et Cox 98]

• contrainte de continuité quelconque mais solution contrainte de continuité quelconque mais solution approchée approchée [Veksler 99, Kolmogorov et Zabih 01 et 02]

• contrainte de continuité convexe et solution exacte contrainte de continuité convexe et solution exacte [Ishikawa 00]

Formulation discrète : dépend de la résolutionFormulation discrète : dépend de la résolution Mal adapté au problème multi-camérasMal adapté au problème multi-caméras


PlanPlan•Algorithme d'acquisition 3D

• Travaux antérieurs

• Flot de graphe : introductionFlot de graphe : introduction


• Cas 3D


• Conclusion


Flot de grapheFlot de graphe

Un problème d'écoulement d'eauUn problème d'écoulement d'eau

sourcedébit infini

sourcedébit infini

puitsdébit fini

puitsdébit fini

Réseau

de

tuyaux

Réseau

de

tuyaux

[Ford et Fulkerson 62]

Goulot Goulot d'étranglement ?d'étranglement ?

Ensemble de tuyauxEnsemble de tuyaux• sépare la source du puitssépare la source du puits• restreint le flot à travers le réseaurestreint le flot à travers le réseau


Flot de graphe (2)Flot de graphe (2)

Donner un sens aux coupuresDonner un sens aux coupures

Source

Puits

Réseau de tuyaux : Réseau de tuyaux : graphegraphe Tuyaux (capacité, flot) : Tuyaux (capacité, flot) : arcs valuésarcs valués Jonctions entre tuyaux : Jonctions entre tuyaux : nnœudsœuds Ensemble séparant source/puits : Ensemble séparant source/puits : coupurecoupure Goulot d'étranglement : Goulot d'étranglement : coupure minimalecoupure minimale

Algorithme connu etAlgorithme connu eten temps polynomialen temps polynomial

[Ford et Fulkerson 62, Cherkassky et Goldberg 97,...]


PlanPlan• Travaux antérieurs

• Algorithme d'acquisition 3D


• Optimisation dans le plan 2DOptimisation dans le plan 2D

• Cas 3D


• Conclusion


Plan 2D : formulationPlan 2D : formulation

Discrétisation

coût pénalité

GéométrieGéométrie


Pénalité (régularité) arcs horizontaux

Coût arcs verticaux

Plan 2D : résolutionPlan 2D : résolution

Surface coupure

Énergie de la surface

=Capacité de la coupure

Énergie de la surface

=Capacité de la coupure


Plan 2D : ambiguïtéPlan 2D : ambiguïtéCoût et pénalité uniformes :Coût et pénalité uniformes :

pas de différence entre un pallier pas de différence entre un pallier et une pente progressiveet une pente progressive

Effet classique des Effet classique des "marches d'escalier""marches d'escalier"

Différenciation grâce à :


PlanPlan• Travaux antérieurs

• Algorithme d'acquisition 3D



• Cas 3DCas 3D


• Conclusion


Cas 3DCas 3D

Simple Simple mais mais

ambiguëambiguë

Sans Sans ambiguïtéambiguïté

Grille 3D à la place de la grille 2D.Grille 3D à la place de la grille 2D.


Cas 3DCas 3D

• Ne se résout pas par des méthodes type Ne se résout pas par des méthodes type "exploration récursive des fonctions"."exploration récursive des fonctions".

• Complexité en Complexité en OO((nn2,52,5) ) [[n n : nombre d'arcs et de n: nombre d'arcs et de nœœuds]uds]

• Optimisation globale de la surface.Optimisation globale de la surface.


ExtensionsExtensions

• dimensions supérieuresdimensions supérieures

• approximation en temps linéaireapproximation en temps linéaire

• fonctions périodiquesfonctions périodiques

• autres mesuresautres mesures






• Cas 3D

• Acquisition 3D : résultatsAcquisition 3D : résultats

• Conclusion


RésultatsRésultats

40 images40 images

692 692 x x 591591


RésultatsRésultats

11 images11 images640 640 xx 480 480


Résultats (2)Résultats (2) 30 minutes à 2 heures de calcul 30 minutes à 2 heures de calcul

(MIPS R12000 400MHz)(MIPS R12000 400MHz)

300 Mo à 700 Mo de mémoire300 Mo à 700 Mo de mémoire

Mais : plusieurs dizaines à plusieurs centaines de Mais : plusieurs dizaines à plusieurs centaines de millions d'arcsmillions d'arcs

Cas réelsCas réels






• Cas 3D


• ConclusionConclusion


ConclusionConclusion

• Formulation continue et géométrique du problème.Formulation continue et géométrique du problème.

• Mise en évidence d'ambiguïtés et solution pour les Mise en évidence d'ambiguïtés et solution pour les résoudre.résoudre.

• Application à la reconstruction 3D Application à la reconstruction 3D précision. précision.

Travaux futursTravaux futurs• Encore plus précis.Encore plus précis.

• Exploration en détail des extensions.Exploration en détail des extensions.


Merci...Merci...

...questions ?...questions ?

Documents

Sylvain Paris et François Sillion