Upload
juste-courtin
View
106
Download
0
Embed Size (px)
Citation preview
DEA DISIC Geoffrey Arthaud 1
Image Registration methods : a survey
Barbara Zitova, Jan Flusser
DEA DISIC Geoffrey Arthaud 2
Plan de l’exposé
Introduction Méthodologie associée au recalage d’image
1. Détection de caractéristiques
2. Mise en correspondance
3. Création d’un modèle de transformation
4. Transformation de l’image
5. Mesure de la précision du recalage Conclusion
DEA DISIC Geoffrey Arthaud 3
Introduction
Recalage d’image :Superposition de 2 images ou plusAligner une image « de référence » et une
image à transformerApplications nombreuses : Télédétection,
médecine, cartographie, etc..L’article est un état de l’art complet sur le
recalage d’images
DEA DISIC Geoffrey Arthaud 4
Méthodologie : Types d’images
Point de vue différent – multiview Instants différents – multitemporal Capteurs différents – multimodal Recalage Image réelle →← Modèle
DEA DISIC Geoffrey Arthaud 5
Méthodologie : Les étapes
1. Détection de caractéristiques
2. Mise en correspondance
3. Création d’un modèle de transformation
4. Transformation de l’image
DEA DISIC Geoffrey Arthaud 6
Méthodologie : Illustration
Caractéristiques
Correspondance
Modèle
Transformation
DEA DISIC Geoffrey Arthaud 7
Détection de caractéristiques
Etape 1 :
Deux méthodes complémentaires
DEA DISIC Geoffrey Arthaud 8
Méthodes zonales ► area-based methods
Pas de points de contrôle ► Etape sautée A utiliser pour les images peu détaillées
(images médicales)
DEA DISIC Geoffrey Arthaud 9
Méthodes avec caractéristiques ► feature-based methods
Caractéristiques sous forme de :RégionsLignesPoints
Caractéristiques stockées par des points de contrôle (CP)
Adaptées pour les images contenant des objets facilement détectables
DEA DISIC Geoffrey Arthaud 10
Mise en correspondance
Etape 2 : Suivi des deux méthodes
DEA DISIC Geoffrey Arthaud 11
Méthodes zonales
Choix d’une partie ou de la totalité de l’image à faire correspondre sur la référence
Principal inconvénient : mauvaise correspondance entre deux zones « douces » différentes
Trois façons de faire avec cette méthode : corrélation, Fourier, information mutuelle
DEA DISIC Geoffrey Arthaud 12
1. Méthodes de corrélation
Souvent utilisé pour sa simplicité d’implémentation
Limitée aux translations, rotations, et mise à l’échelle légères
2 inconvénients : Maxima de la fonction pas faciles à distinguer (auto
similarité de l’image) Temps de calcul assez long Non adapté au multimodal registration
DEA DISIC Geoffrey Arthaud 13
1. Méthode de corrélation
Variantes à CC :Filtrage préalable avant d’utiliser CCSSDARapport de corrélation (pour les multimodal)Hausdorff distanceCorrélation vectorielle
DEA DISIC Geoffrey Arthaud 14
2. Méthodes de Fourier
Meilleure vitesse de traitement et plus adaptées au images bruitées
Méthode de corrélation de phase pour le recalage d’images translatées
Extensions pour rotation et changement d’échelle : «polar-log mapping »
Utilisées pour la télédétection (images SPOT) et l’imagerie médicale (images MR)
DEA DISIC Geoffrey Arthaud 15
Comparaison CC - Fourier
DEA DISIC Geoffrey Arthaud 16
3. Méthodes d’informations mutuelles
Techniques de pointe pour les images multimodales
Mesure de dépendances statistiques, maximiser MI :
Optimisations par une approche pyramidale et descente de gradient
Variante : Entropie croisée
DEA DISIC Geoffrey Arthaud 17
Optimisations diverses
Sans gradient : PowellAvec gradient : Levenberg-MarquardtApproche pyramidale : multirésolution
DEA DISIC Geoffrey Arthaud 18
Méthodes avec caractéristiques
Sur les 2 images, des points de contrôle ont été créés.
But : Faire correspondre les points de contrôle 2 à 2 (tous ou une partie).
DEA DISIC Geoffrey Arthaud 19
1. Relations spatiales
Transformer l’ensemble des CP d’une image et évaluer la distance avec les CP de l’autre image
Clustering technique : mise en correspondance de CP reliés par des arêtes
DEA DISIC Geoffrey Arthaud 20
2. Descripteurs invariants
Donner une description aux CP avant de les faire correspondre
Description invariante, unique, stable (dans l’idéal)
Analyse du voisinage de chaque CP, et en tirer le maximum d’information (de nature géométrique), beaucoup de techniques possibles
DEA DISIC Geoffrey Arthaud 21
Optimisations
Méthodes pyramidalesMultirésolution de la rechercheDifférents types (somme, médian,moyenne,
cubic spline, Laplace, Gauss,…)Décomposition en ondelettes de l’image
pour l’approche pyramidale
DEA DISIC Geoffrey Arthaud 22
Création d’un modèle de transformation
Etape 3 : modèles globaux et locaux
DEA DISIC Geoffrey Arthaud 23
Exemples de fonctions de mapping
DEA DISIC Geoffrey Arthaud 24
Modèles globaux
Transformation de similitude (translation, rotation, scaling) : 2 CPs
Transformation affine : 3 CPsPerspective : 4 CPsEviter les polynômes de degré hautUtilisation de plus de CP (moindres
carrés)
DEA DISIC Geoffrey Arthaud 25
Modèles locaux
Tenir compte des distorsions localesUtilisation de fonctions « radiales » :
fonction juste de la distance du point au CP, et non de sa position exacte
Fonctions multiquadratic, de Gauss, de Wendland, etc…
Thin-plate splines (TPS) : temps de calcul très grand (warping, morphing)
DEA DISIC Geoffrey Arthaud 26
Recalage élastique
Pas de fonctions de mappingVoir l’image comme une feuille élastiqueMise en correspondance faite en même
tempsVariantes : recalage fluide pour des
déformations très localiséesDiffusion, level sets, optical flow
DEA DISIC Geoffrey Arthaud 27
Transformation de l’image
Etape 4 : Différentes interpolations possibles
DEA DISIC Geoffrey Arthaud 28
2 méthodes
Méthode avant Transformer directement les pixels de l’image à
recaler Apparition de trous et de superpositions, à éviter
Méthode arrière Partir du système de coordonnée de l’image
référence et appliquer les transformations inverses pour la coordonnée de l’image à recaler
Pas de trous, mais implémenter des algo d’interpolation
DEA DISIC Geoffrey Arthaud 29
Interpolations
Plus proche voisin Bilinéaire Bicubique
Meilleure compromis : bilinéaire le plus souvent
DEA DISIC Geoffrey Arthaud 30
Mesure de la précision du recalage
Etape 5 : Différents types d’erreurs
DEA DISIC Geoffrey Arthaud 31
Liste des erreurs de recalage
Erreur de localisation : CP mal placéErreur de reconnaissance : mauvaise
correspondance de CP , erreur graveErreur d’alignement : Utilisation d’une
mauvaise fonction de mapping
Utilisation de points tests (TP)Vérification manuelle par l’expert
DEA DISIC Geoffrey Arthaud 32
Conclusion
Recalage d’images de plus en plus déformées ou venant de sources très différentes
Problèmes encore ouverts : correspondance des CP, choix de la fonction de mapping
Méthode MI est une référence, mais reste une méthode zonale soumise à limitations
Elaboration de méthodes hybrides Perspectives futures : Système expert
choisissant la meilleure solution de recalage
DEA DISIC Geoffrey Arthaud 33
Remarques
Article très complet et très dense
Disproportion entre longueur de l’article et bibliographie : techniques citées mais peu développées