Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
1
Mesures Objectives de comparaison d'images: Application à la comparaison d'images couleurs
D. COQUIN
Laboratoire d’Informatique, Systèmes, Traitement de l’Information et de la ConnaissanceLISTIC - Domaine Universitaire, BP 80439, F. 74944 Annecy le Vieux Cedex.
(CNRS - GdR - ISIS)Email: [email protected]
D. Coquin ETASM
2
Plan de l'exposé
1) Introduction- intérêt des mesures objectives
2) Mesures de dissimilarité entre images à niveau de gris- description de 5 mesures de dissimilarité
3) Résultats expérimentaux - comparaisons entre ces mesures de dissimilarité- reconnaissance de gestes dynamiques
4) Extension au domaine de la Couleur- dissimilarité entre 2 images couleurs
5) Conclusion
D. Coquin ETASM
3
Une mesure quantitative de la dissimilarité D(A,B) entre 2 images, Aand B, est nécessaire pour un grand nombre d'applications pratiques,comme par exemple:
- pour l'évaluation des méthodes de restauration d'images- pour l'évaluation des méthodes de segmentation d'images- pour comparer le résultat de 2 détecteurs de contours à partir
des images de contours.- pour comparer les distorsions d'une image par rapport à une
référence.- .......
Question: Dans quelle mesure une image B est-elle similaire à une image A?
1. Introduction
D. Coquin ETASM
4
Question: L’image1 est-elle meilleure que l’image2 en terme de per-formance de filtrage?
adaptatif directionel 5x5 médian 7x7
1 2
référence
D. Coquin ETASM
5
Des choix basés sur un critère quantitatif ne doit pas être trop sensi-ble aux petites variations de forme
Il est nécessaire de trouver un critère quantitatif performant et d'étu-dier son comportement par rapport aux configurations que l'on peut ren-contrer dans les images, à savoir:
- son comportement vis à vis du bruit- son comportement vis à vis de la forme
savoise.gdr (CNRS - GDR- ISIS)
forme simple
forme complexe: objet fractal
D. Coquin ETASM
6
Les mesures de dissimilarité sont basées sur 2 approches classiques quitiennent compte de la modélisation des images:
- image considérée comme une Fonction
- image considérée comme un Ensemble de points
2. Mesures de dissimilarité pour des images en niveaux de gris
D. Coquin ETASM
7
2.1 Image en tant que fonction
fB
G(niveau de gris)
fA
S(support)
gB
gA
s(x,y)
image A
image B
fA: S ------> G(x,y)------> gA
avec gA = fA(x,y)
fA(x,y)
D. Coquin ETASM
8
Les opérateurs de comparaison peuvent être définis par:
avec: ϕ: fonction positive, de préférence paireΨ: fonction croissante, avec Ψ(0) = 0
la dissimilarité entre 2 images A and B s’obtient par accumulation d’in-formations locales.
exemple: * RMS:
ϕ: la fonction: élévation au carréΨ: la racine carrée de la moyenne
D A B,( ) Ψ ϕ fA s( ) fB s( )–( )s S∈∑⎝ ⎠
⎛ ⎞=
D A B,( ) 1card S( )-------------------- fA s( ) fB s( )–( )2
s S∈∑⎝ ⎠
⎛ ⎞=
D. Coquin ETASM
9
2.2 Image en tant qu'ensemble
Soit avec XA S G×⊂ XA s g,( ) SxG∈ g, fA s( )={ }=
G(niveau de gris)
XA
s
g
Mesure de dissimilarité entre 2 ensemblesXA and XB.
D(A,B) = d(XA,XB)
( S: support)
D. Coquin ETASM
10
- distance de Hausdorff
H XA XB,( ) maxsup d a XB,( ){ }a XA∈
sup d b XA,( ){ }b XB∈,
⎩ ⎭⎨ ⎬⎧ ⎫
=
XBXA
sup{d(b,XA)}H(XA,XB)
d a XB,( ) minb XB∈ d a b,( )[ ]=b
a
sup{d(a,XB)}
D. Coquin ETASM
11
- distance de Baddeley:
est définie pour 2 ensembles binaires XA et XB (==> images binaires)
Nous proposons d’adapter cette définition aux images à niveau de gris: Image A est associée à l’ensemble:
,
B XA XB,( ) 1card S( )-------------------- d s XA,( ) d s XB,( )– E
s S∈∑
1E---
=
XA S G×⊂ XA s g,( ) SxG∈ g, fA s( )={ }=
D XA XB,( ) 1G card S( )⋅----------------------------- d v XA,( ) d v XB,( )– E
v G S×∈∑
1E---
=
D. Coquin ETASM
12
Wilson-Baddeley-Owen ont proposé de caractériser la dissimilaritéentre les images A et B par:
G
Image A: ensemble XA dA(v)
v
XB
G
(x,y)
XAdA(v)
dB(v)
v(x,y,g)
SS
Δg A B,( ) 1G card S( )⋅----------------------------- d∗ s g,( ) ΓA,( ) d∗ s g,( ) ΓB,( )– E
g G∈∑
s S∈∑
1E---
=
D. Coquin ETASM
13
Image A est représentée par le volume défini par l'ensemble ΓA tel que:le sous-graphe de fA ,
et d*: la distance tronquée définie par:
ΓA s g,( ) S G g,×∈ fA s( )≤{ }=
d∗ s g,( ) ΓA,( ) infg′ g g′– c≤( ), max d s Xg′ A( ),( ) g g′–,[ ]{ } c,( )=
sous-graphe ΓB
GΓA
S
d[(s,Xg'(A)]
g
v(s,g')
ΓB
s
g'
Image BImage A
D. Coquin ETASM
14
2.3 Combinaison de l’information locale et globale
- Distance de Hausdorff Modifiée (MHD) proposée par Dubuisson et Jain [1994]
avec
et
MHD A B,( ) max d XA XB,( ) d XB XA,( ),[ ]=
d XA XB,( ) 1card XA( )------------------------ d a XB,( )
a XA∈∑=
d a XB,( ) minb XB∈ d a b,( )=
D. Coquin ETASM
15
- Zamperoni and Starovoitov: Dz
dcity : city block distance, WA= WB = 21x21 pixels
DZ A B,( ) 12G card S( )⋅-------------------------------- minb′ WB∈ dcity a b′,( ){ } mina′ WA∈ dcity a′ b,( ){ }+
E
s S∈∑⎩ ⎭
⎨ ⎬⎧ ⎫
1E---
=
fA
G
s
fB
S
Inte
nsité
W
WB
WA
b
ab' a'
Dissimilarité calculée à l’intérieur de la fenêtre W
D. Coquin ETASM
16
Comparaison de ces différentes dissimilarités:
- vis à vis d'une variation d'intensité - vis à vis du bruit - d'une variation de forme
3.1 ImplémentationLes distances Euclidiennes dA(v) et dB(v) sont approximées au moyend'un opérateur local de distance 3D.
3. Résultats expérimentaux
D. Coquin ETASM
17
Les distances globales sont calculées par propagation d'informations loca-les.
image originale image de distance 2D
G
S2D
coupe d'une image de distance 3D
Volume image Bimage A
dA(v)
D. Coquin ETASM
18
3.2 Effet d'une augmentation d'intensité
image originale +10 +30 +50
0
2
4
6
8
10
12
14
0/1 1/2 2/3 3/4 4/5
DMHDRMS
DzΔg
0
5
10
15
20
25
30
35
40
45
50
10 20 30 40 50
DMHDRMS
DzΔg
niveau de gris
RMS
DΔg Dz
MHD
D. Coquin ETASM
19
3.2 Sensibilité à une variation de la forme
séquence de 78 images d'un même objet. La caméra tourne autour decet objet et fait l'acquisition d'une image à intervalle régulier.
im47
im1 im12 im33 im47 im68
D. Coquin ETASM
20
0
20
40
60
80
100
0 10 20 30 40 50 60 70 80
DMHDRMS
DzΔg
12 47
D. Coquin ETASM
21
3.3 Application à la reconnaissance de gestes dynamiques
On souhaite reconnaître 10 gestes de la main.
le principe de reconnaissance est basé sur:- signature statique (histogramme des orientations du gradient)- signature dynamique (superposition des squelettes)
début du geste milieu du geste fin du geste
D. Coquin ETASM
22
- signature statique (histogramme des orientations du gradient)
la signature statique sert à repérer le début et la fin de la séquence.
D. Coquin ETASM
23
- signature dynamique (superposition des squelettes)
On applique la distance de Baddeley entre les signatures dynamiques. Ladistance la plus petite est associée au geste.
D. Coquin ETASM
24
Première conclusion:
- le nouveau critère D (extension de la distance de Baddeley) est - stable vis à vis d'une variation moyenne de l'intensité- discriminant vis à vis de la forme- robuste vis à vis du bruit (acivs´99)
- les meilleurs opérateurs sont ceux basés sur une modélisationensembliste de l'image.
- de tels opérateurs peuvent être utilisés pour faire du contrôleautomatique en minimisant un critère basé sur le calcul d'une dis-similarité.
D. Coquin ETASM
25
L'opérateur de dissimilarité choisi est l'extension de la distance deBaddeley, noté D, que nous avons adapté aux images couleurs.- première approche:
utiliser un opérateur local de distance 5D.==> (difficultés: temps de traitement, et taille de mémoire gi-gantesque)
- deuxième approche:passer du domaine (x,y,R,V,B) à un domaine 3D (x,y,g)==> faire une indexation des couleurs:
4. Mesure de dissimilarité pour des images Couleurs
D. Coquin ETASM
26
4.1 indexation des couleursOn utilise un réseau de neurones de Kohonen qui a la particularitéde conserver les propriétés de voisinage. l'algorithme SOM (SelfOrganizing Map).
==> difficulté: l'indexation nous donne des couches successives detaille différentes.
SOM
Un ensemble d'images indexéessur 256 niveaux de couleurs{imd1, imd2, ....., imdk}
OutputInput
Un ensemble d'images couleurreprésenté dans l'espace LAB{im1, im2 ,...., imk}
réseau unidimensionnel circulaire
D. Coquin ETASM
27
images originales images indexées
D. Coquin ETASM
28
Nous avons développé un opérateur local de distance 3D non sta-tionnaire dont les coefficients s'adaptent à la hauteur de chaquecouche.
Z
XxY
Pr+1
Pr
Pr-1Cr
Cr+1
Pr-2
masque avant
(D001)r
(D101)r(D111)r
(D111)r (D111)r
(D111)r
(D011)r
(D101)r
(D011)r
Z = Pr-1 Z = Pr
(D010)r
(D100)r(D110)r (D110)r
0
(D001)r
(D101)r(D111)r
(D111)r (D111)r
(D111)r
(D011)r
(D101)r
(D011)r
(D100)r(D110)r (D110)r
0 ( D010)r
Z = Pr+1Z = Prmasque arrière
D. Coquin ETASM
29
Résultats expérimentaux:a) influence de la Luminance
D. Coquin ETASM
30
Dechant
D
D. Coquin ETASM
31
b) Influence de la saturation
Dechant
D
D. Coquin ETASM
32
c) Influence du déplacement géométrique
0
20
40
60
80
0 5 10 15 20 25
D
RMS
Dechant
Translation
déplacement horizontal de 20 pixels
originale
D. Coquin ETASM
33
- comparaison de 5 opérateurs de dissimilarité- extension de la distance de Baddeley appliquée aux images
en niveaux de gris. ==> nouveau critère D- proposé une méthode qui permet d'appliquer cette dissimi-
larité aux images de couleur.- étudié les propriétés de cette dissimilarité pour quelques dé-
formations connues.- ce critère peut être utilisé comme critère de qualité entre 2
images.
5. CONCLUSION
D. Coquin ETASM