Laboratoire Bordelais de Recherche en Informatique
11/04/23
4. Descripteurs du contenu
Le descripteurs les plus fréquemment utilisés :
Descripteurs invariants aux transformations affines autour des points caractéristiques : « coins de Harris », DOG – Lowe et al.
Descripteurs normalisés ( MPEG7 )
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Descripteurs SIFT (D. Lowe 2004) -1
SIFT = scale invariant feature transform Problème : détecter les points caractéristiques et proposer
les descripteurs invariants par rapport aux transformations
affines du plan – image et de la liminance.),(),,(),,( yxIyxGyxL
2
22
2
22
1),,(
yx
eyxG
-est le paramètre d’échelle
(1) (2 )
),,(),,(),,(),,( yxLkyxLyxDyxDOG
Mokolajczyk (2002) a montré que les points les plus stables sont obtenus comme extremums de Laplacien de Gaussienne d’une image
IG 22
Laboratoire Bordelais de Recherche en Informatique
11/04/23
DOG est une bonne approximation de
Considérons Alors (3) (4) Par ailleurs
(5)
G22
)2
exp(22
12
22222
5
yx
yxG
Descripteurs SIFT (D. Lowe 2004) -2
1 kk
)1(),,(),,(
kG
yxGkyxG
2
22222
62
2
2
22
2exp2
2
1
yx
yxy
G
x
GG
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Descripteurs SIFT (D. Lowe 2004) -3
De (4) et (5) :
(6)
Finalement de (3) et (6):
DOG déjà comporte la normalisation requise pour Laplacien inv. à l’échelle. Le
facteur (k-1) est constant pour toutes les échelles et n’influence pas la localisation
des extremums
G
G2
),,()1()1(),,(
),,(),,( 22
yxGkkyxG
yxGkyxG
2
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Calcul de la DOG
Convoluer I avec G progressivement
pour produire L séparées par k dans
l’espace - échelle
Une Octave est divisée en s
intervalles,
Echelles adjacentes
DOG:
Sous-échantillonnage de facteur 2
2,
2,...,22,2, /1/1/1 sss
2,
sk1
2
),,(),,(),,( iii yxLkyxLyxD
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Détection des extremums locaux
Un point est retenu si DOG est minimale ou maximale parmi
26 voisins
Choix du paramètre d’échelle
valeur
(Lowe[2004])
L’échelle s est affectée
au point
2,
6,1
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Filtrage le long des contours (1)
Un faible pic de DOG (qui correspond au contour) aura une forte courbure dans la
direction orthogonale au contour et une fable courbure dans la direction orthogonale.
Matrice Hessienne
Les valeurs propres de H sont proportionnelles aux courbures principales de D
au point considéré.
Soit avec - la valeur propre maximale ( )
sont les racines du polynôme caractéristique , alors
yyyx
xyxx
DD
DDH
,
r
, )det( IH
),(HTr)(HDet
1r
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Filtrage le long des contours (2)
Finalement
Exclusion du point si
r
r
HDet
HTr 222 1
Thr
Thr
HDet
HTr 22 1
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Résultats de la détection
Image1
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Résultats de la détection
Image10
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Affectation de l’orientation
Objectif : obtenir l’invariance du descripteur par rapport à la
rotation en compensant par rapport à l’orientation locale
For each sample of the image L(x,y) at a given scale
compute :
Amplitude du gradient :
Angle d’orientation : Histogramme d’orientations et calculé dans le
voisinage du point caractéristiques (36 orientations : 360/10).
Points multiples : l’histogramme contient plusieurs modes
22 )1,()1,(),1(),1(),( yxLyxLyxLyxLyxm
),1(),1(/)1,()1,(arctan),( yxLyxLyxLyxLyx
36,..,1,5,1,,,),()()( 00 iyxyxGyxmhh sii
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Séléctionner une région – carré autour du point caractéristique ( 8x8 or 16x16 pixels);
Claculer l’amplitude du gradient et l’orientation en chaque point de la région, pondérer l’amplitude avec une Gaussienne (cercle)
Diviser en blocs de taille 4x4 et calculer l’histogramme d’orientation pour chaque bloc (8 orientations);
Pondérer chaque contribution dans un bin par l’amplitude lissée du gradient
Interpoler les histogrammes
Descripteur local autour du point caractéristique (1)
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Descripteur local autour du point caractéristique (2)
Le descripteur X est un vecteur des histogrammes 4x4 concaténés dim(X)=4x4x8=128
« Tourner » le descripteur X par rapport à l’orientation du point caractéristique pour obtenir l’invariance par rapport à la rotation
Normaliser : - invariance par rapport aux transformations affines de
la luminance
XXX /
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Comparaison des descripteurs ( contexte de recherche des
images/vidéos)
Pour chaque point caractéristique dans l’image-requête et tous les points caractéristiques dans la BD calculer
Soit p1 le PPV de Q et p2 le second PPV de Q Si D(p1 )< D(p2) x Th du ]0 … 1] alors p1 est le
bon « correspondant » Activer le mécanisme de vote,…. Groupement basé sur les appariements….
2/1
1
2,
N
iDBiQiDBQ xxXXd
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Mise en correspondance -Application à la recherche des images (mais aussi
reconnaissance des images vidéos similaires, groupement des clips etc)
Plusieurs méthodes : par exemple, pour chaque descripteur de l’image – requête
trouver le meilleur correspondant dans la BD et regrouper les images correspondantes.
Soient p1 premier plus proche voisin d’un point-clé de l’image
requête et p2 son second plus proche voisin, alors D(p1 )< D(p2) x seuil , seuil appartenant à ]0 … 1] – bon
appariement Activer le mécanisme de vote,…. Groupement basé sur les appariements….
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Descripteurs normalisés MPEG7
Descripteurs de la couleur; Descripteurs de la texture; Descripteurs de la forme des objets; Descripteurs du mouvement;
Laboratoire Bordelais de Recherche en Informatique
SURF (speed-up robust features)(1)
11/04/23
Points caractéristiques : max de det de Hessian - blobs
L-convolution de l’image avec la dérivée seconde d’une Gaussienne
Laboratoire Bordelais de Recherche en Informatique
SURF (speed-up robust features)(2) H. Bay et al.
Image intégrale
Calcul rapide de convolution
11/04/23
C-B-D+A
Laboratoire Bordelais de Recherche en Informatique
SURF (speed-up robust features)(3)
11/04/23
Augmentation de taille de filtre au lieu de changement de l’image pour la détection à différentes échelles
Laboratoire Bordelais de Recherche en Informatique
Exemples de détection
11/04/23
Laboratoire Bordelais de Recherche en Informatique
Régions de calcul du descripteur.
11/04/23
Calcul de l’orientation à la base des Ondelettes de Haar
Laboratoire Bordelais de Recherche en Informatique
Descripteur
11/04/23
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Descripteurs de la couleur en MPEG7 (1) Color structure descriptor : exprime la structure
locale de la couleur dans l ’image
Calcul : soit M couleurs quantifiées.
L ’histogramme de la structure couleur est dénoté par h(m), m=0,1,…,M-1 où la valeur dans chaque bin représente le nombre d ’éléments structurants dans l ’image contenant cette couleur.
110 ,...,, Mccc
Elément structurant : bloc 8x8 glissant d ’un pixel.
Si la taille de l ’image > 256x256 - un sous-échantillonnage de facteur de 2 est effectué.
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Système couleur et quantification
Quantification de la couleur (HMMD - HS) en 32, 64, 120, 184 couleurs HueMaxMinDiff
Blanc
Degré de noir (max)
Chroma (diff)
Degré de blanc (min)
Intensité (sum)
Noir
Couleur Pure
Hue - le même que dans HSV
Max=max(R,G,B), Min=min(R,G,B)
Diff=Max-Min, Sum=(Max+Min)/2
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Descripteurs de la couleur en MPEG7 (2) Dominant color descriptor : l ’ensemble des
couleurs dominantes dans la régions d ’intérêt ou dans l ’image entière fournit une description compacte facile à indexer. ),...,2,1(,,,, NisvpcF iii
s
v
p
c
i
i
i - ième couleur dominante
- pourcentage dans l ’image
- variance couleur;
- mesure de cohérence spatiale (nombre moyen normalisé des pixels connexes de même couleur dans un voisinage 3x3).
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Calcul du DCD – Split-LBG Nombre de classes final fixé à priori K=2n
Méthode : 1. Initialisation : tirage aléatoire des centres de M<K classes (M=2) 2) « Split » de D :
3) LBG a - affectation
b - calcul du nouveau centroïde de chaque classe :
c - calcul de la distorsion si alors arrêter sinon (3) 4) Arrêt si K classes sinon retour en (2).
AccD M ,...,1
1)1( ,..., i
Ti
naaA
iii ccc ,
ikkjk
j DccadArgaC ),,()( min
kCla
lk
k aN
g1
k i
kik cadE ,
1 II EE
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Descripteur Color Layout Color Layout Descriptor : représentation compacte de la
distribution spatiale des couleurs dans l’image, indépendante de la résolution.
Calcul : - Partitionner image de taille MxN en 64 blocs (8x8). -Calculer la valeur représentative (moyenne) par bloc Calculer la DCT sur l’imagette des valeurs représentatives
Coefficients DCT de luminance
Coefficients DCT de chrominance rouge
Coefficients DCT de chrominance bleu
m = 6, n = 3 par exemple
njmiDCbDCrDYCLD jji ,...,1,,...,1,,,
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Calcul du descripteur
Zigzag Scan
Coefficients
Partitionement
Calcul des couleurs
représentatives
DCT
image
CLD
YCbCr
64(8x8) blocs
Laboratoire Bordelais de Recherche en Informatique
Exemples de CLD
11/04/23
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Descripteurs du mouvement
Activité de mouvement : traduit la notion intuitive de l ’intensité
d ’action dans un segment d’une vidéo Attributs : - intensité de d ’activité (l ’attribut principal) - direction d ’activité (la direction dominante
parmi 8 possibles) - distribution spatiale de l ’activité (indication
sur la taille et quantité des régions actives dans une scène vidéo)
- distribution temporelle de l ’activité
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Activité du mouvement
Valeur d’Activité Dynamique de l’ecart-type des vecteurs demouvement
1 9,30 2 7,100 3 1,177,10 4 321,17 5 32
Corrélation avec l ’amplitude des vecteurs du mouvement dans la séquence
Intensité d ’activité : mesure qualitatives selon l ’échelle 1..5 (très faible, faible, moyenne, forte, très forte
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Descripteur du mouvement des objets (1)
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Descripteur du mouvement des objets (2)
Modèle de trajectoire : approximation du premier ou second ordre par morceaux.
Ensemble des points-clés : coordonnées du centre de gravité de l ’objet (2D ou 3D);
ou
aaa ttvftf
-paramètre d ’interpolation
- la vitesse et l ’accélération de l ’objet
- positions en temps ta et tb
22
1aaaaa ttattvftf aba
ab
aba tta
tt
ffv
2
1
ba
aa
a
ff
av
a
,
,