View
109
Download
3
Category
Preview:
Citation preview
Laboratoire Bordelais de Recherche en Informatique
11/04/23
3.2. Caractérisation du mouvement et méthodes par comparaison du mouvement - Présument une estimation du
mouvement global dans le plan-image - Méthodes par comparaison du
mouvement et des mesures liées au codage - Caractérisation du mouvement de la
caméra - Approches par projections
(transformées)
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Méthodes « par comparaison du mouvement » Hypothèse : les frontières des segments
temporels correspondent au ruptures des modèles du mouvement.
Souvent les méthodes opèrent dans le domaine compressé (MPEG1,2) et utilisent les
informations du mouvement disponibles ( flot optique macrobloc)
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Segmentation temporelle basée sur le flot optique MPEG L’architecture des standards MPEG1,2
Types d’images I - intracoded (pas de compensation du mouvement) P - compensation de mouvement avec l’estimation B – compensation bi-directionnelle sans estimation
I, P - anchor frames
Laboratoire Bordelais de Recherche en Informatique
11/04/23
L’architecture des standards MPEG1,2(2)
Deux types de macroblocs dans les images P
-inter-coded :
- image et erreur codées-décodées
-intra-coded :
Codage du signal (image, erreur) : DCT, quantification, codage entropique
)1/,,(ˆ)1,,(),,( ttyxetdyydxxItyxI
)1/,(ˆ),,,( tytxetyxI
),,(),,( tyxItyxI
Laboratoire Bordelais de Recherche en Informatique
11/04/23
L’architecture des standards MPEG1,2(3)
Deux possibilités pour macroblocs dans les images B
inter-coded : passée (d1), futur(d2), bi-directionnel (d1+d2)/2–
intra-coded : DCT
Iref1 IB Iref2
d1
d2
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Détection des changements des plans par l’analyse du débit (T. Sencar, G. Bozdagi)
Nombre de bits
Numéro de
l’image
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Principe : l’augmentation du débit de codage des images P ou B signifie
- une mauvaise compensation du mouvement (par conséquent l’augmentation du débit de
codage de l’erreur de compensation) - codage de plusieurs macroblocs en mode
« intra »
Les raisons pour cela : un éventuel changement des scènes – « cut ».
Défauts : très pauvres performances dans le cas des effets de transition lents.
Détection des changements des plans par l’analyse du débit (T. Sencar, G. Bozdagi’99)
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Detection du changement de plans par analyse du mouvement(Léonardi, Migliorati’2002)
j
yxi
jivjivMN
k ,),(1
1 22 L’amplitude moyenne des vecteurs de déplacement
)(kIntra Nombre de macro-blocs codés en « intra » dans k-ème image P
kkIntrakCut )()( Comparaison avec un seuil
Tyx vvv ,
- utilisation des images P uniquement
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Detection du changement de plans et Caractérisation du mouvement de la caméra
-utilisation du nombre des blocs codés en « intra »
-prise en compte de la qualité d’estimation du modèle global
- choix d’image représentative (key-frame) par le test des hypothèses quant à la signification des paramètres du mouvement
-utilisation des images P uniquement
-estimation du modèle global du mouvement dominant – modèle de caméra
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Estimation robuste du mouvment à partir du flot optique macrobloc au sens des moindres carrés Le modèle du mouvement global est supposé
yaxaayxdy
yaxaayxdx
654
321
),(
),(
Tyxdyyxdx ),(),,( - vecteur de déplacement d’un macrobloc
),( yx - coordonnées du centre du macrobloc par rapport au centre de l’image
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Formulation au sens des moindres carrées
VHZ - équation du modèle
- vecteur de mesures (2N) TNN dydydydxdxdxZ ,...,,,..., 2121
NN
NN
yx
yxyx
yx
H
1000..................
10000001..................0001
11
11
- matrice d’observation (2Nx6)
654321 ,,,,, aaaaaa - vecteur des paramètres du modèle à estimer
V - bruit d’observation
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Solution par la méthode des moindres carrés pondérés.
- solution au sens des moindres carrés pondérés
- matrice des poids
- vecteur des mesures estimées
WZHWHHTT 1
ˆ
N
Nw
w
ww
W
212
21
0...000...00...............00...000...0
ˆ HZ
iii zzr ˆ - erreur résiduelle
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Résultats de l’estimation
amodel: 6.4898,-0.0089,-0.04925.1634,-0.0598,-0.0098
mse1: 21.8697mse2: 12.5257C =15.0831
Le mouvement de rotation et de transaltion. (L’Homme de Tautavel)
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Detection du changement des plans (1)
Caractéristiques du changement de plan-l’augmentation du nombre des blocs –intra (Q)-l’erreur d’estimation du modèle globale augmente (MSE)-les paramètres du mouvement de la caméra sont changés (a)
an(k) =|an(k) – an(k-1)|, n=1,…6
6
1
* )(1)(n
n kakA
Fonction-mélange )()1)()(1)(()( kAkMSEkQkD
avec
meannn aa /*
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Detection du changement des plans (2)Exemple du comportément
15031428 1602 1668 1767 1947 2046 2112 2190 2262 2049
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Detection des maxima de la fonction - mélangeDetection “off-line”
1) Detection du maximum global pour l’ensemble du fragment vidéo traité
2) Hypothèse de la distribution gaussienne des mesures D à l’intérieur d’un plan
3) Test des “outliers positifs” par rapport à la distribution courante
4) Confirmation par “le rapport de forces”
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Detection des maxima de la fonction - mélangeDetection “off-line”
1) Après avoir détécté le Max global on calcule les paramètres de la distribution gaussienne sur l’intervalle [imax+1, imax +L] :
2) Définition du seuil de rejet :
LDLD ,,,
LDkLD ,,
3) Indice i est retenu comme la frontière du plan si
et4) Max global <-Max courant et recommencer 1)
LiiiD max,)( tRatioPeakDesceniDiD )(/)( max
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Detection des changement des plans sur les images I
0 1 2 3 4
i
P. Kraemer, J.Benois, J._Ph. Domenger,2004
Principe :
-Décodage des images intra-codées du flux compressé à fable résolution (DC),
-retro-projection des pixels conformes au model du mvt global DCn+k -> DCn
-calcul de la mesure de similarité et décision sur le changement
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Exemple de rupture du contenu
0 1 2 3 4
Avec coupure :
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Effets d‘aliasing : Mesures habituelles sont inefficaces
Nouvelle mesure de similarité
2
),(
)),,(),,((||
1)( nyxDCknyxDC
VknMSE
Vyx
))(var())(var(
))(),(cov()(
nDCknDC
nDCknDCknCorr
Mesure de Similarité
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Mesure de similarité des images I
2
),(
2 ))),,(),,(((),,(||
1)( nyxDCknyxDCnyxw
VknWMSE
Vyx
sinon1
||),,(||si||),,(||),,(
tnyxnyx
tnyxw
|)],[,1]([),1][],([|
|),1][,1]([)],[],([|||),,(||
nyxDCnyxDC
nyxDCnyxDCnyx
Erreur quadratique pondérée par le contraste local :
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Mesure de Similarité des images I
Fonction de pondération w
Non pondérée Pondérée t=12.75
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Performances. TREC VIDEO 2004 : Tâche Changement des plans
Tests grandeur réelle 80 heures de la vidéo =7.200.000 frames
TV ABC et CNN
9/19 participants
Temps de calcul 4/19
L. Primaux, J. Benois, 2004
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Caractérisation et segmentation du mouvement
Problème : qualifier le mouvement de la caméra et segmenter en micro-plans
1. Reformulation du modèle du mouvement affine complet du 1er ordre
2. Estimation du modèle simplifié (4 paramètres) PTZ
yaxaayxdy
yaxaayxdx
654
321
),(
),(
Thyphyprotdivaa 2141 ,,,,,
6221 aadiv 352
1 aarot 621 21 aahyp 532 2
1 aahyp
Trotdivaa ,,, 415362 , aarotaadiv
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Tests des hypothèses statistiques sur la signification des paramètres du mouvement
H0 : le paramètre considéré ai est significatif
H1 : ai=0.
En supposant les distributions gaussiennes des erreurs d’estimation
A
H
HdSii
dSii
d rrN 0
1
21
20 lnln
2
ril - erreurs résiduels par
rapport au modèle
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Deformation Translation Movement de la caméra
(0,0,0,0) (0,0) Caméra statique
(0,0,0,0) (0,0) Panoramique ou translation latérale le fond est parallèle au plan focal
(div,0,0,0) Zoom ou travelling in/out
(0,rot,0,0) Rotation relative to OA
(div,rot,0,0) Combination des deux précédents
(div,rot,hyp1,hyp2) Translation avec le fond non-parallèle au plan focal
D’après P. Bouthemy, M. Gelgon
Laboratoire Bordelais de Recherche en Informatique
11/04/23
La mise en œuvre sur FO MPEG2 (Durik, Benois)
Caméra statique
Laboratoire Bordelais de Recherche en Informatique
11/04/23
3.2.2.Méthodes par caractérisation globale du mouvement dans le domaine des transformées
Transformées tomographiques spatio-temporelles :
les images « X-ray »
dxtyxItyIx ),,(),(
dytyxItxIy ),,(),(
CERIMES ©
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Caractérisation globale du mouvement de la caméra (Ph. Joly, Ph. Aigrain)(I)
Principe : caractérisation du mouvement de la caméra par le géométrie des objets dans des images X-ray
t1t2
Mouvement de la caméra panoramique
K=t2-t1+1
fwtpp 21
w -vitesse angulaire du mouvement de la caméra-la focalef
p-position horizontale/verticale sur l’écran
Tous les traces de pixels ont le même angle
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Exemples
Plan statique
Iy
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Caractérisation globale du mouvement de la caméra(II)
Zoom – in / out
12 pfvtfp
-vitesse du changement de la focale
-la focale
v
f
-dans le cas du panoramique et zoom le déplacement sur l’écran ne dépend pas de la distance de l’objet par rapport à l’écran
K=t2-t1+1Toutes les traces des pixels à la même position on le même angle
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Performances
L’approche typiquement « offline » - nécessite le cumul de la vidéo
-Impossible de détecter les micro-plans courts ( sensibilité de la transformée de Hough)
-Difficultés dans le cas des objets en mouvement,
des effets de transition
Recommended