GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet

GMM, distance entre GMMs, GMM, distance entre GMMs, SVM pour la vérification du SVM pour la vérification du

locuteur.locuteur.

Najim DehakNajim Dehak

Gérard CholletGérard Chollet

GMM pour la vérification du locuteurGMM pour la vérification du locuteur

UBMApprentissageÉnoncé de pseudo-imposteurs

Énoncé du locuteur

Adaptation Modèle du

locuteur

TestÉnoncé de test Score et

décision

GMM pour la vérification du locuteurGMM pour la vérification du locuteur

• UBM => GMM modèlesUBM => GMM modèles

• L’apprentissage à base de L’apprentissage à base de l’algorithme EMl’algorithme EM

• Les rôles du UBM : Les rôles du UBM : 1.1. Adapter les modèles clients.Adapter les modèles clients.

2.2. Normalisateur de scores dans la phase Normalisateur de scores dans la phase de test.de test.

GMM pour la vérification du locuteurGMM pour la vérification du locuteur

• Pourquoi faire une adaptation?Pourquoi faire une adaptation?

• Adaptation MAP:Adaptation MAP:

• Scores et décision:Scores et décision:

K

kkkk

smwSmwpSmYNwSmw

1),,(

),,(),(maxarg)ˆ,ˆ,ˆ(

N

n n

nX yp

Xyp

NYS

1 )/(

)/(log

1)(

Distance entre modèlesDistance entre modèles

UBMApprentissageÉnoncé de pseudo-imposteurs

Énoncé du test

Adaptation Modèle du Test

Énoncé du locuteur

AdaptationModèle

du locuteur

Score calculéà base de Distance

&décision

Distance entre modèlesDistance entre modèles

• Divergence de Kullback-Leibler entre 2 mélange de Divergence de Kullback-Leibler entre 2 mélange de densité:densité:

)~

||()w~||w(

~log~log

~~log

~~log~~||

ii

ii

i i

iii

i i

ii

i

i

iii

i ii

i ii

iii

iii

iii

ffKLwKL

f

ffw

w

ww

fw

fwfw

fw

fwfwfwfwKL

Distance entre modèlesDistance entre modèles

• Divergence de Kullback-Leibler entre 2 GMMs:Divergence de Kullback-Leibler entre 2 GMMs:

• Dans le cas de la VL avec seulement l’adaptation Dans le cas de la VL avec seulement l’adaptation des moyennes des gaussiennes:des moyennes des gaussiennes:

• On utilisant la distanceOn utilisant la distance

)N~

||(.w)w~||KL(w )p~||(K

1kkk

kNKLpKL

D

d dk

dkdkk

K

k

mmwpKL

12,

2,,

1

)~(

2

1)p~||(

D

d dk

dkdkk

K

k

mmwpKLpKLpKLD

12,

2,,

1

)~( p)||~()p~||()p~,(

Distance entre modèlesDistance entre modèles

• Espace des Espace des modèles:modèles:

dk

dkdkkdk

mmw

,

)(,,

, .

1,2

Y1

Y2

Ω

pP’

Ω

pP’

1,1

D(p,p’)

D

d dk

dkdkk

K

kE

mmwppD

12,

2,,

1

)'()',(

Distance entre modèlesDistance entre modèles

• Distance et scores de décisionDistance et scores de décision

))p(y/||(p(y/Y)D-))p(y/||)/((

))p(y/||)(KL(-))p(y/||)((

])/(

)([log]

)/(

)([log

])/(

)/([log

)/(

)/(log

1)(

2E

2

1

XYypD

XyMyMKL

Xyp

yME

yp

yME

yp

XypE

yp

Xyp

NYS

E

YY

YMy

YMy

My

N

n n

nX

DET curveDET curve

Distance entre modèlesDistance entre modèles

UBMApprentissageÉnoncé de pseudo-imposteurs

Énoncé du test

Adaptation Modèle du Test

Énoncé du locuteur

AdaptationModèle

du locuteur

Score calculéà base de Distance

&décision

Normalisation Des modèles

Distance entre modèlesDistance entre modèles

• Normalisation dans Normalisation dans l’espace des modèles M-l’espace des modèles M-normnorm

• Les nouvelles moyennesLes nouvelles moyennes

normX )(1,1Ω )(

1,1X

normX )(1,2

)(1,2X

Modèle initial

Modèle norm

)(,

)(, ),(

Xdk

E

normXdk XD

Dref

)()(

),(

)(

),(1

kE

Xk

XE

normXk m

XD

Drefm

D

Drefm

Courbe DETCourbe DET

Distance entre modèlesDistance entre modèles

• Peut être appliquer pour la Peut être appliquer pour la vérification du locuteur dans les vérification du locuteur dans les cartes à puce.cartes à puce.

• On peut faire une normalisation on On peut faire une normalisation on utilisant une ACPutilisant une ACP

SVM pour la VLSVM pour la VL

• Distance entre GMMs => fonction Distance entre GMMs => fonction noyau entre GMMs;noyau entre GMMs;

• Distance => kernelDistance => kernel

• Kernel => distanceKernel => distance

eD

yxk2

),( e

BADyxk

),(

),(2),(),(),( jijjiiji xxKxxKxxKxxd

SVM pour la VLSVM pour la VL

• Les travaux de Pedro J. Moreno et Les travaux de Pedro J. Moreno et Purdy P. HoPurdy P. Ho

• Avec comme distance :Avec comme distance :

e

BxpxpAD

jiji

ji

xpxpkXXk

))/(),/((

)/(),/(),(

))/(

)/(log()/()

)/(

)/(log()/())/(),/((

i

jj

j

iiji xp

xpxpdx

xp

xpxpxpxpD

Courbe DETCourbe DET

Courbe DETCourbe DET

SVM pour la VLSVM pour la VL

• Kernel Mixture models:Kernel Mixture models:

• Dans le cas de mélange de Dans le cas de mélange de gaussiennesgaussiennes

n

nmnmm

xxKnpmpdxnxpmxpnpmpxxk )',()(')()/(')./()(')()',( ,,

'')'(

)2

'''22

exp(')2(

)/('.)/())/('),/(()',(

11111

112/2/2/12/)21(

,,

tttD

Rnmnm Ddxnxpmxpnxpmxpkxxk