Upload
phunganh
View
219
Download
4
Embed Size (px)
Citation preview
(b)
2 0 2
2
0
2 (c)
2 0 2
2
0
2 (d)
2 0 2
2
0
2 (e)
2 0 2
2
0
2 (f)
2 0 2
2
0
2 (g)
2 0 2
2
0
2 (h)
2 0 2
2
0
2
(b)
2 0 2
2
0
2 (c)
2 0 2
2
0
2 (d)
2 0 2
2
0
2 (e)
2 0 2
2
0
2 (f)
2 0 2
2
0
2 (g)
2 0 2
2
0
2 (h)
2 0 2
2
0
2 (i)
2 0 2
2
0
2
EM Algorithm•厳密な解が求められない場合に用いる反
復的な求解法
• Expectation Maximization Algorithm
• Eステップ: 負担率を計算する
•パラメータを固定して
• Mステップ: パラメータを計算する
•負担率を固定して
EM Algorithm
(a)2 0 2
2
0
2
(b)2 0 2
2
0
2
(c)
L = 1
2 0 2
2
0
2
(d)
L = 2
2 0 2
2
0
2
(e)
L = 5
2 0 2
2
0
2
EM Algorithm
(a)2 0 2
2
0
2
(b)2 0 2
2
0
2
(c)
L = 1
2 0 2
2
0
2
(d)
L = 2
2 0 2
2
0
2
(e)
L = 5
2 0 2
2
0
2
(f)
L = 20
2 0 2
2
0
2
EM Algorithm• K-meansに比べて収束が遅い
•負担率の計算,パラメータの再計算を繰り返すため
•収束の仕方では極大値に落ちる
•ある混合要素(ガウス分布)が潰れてしまう(特異点): 分散→0
•解析的に解けない場合によく使われる
EM法の解釈•隠れ変数を持つようなモデル(混合ガウ
ス分布はその例)における最尤解を反復的に求めるための一般的な手法
•対数尤度を次のように表す
ln p(X|θ) = ln
��
z
p(X,Z|θ)�
データ 隠れ変数 パラメータ
EM法の解釈• (X,Z)の情報が分かっているとき,この
組を完全データ集合と呼ぶ
• (X,Z)のうちXだけが分かっているとき,この組を不完全なデータと呼ぶ
•不完全データXだけから最尤解を求めるために反復的な解法を用いている
• Eステップ
• Mステップ
• Eステップ: 潜在変数Zの事後確率に関する期待値を計算している(E)
• Mステップ: 現在のパラメータを用いて新しいパラメータを推定する
EM法の解釈
Q(θ, θold) =�
Z
p(Z|X, θold)p(X,Z|θ)
θnew = argmaxθQ(θ, θold)
混合ガウス分布の場合•なぜ期待値を使うのだろう
•完全データ集合(X,Z)に関する尤度を最大化する
Q(θ, θold)
p(X,Z|µ,Σ, π) =�
i
�
k
πznkk N (xn|µk ,Σk)
znk
ln p(X,Z|µ, Σ, π) =�
i ,k
znk{ln πk + lnN (xn|µk ,Σk)}
ごにょごにょ計算していくとZの事後確率の期待値 = 寄与率の計算に相当する
Implementationγ(zk) ≡ p(zk = 1|x) =
p(zk = 1)p(x|zk = 1)�K
j=1 p(zj = 1)p(x|zj = 1)
Nk =N�
i=1
γ(zik)µk =1
Nk
N�
i=1
γ(zik)xi
Σk =1
Nk
N�
i=1
γ(zik)(xi − µk)(xi − µk)T
=πkN (x|µk ,Σk)�Kj πjN (x|µj ,Σj)