Applied Stochastic ProcessApplied Stochastic Process 第4 ...EMアルゴリズムによるアルゴリズム化確率伝搬法，マルコフ連鎖モンテカルロ法によるアルゴルズムの実装

物理フラクチュオマティクス論Physical Fluctuomatics

応用確率過程論Applied Stochastic ProcessApplied Stochastic Process

第4回最尤推定とEMアルゴリズム4th Maximum likelihood estimation and EM algorithm4th Maximum likelihood estimation and EM algorithm

東北大学大学院情報科学研究科応用情報科学専攻田中和之(Kazuyuki Tanaka)[email protected]

http://www.smapip.is.tohoku.ac.jp/~kazu/http://www.smapip.is.tohoku.ac.jp/ kazu/

物理フラクチュオマティクス論(東北大) 1

今回の講義の講義ノート

田中和之著：確率モデルによる画像処理技術入門，森北出版，第４章，2006．


統計的学習理論とモデル選択統計的学習理論とモデル選択

デタから確率デルの確率を推定する操作データから確率モデルの確率を推定する操作

モデル選択

統計的学習理論における確率モデルのモデル選択の代表例

最尤推定に基づく定式化不完全データにも対応

EMアルゴリズムによるアルゴリズム化確率伝搬法，マルコフ連鎖モンテカルロ法によるアルゴルズムの実装

更なる拡張

よるアルゴルズムの実装

赤池情報量基準(AIC)，赤池ベイズ情報量基準(ABIC) etc.


最尤推定(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)

パラメータ

,,

14 January, 2010Hokkaido University GCOE Tutorial

(Sapporo） 4


1 211Nパラメータ

0

222 2

1exp2

1,i

iggP

10

gg

g

,

1Ng

g

,

1,,1,0 NV 0 1 20 1 2

3 4 5

6 7 8


(Sapporo） 5


1 211N

データ

パラメータ

0

222 2

1exp2

1,i

iggP

10

gg

g

,

1Ng

g

,

1,,1,0 NV 0 1 20 1 2

3 4 5

6 7 8

データ


(Sapporo） 6

デタ


1 211N

データ

パラメータ

0

222 2

1exp2

1,i

iggP

10

gg

g

,

1Ng

g

,

1,,1,0 NV 0 1 20 1 2

3 4 5

6 7 8

データヒストグラム


(Sapporo） 7

デタヒストグラム


1 211N

データ

パラメータ

0

222 2

1exp2

1,i

iggP

10

gg

g

,

1Ng

g

,

1,,1,0 NV 0 1 20 1 2

3 4 5

6 7 8



(Sapporo） 8



1 211N

データ

パラメータ

0

222 2

1exp2

1,i

iggP

10

gg

g

,

1Ng

g

,

,maxargˆ,ˆ

,gP

1,,1,0 NV 0 1 2

,

0 1 2

3 4 5

6 7 8



(Sapporo） 9



1

21exp1N

iggP

データ

パラメータ

0

22 2exp

2,

iiggP

maxargˆˆ gP

10

gg

g

,

,maxarg,,

gP

1Ng

g

,

平均μと標準偏差σが与えられたときの確率密度関数をデータが与えられたときの平均μと分散σ2に対

g

μ 散する尤もらしさを表す関数（尤度関数）とみなす．


(Sapporo） 10


maxargˆˆ gP データ

パラメータ

1 211N

,maxarg,,

gP

10

gg

g

,

0

222 2

1exp2

1,i

iggP

1Ng

g

,

0

,

ˆ,ˆ

gP極値条件


g

0

,

ˆ,ˆ

,

gP



(Sapporo） 11



パラメータ

1 211N

,maxarg,,

gP

10

gg

g

,

0

222 2

1exp2

1,i

iggP

1Ng

g

,

0

,

ˆ,ˆ

gP極値条件


g

0

,

ˆ,ˆ

,

gP


1

0

1ˆN

iigN

1

0

22 ˆ1ˆN

iigN

標本平均標本分散


(Sapporo） 12

0i 0i



パラメータ

1 211N

,maxarg,,

gP

10

gg

g

,

0

222 2

1exp2

1,i

iggP

1Ng

g

,

0

,

ˆ,ˆ

gP極値条件


g

0

,

ˆ,ˆ

,

gP


1

0

1ˆN

iigN

1

0

22 ˆ1ˆN

iigN

標本平均標本分散


(Sapporo） 13

0i 0iヒストグラム

最尤推定 f

が分からなかったらどうしよう

gP maxargˆ データハイパパラメータ

10

ff

f

ff

fPfgPgfPgP

,,

10

gg

g

周辺尤度

1Nf

f

1

0

222 2

1exp21,

N

iii fgfgP

1Ng

g

不完全デタ

0,1

ˆ

gP

11 N

極値条件

1

0

2

21exp

21N

iiffP

パラメータ

不完全は完全にまず fP

データ

1

1

22 11ˆN

iigN

ベイズの公式

不完全データ

を考えよう．

わかっている場合

は完全にまず fP

fdgfPff ̂,ˆ gP fPfgPgfP

,,

イズの公式


gP

信号処理の確率モデル

雑音

白色ガウス雑音原信号観測信号

雑音

i

fi

i

gi

通信路i i

原信号観測信号

事前確率尤度

事後確率

原信号原信号観測信号 Pr|Pr

尤度

観測信号

原信号原信号観測信号観測信号原信号

PrPr|PrPr

ベイズの公式


周辺尤度ベイズの公式

原信号の事前確率

ji fffP 2 1exp1

i j

EjiEji

ji

ff

ffZ

f

2

},{},{Prior

11

2p

E すべての最近接

i j

Eji

ji ffZ },{2

Prior 21exp1 E：すべての最近接

ノード（画素）対の集合

画像データの場合1次元信号データの場合1 2 3 4 5 1 2 3 4 51 2 3 4 5

1 2 2 3X=

1 2 3 4

6 7 8 9

5

10

11 12 13 14 153 4 4 5XX

11 12 13 14

16 17 18 19

15

20


21 22 23 24 25

データ生成過程デタ生成過程

加法的白色ガウス雑音 (Additive White Gaussian Noise)

Viii gffgP

222 2

1exp2

1,

2,0~ Nfg ii V：すべてのノード（画 ,Nfg iiV：すてのノド（画素）の集合


信号処理の確率モデル信号処理の確率モデル

11データ不完全デタ

パラメータ

Viii fgfgP

222 2

1exp21,

11

0ff

デタ

0g

データ

Ejiji ffZ

fP},{

2

prior 21exp1

1

f

ff

1

g

gg

1Nf 1Ng

fi

gi

fdgfPff ii ,,ˆ

ハイパパラメータ

i i

fPfgP

gfP

,イラタ

fdfPfgP

gfP

,,,

事後確率


信号処理の最尤推定信号処理の最尤推定

f

,maxargˆ,ˆ gP

データ

パラメータ不完全データ

10

ff

f

,

fdfPfPP

10

gg

g

1Nf fdfPfgPgP ,,

1Ng

周辺尤度

gPgP極値条件ハイパパラメータ

0

,,0

,

ˆ,ˆˆ,ˆ

gPgP


最尤推定とEMアルゴリズム

データ fdfPfgPgP ,,

パラメータ

周辺尤度

不完全データ

10

ff

f

10

gg

g

Q

,, Q関数周辺尤度

1Nf

f

1Ng

g

fdgfPgfP ,,ln,, Q

ハイパパラメータ

)(),(, Calculate :Step E ttQ

0

,,

0,,

,

Q

Q

)1()1( Update:Step M

t,σtα

0

,

0

,,0

,

ˆ,ˆˆ,ˆ

gPgP )(),(,maxarg ),( ttQ EM アルゴリズムが収束すれば


極値条件EM アルリズムが収束すれば周辺尤度の極値条件の解になる．

1次元信号のモデル選択1次元信号のモデル選択

EM Algorithm200Original Signal g100

200

if0.04

i0 127 2550

200

g

Degraded Signal 0.03α(t)

0 127 255

100

0

ig40

0.02

0.01

α(t)

i0 127 255

100

200

if̂

Estimated Signal0.01

0

i0 127 255

100

0

if

α(0)=0.0001, σ(0)=100


ノイズ除去のモデル選択 MSE327 0.000611 36.30

̂ ̂40

原画像劣化画像 EMアルゴリズムと確率伝搬法

推定画像

α(0)=0.0001σ(0)=100

MSE ̂ ̂ 2ˆ1MSE ii ff


260 0.000574 34.00

||MSE

iii ff

まとめまとめ

最尤推定とEMアルゴリズムガウシアングラフィカルモデルによる統計的推定


演習問題4ー1

N個のデータgi (i=0,1,...,N-1) が確率密度関数

,演習問題4 1

,,

N個のデタgi (i 0,1,...,N 1) が確率密度関数

12

21exp1,

NiggP

10gg

g

,

に従って生成されたものとする．このとき，最尤推定

0

22 2p

2iigg

1Ng

による平均と分散の推定値

,

,maxargˆ,ˆ,

gP

による平均と分散の推定値

11ˆ

NigN

1

22 ˆ1ˆN

igN

が次式で与えられることを示せ．

0iN

0iN


Documents

Applied Stochastic ProcessApplied Stochastic Process 第4 ...EMアルゴリズムによるアルゴリズム化 確率伝搬法，マルコフ連鎖モンテカルロ法に よるアルゴルズムの実装

Applied Stochastic ProcessApplied Stochastic Process 第4 ...EMアルゴリズムによるアルゴリズム化確率伝搬法，マルコフ連鎖モンテカルロ法によるアルゴルズムの実装