大規模確率場と確率的画像処理の深化と展開 - …kazu/tutorial...ベイズ法最尤法 10 June, 2009 CIVM200906 (Kyoto） 6 文部科学省科学研究費補助金特定領域研究

10 June, 200910 June, 2009 CIVM200906 (KyotoCIVM200906 (Kyoto）） 11

大規模確率場と大規模確率場と確率的画像処理の深化と展開確率的画像処理の深化と展開

東北大学東北大学大学院情報科学研究科大学院情報科学研究科

田中田中和之和之

http://www.smapip.is.tohoku.ac.jp/~kazu/http://www.smapip.is.tohoku.ac.jp/~kazu/


ContentsContents

1.1. 序論序論2.2. 確率的画像処理確率的画像処理3.3. 確率伝搬法確率伝搬法4.4. まとめまとめ


確率的情報処理確率的情報処理

理詰めの情報処理法則・命題群からの予測

現実世界の現実世界の情報処理情報処理現象の起こる要因の多様性現象の起こる要因の多様性必要なデータが完全に得られるわけではない．必要なデータが完全に得られるわけではない．大量のデータは得られるが必要な情報の抽出が難しい．大量のデータは得られるが必要な情報の抽出が難しい．

「すぐ分かること」と「本当に知りたいこと」のギャップからくる「すぐ分かること」と「本当に知りたいこと」のギャップからくる不確実性→何とかして克服したい不確実性→何とかして克服したい!!!!

不確実性の数学的表現→確率・統計不確実性の数学的表現→確率・統計


確率的情報処理確率的情報処理

確率的画像処理ネットワーク構造をもつ

数理モデル

単純な機能を持つたくさんの要素が関連し合い，互いに協力して複雑・高度な機能を生み出す．

不確実性を伴うデータに耐えうる推論システム

モデル化

ノードは事象，矢印は条件付き確率に対応

不確実性の数学的表現→確率・統計

重要な概念のひとつ

10 June, 2009 CIVM200906 (Kyoto） 5

確率的情報処理の深化と展開

通信理論・像情報処理・確率推論

コトの物理学としての定着

ポイントはやはり More is different

統計科学

統計的学習理論

情報統計力学計算理論

日常生活の情報処理

データマイニング

複雑ネットワーク科学

例えばSAT

量子情報

生命情報科学

例えば量子誤り訂正符号，量子アニーリング

例えばSVMを用

いた遺伝子解析

例えば機械学習への応用

平均場法スピングラス理論

ベイズ法最尤法


文部科学省科学研究費補助金特定領域研究

「確率的情報処理への統計力学的アプローチ」

文部科学省文部科学省科学研究費補助金科学研究費補助金特定領域研究特定領域研究

「確率的情報処理への統計力学的アプローチ」「確率的情報処理への統計力学的アプローチ」

２００２年４月－２００６年３月２００２年４月－２００６年３月２００２年４月－２００６年３月


文部科学省科学研究費補助金特定領域研究

「情報統計力学の深化と展開」

文部科学省文部科学省科学研究費補助金科学研究費補助金特定領域研究特定領域研究

「「情報統計力学の深化と展開情報統計力学の深化と展開」」

２００６年４月－２０１０年３月領域代表：樺島祥介（東工大総合理工）２００２００６６年４月－２０年４月－２０１０１０年３月年３月領域代表：樺島祥介（東工大総合理工）領域代表：樺島祥介（東工大総合理工）

http://dex-smi.sp.dis.titech.ac.jp/DEX-SMI/http://dexhttp://dex--smi.sp.dis.titech.ac.jp/DEXsmi.sp.dis.titech.ac.jp/DEX--SMISMI//

情報統計力学検索

DEX-SMI 検索


ContentsContents


10 June, 2009 CIVM200906 (Kyoto） 9

画像修復の確率モデル

原画像劣化画像

通信路

雑音

{ } { } { }{ }

43421

48476444 8444 76444 8444 76

周辺尤度

事前確率尤度事後確率

劣化画像

原画像原画像劣化画像劣化画像原画像

PrPr|Pr|Pr =

白色ガウス雑音原画像劣化画像 +=

10 June, 2009 CIVM200906 (Kyoto） 10

Prior Probability in Probabilistic Image Processing

{ } ( ) ⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−∝= ∑

∈Ejiji xxxX

},{

221expPr αrr

10 June, 2009 CIVM200906 (Kyoto） 11

2値画像の事前確率(Prior Probability)

赤い線が少ないほど確率が高くなるように確率モデルを設計

問題設定画素の周辺の状態が固定されているとき着目画素の状態は？

？

>

== >

周りが白ければ着目画素も白くあるべき

2/α−∝ e 2/α−∝ e1∝1∝

10 June, 2009 CIVM200906 (Kyoto） 12

2値画像の事前確率(Prior Probability)2値画像の事前確率(Prior Probability)

赤い線が少ないほど確率が高くなるように確率モデルを設計

画素がいくつか集まると周りの画素の状態をよく見ながら自分の状態を決めないといけなくなるもっとたくさん集まったらどうなるか?

問題設定画素の周辺の状態が固定されているとき着目画素の状態は？

？-？== >

> >=

2/α−∝ e 2/α−∝ e1∝1∝

10 June, 2009 CIVM200906 (Kyoto） 13

ゆらぎが大きいときに何が実際に起こっているのか? p

0.0

0.2

0.4

0.6

0.8

1.0

0.0 0.2 0.4 0.6 0.8 1.0

無秩序状態秩序状態ゆらぎが大きく点の近くのパターン

α が小さい α が大きい

最近接画素間の共分散

マルコフ連鎖モンテカルロ法によるサンプリング

Markov Networkα

10 June, 2009 CIVM200906 (Kyoto） 14

ゆらぎが大きいときのパターンを画像処理に使えるか?

0.0

0.2

0.4

0.6

0.8

1.0

0.0 0.2 0.4 0.6 0.8 1.0α

最近接画素間の共分散

p

似ている

Markov Network大小

10 June, 2009 CIVM200906 (Kyoto） 15

強磁性体と確率モデル強磁性体と確率モデル

>

=

=

>

=

=

x

y

画像は各画素ごとの強さの異なる光であらわされる．

0 255

共通点：まわりと同じ状態をとろうとする

Ising モデル

Markov Random Field (MRF) モデル

10 June, 2009 CIVM200906 (Kyoto） 16

Prior Probability in Probabilistic Image Processing

{ } ⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−∝= ∑

∈Ejiji xxxX

},{

2)(21expPr αrr

0005.0=α 0030.0=α0001.0=α

Samples are generated by MCMC.

Markov Chain Monte Carlo Method

{ }VV ,,2,1 L=

links theall ofSet :E

10 June, 2009 CIVM200906 (Kyoto） 17

Additive White Gaussian Noise

{ } ( )∏∈

⎟⎠⎞

⎜⎝⎛ −−∝==

Viii yxxXyY 2

221expPrσ

rrrr

Degradation Process

10 June, 2009 CIVM200906 (Kyoto） 18

ベイズ統計と画像処理

{ } { } { }{ }

( ) ( ) ⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−−−∝

=

======

∑∑∈∈ Eji

jiVi

ii xxyx

yY

xXxXyYyYxX

},{

222 2

12

1exp

Pr

PrPrPr

ασ

rr

rrrrrrrrrr

xr g

{ }xX =Pr { }xXyY rrrr==Pr yr

原画像劣化画像事前確率

事後確率

加法的白色ガウス雑音または２元対称通信路

画像処理は平均，分散，共分散の計算に帰着

10 June, 2009 CIVM200906 (Kyoto） 19

Statistical Estimation of Hyperparameters

∑ =====z

zXzXyYyYr

rrrrrrrr}|Pr{},|Pr{},|Pr{ ασσα

( )},|Pr{max arg)ˆ,ˆ(

,σασα

σαyY rr

==

xr g

Marginalized with respect to X

}|Pr{ αxX rr= },|Pr{ σxXyY rrrr

== yrOriginal Image

Marginal Likelihood

Degraded ImageΩy

x

},|Pr{ σαyY rr=

Hyperparameters α, σ are determined so as to maximize the marginal likelihood Pr{Y=y|α,σ} with respect to α, σ.

10 June, 2009 CIVM200906 (Kyoto） 20

Maximization of Marginal Likelihood by EM Algorithm

∑ =====z

xXzXyYyYr

rrrrrrr}|Pr{},|Pr{},|Pr{ ασσαMarginal

Likelihood

( ) },|,Pr{ln}',',|Pr{

,',',

∑ =====z

yYzXyYzX

yQ

r

rrrrrrrr

r

σασα

σασα

( ) ( )( )

( ) ( )( )( )

( ) ( )( ).,,maxarg1,1 :Step-M

},|,Pr{ln)}(),(,|Pr{

,, :Step-E

,ttQtt

yYzXttyYzX

ttQ

zσασασα

σασα

σασα

βα←++

====← ∑r

rrrrrrrr

E-step and M-Step are iterated until convergence:EM (Expectation Maximization) Algorithm

Q-Function


ContentsContents


10 June, 2009 CIVM200906 (Kyoto） 22

計算困難のポイントは何か

2L 通りの和が計算できるか？

( )∑ ∑ ∑= = =FT, FT, FT,

211 2

,,,x x x

LL

xxxf LL

( )

}}

} ;,,,

F){or Tfor(

F){or Tfor( F){or Tfor(

;0

21

2

1

M

L

M

L

Lxxxfaa

x

xx

a

+←=

==

←

L 重ループ

このプログラムではL=10個のノードで1秒かかるとしたらL=20個で約17分，L=30個で約12日，L=40個で約34年かかる．

厳密に計算するのは一部の特殊な例を除いて難しい．

マルコフ連鎖モンテカルロ法確率伝搬法今回

10 June, 2009 CIVM200906 (Kyoto） 23

扱いやすい確率モデルのグラフ表現

扱いやすい確率モデルの数理構造

⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛= ∑∑∑

∑ ∑ ∑

===

= = =

FT,FT,FT,

FT, FT, FT,

),(),(),(

),(),(),(

CBA

A B C

DChDBgDAf

DChDBgDAf

A

B CD∑ ∑ ∑

= = =FT, FT, FT,A B C

扱いやすくない確率モデルの数理構造

∑ ∑ ∑= = =FT, FT, FT,

),(),(),(A B C

AChCBgBAf

A

B C

∑ ∑ ∑= = =FT, FT, FT,A B C

木構造をもつグラフ表現

閉路を含むグラフ表現

別々に和を計算できる

別々に和を計算することが難しい

10 June, 2009 CIVM200906 (Kyoto） 24

転送行列法＝確率伝搬法（1）

1次元鎖

{ } ( )∏−

=++==

1

111, ,1Pr

N

iiiii xxW

ZxX rr

( ) ( )∑∑ ∑ ∏−

⎟⎟⎠

⎞⎜⎜⎝

⎛≡

−

=++→−

1 2 1

1

111,1 ,

x x x

k

iiiiikkk

k

xxWxL L

( )kkk xL →−1

( )kkk xR →+1

k

k( ) ( )∑ ∑ ∑ ∏

+ + −⎟⎟⎠

⎞⎜⎜⎝

⎛≡

−

=++→+

1 2 1

111,1 ,

k k Nx x x

N

kiiiiikkk xxWxR L

10 June, 2009 CIVM200906 (Kyoto） 25

転送行列法＝確率伝搬法（2）

漸化式

( ) ( ) ( )∑ ++→−++→ =kx

kkkkkkkkkk xxWxLxL 11,111 ,

( )kkk xL →−1

k

( )11 ++→ kkk xL

1+k

{ } { }

( ) ( )( ) ( )∑

∑∑ ∑ ∑ ∑ ∑

→+→−

→+→−=

===− + + −

m

m m m N

xmmmmmm

mmmmmm

x x x x x xmm

xRxLxRxL

xXxX

11

11

1 2 1 1 2 1

PrPr rrLL

( )kkk xR →+1k

( )11 −−→ kkk xR1−k

( ) ( ) ( )kkkx

kkkkkkk xRxxWxRk

→+−−−−→ ∑= 11,111 ,

パスはひとつ

10 June, 2009 CIVM200906 (Kyoto） 26

閉路のないグラフ上の確率伝搬法

{ } ( )∏−

=++==

1

111, ,1Pr

N

iiiii xxW

ZxX rr

( ) ( )

( ) ( ) ( ) ( )∑

∑∑ ∑ ∏

++→−→−→−

=++++→

=

⎟⎟⎠

⎞⎜⎜⎝

⎛=

k

k

xkkkkkkkkkkkkk

x x x

k

iiiiikkk

xxWxMxMxM

xxWxM

11,321

111,11

,

,1 2

L

閉路が無いことが重要!!

同じノードは２度通らない

1X

2X 3X

1−kX

kX

2−kX

3−kX

1+kX

10 June, 2009 CIVM200906 (Kyoto） 27

確率的画像処理における確率伝搬法(Belief Propagation)

着目画素とその近傍画素だけを残すと木構造になる．

確率伝搬法(Belief Propagation)の統計的近似アルゴ

リズムとしての転用

10 June, 2009 CIVM200906 (Kyoto） 28

閉路のあるグラフ上の確率モデルの確率伝搬法(Belief Propagation)

( )MMrrr

Ψ= メッセージに対する固定点方程式

閉路のあるグラフ上でも局所的な構造だけに着目してアルゴリムを構成することは可能．ただし，得られる結果は厳密ではなく近似アルゴリズム

( )( ) ( ) ( ) ( )

( ) ( ) ( ) ( )∑∑

∑

→→→

→→→

→ Φ

Φ

=

1 2

1

1151141132112

1151141132112

221 ,

,

z z

z

zMzMzMzz

zMzMzMxz

xM

２１

３

４

５

平均，分散,共分散はこのメッセージを使ってあらわされる

10 June, 2009 CIVM200906 (Kyoto） 29

確率的画像処理における確率伝搬アルゴリズムの基本構造

ひとつの画素ごとに４種類の更新パターン

４近傍の場合は3入力1出力の更新式

画素上での動作の様子の一例

10 June, 2009 CIVM200906 (Kyoto） 30

Belief Propagation

Input

Output

BP EM

Update Rule of BP

２１

３

４

５

10 June, 2009 CIVM200906 (Kyoto） 31

Maximization of Marginal Likelihood by EM Algorithm

( ) ( )( )( )

( ) ( )( ).,,,maxarg1,1,

gttQtt rσασασασα

←++

yr

( )ymx rrr ,ˆ,ˆˆ σα=

0

0.0002

0.0004

0.0006

0.0008

0.001

0 20 40 60 80 100

Loopy Belief Propagation

Exact

0006000ˆ335.36ˆ

.==

LBP

LBP

ασ

0007130ˆ624.37ˆ

.==

Exact

Exact

ασ

10 June, 2009 CIVM200906 (Kyoto） 32

Image Restoration by MRF and Conventional Filters

( )2ˆ|V|

1MSE ∑∈

−=Vi

ii xx

327Statistical Method

445(5x5)

486(3x3)Median Filter

413(5x5)388(3x3)Lowpass

Filter

MSE

(3x3) (3x3) LowpassLowpass (5x5) Median(5x5) MedianMRFMRF

Original ImageOriginal Image Degraded ImageDegraded Image

RestoredRestoredImageImage

10 June, 2009 CIVM200906 (Kyoto） 33

Digital Images Inpaintingbased on MRF

Inpu

t

Out

put

MarkovRandom

FieldM. Yasuda, J. Ohkubo and K. Tanaka: Proceedings ofCIMCA&IAWTIC2005.

10 June, 2009 CIVM200906 (Kyoto） 34

結合ガウス・マルコフ確率場モデル

( )⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−−−−−= ∑∑

∈∈uyx Vxxuyx

ZP

Ejijiji

Viii γα

σ },{

2},{

22 ))(1(

21)(

21exp1)|(

0 2.7 1.8 0.9 1.8 2.7:0 :1

ライン場についての事前情報 V(u)

ライン場を量子化することでさらなる拡張が可能ライン場を量子化することでさらなる拡張が可能

10 June, 2009 CIVM200906 (Kyoto） 35


原画像劣化画像ライン場のない確率場モデル

ライン場を導入した確率場モデル

量子ライン場を導入した確率場モデル

10 June, 2009 CIVM200906 (Kyoto） 36


原画像劣化画像ライン場のない確率場モデル

ライン場を導入した確率場モデル

量子ライン場を導入した確率場モデル


ContentsContents


10 June, 2009 CIVM200906 (Kyoto） 38

確率モデルによる画像処理技術入門確率モデルによる画像処理技術入門

ベイズ統計をつかった画像処理ベイズ統計をつかった画像処理画像処理の事前分布画像処理の事前分布磁性体の物理モデルとの類似性磁性体の物理モデルとの類似性確率伝搬法（確率伝搬法（Belief PropagationBelief Propagation））

10 June, 2009 CIVM200906 (Kyoto） 39

脳の物理モデルの記憶容量，パーセプトロンの容量の評価に類似の議論

標本平均による統計的性能

11→yr

Prio

r Pr

obab

ility 1xr

2xr

3xr

21→yr

12→yr

22→yr

13→yr

23→yrN

oise

11→mr

12→mr

21→mr

22→mr

31→mr

32→mr

Mar

kov

Net

wor

k

推定画像劣化画像

Mean Square Error の標本平均

原画像

スピングラス理論による解析的評価が可能

マルコフ連鎖モンテカルロ法

H. Nishimori: Statistical Physics of Spin Glasses and Information Processing, ---An Introduction, Oxford University Press, 2001.

10 June, 2009 CIVM200906 (Kyoto） 40

統計的性能評価

( ) { }

( ) { } { } xdydxXxXyYxyhV

xdydyYxXxyhV

M

rrrrrrrrrrr

rrrrrrrr

PrPr1

,Pr1

2

2

===−=

==−≡

∫

∫

( )yh rr

g

)(xP r yr事前確率

劣化過程

( )xyP rrxr

( )yxP rr

事後確率修復画像

原画像劣化画像


ReferencesReferences

1.1. K. Tanaka: StatisticalK. Tanaka: Statistical--Mechanical Approach to Image Processing Mechanical Approach to Image Processing (Topical Review), J. Phys. A, (Topical Review), J. Phys. A, 3535, 2002., 2002.

2.2. 田中和之編著田中和之編著: : 臨時別冊・数理科学臨時別冊・数理科学SGCSGCライブラリ「確率的情報処ライブラリ「確率的情報処理と統計力学理と統計力学 ------様々なアプローチとそのチュートリアル」様々なアプローチとそのチュートリアル」, , サイエンサイエンス社ス社, 2006., 2006.

3.3. 田中和之著田中和之著: : 確率モデルによる画像処理技術入門確率モデルによる画像処理技術入門, , 森北出版森北出版, , 2006.2006.

4.4. C. M. Bishop: Pattern Recognition and Machine Learning, C. M. Bishop: Pattern Recognition and Machine Learning, Springer, 2006.Springer, 2006.

5.5. M. J. Wainwright and M. I. Jordan: Graphical Models, M. J. Wainwright and M. I. Jordan: Graphical Models, Exponential Families, and Exponential Families, and VariationalVariational Inference, now Publishing Inference, now Publishing Inc, 2008.Inc, 2008.

6.6. M. M. MezardMezard, A. , A. MontanariMontanari: Information, Physics, and : Information, Physics, and Computation, Oxford University Press, 2009.Computation, Oxford University Press, 2009.

Documents

大規模確率場と 確率的画像処理の深化と展開 - …kazu/tutorial...ベイズ法 最尤法 10 June, 2009 CIVM200906 (Kyoto） 6 文部科学省科学研究費補助金特定領域研究

大規模確率場と確率的画像処理の深化と展開 - …kazu/tutorial...ベイズ法最尤法 10 June, 2009 CIVM200906 (Kyoto） 6 文部科学省科学研究費補助金特定領域研究