統計的モデリングとベイジアンネットの原理dex-smi/2007/ceries...Pr{ 2} Pr{ 1, 2, 3, ,} AA A N N A L A A A LA 2N−1 =exp((N −1)ln2) O(eN) N-1 重のfor 文定義に基づいて厳密に計算す

7 December, 20077 December, 2007 CERIESCERIES--HCIS2007 (Tohoku University)HCIS2007 (Tohoku University) 11

統計的モデリングとベイジアンネットの原理統計的モデリングとベイジアンネットの原理

東北大学東北大学大学院情報科学研究科大学院情報科学研究科

応用情報科学専攻応用情報科学専攻田中田中和之和之(Kazuyuki Tanaka)(Kazuyuki Tanaka)[email protected]@smapip.is.tohoku.ac.jp

http://www.smapip.is.tohoku.ac.jp/~kazu/http://www.smapip.is.tohoku.ac.jp/~kazu/

7 December, 2007 CERIES-HCIS2007 (Tohoku University) 2

本講演の参考図書

田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006.田中和之編著: 臨時別冊・数理科学SGCライブラリ「確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル」, サイエンス社，2006.田中和之: 大規模確率場における予測と推論，電子情報通信学会誌，Vol.88, No.9, pp.698-702, September 2005.


不確実性を伴う情報処理の数理モデル

確率推論ネットワーク構造をもつ

数理モデル（ベイジアンネットワーク）

医療診断故障診断危険予知

単純な機能を持つたくさんの要素が関連し合い，互いに協力して複雑・高度な機能を生み出す．

不確実性を伴うデータに耐えうる推論システム

モデル化

ノードは事象，矢印は条件付き確率に対応

不確実性の数学的表現→確率・統計

閉路のあるグラフ

重要な概念のひとつ


ベイズの公式の導出

{ } { } { }AABBA PrPr,Pr =

{ } { }{ }

{ } { }{ }B

AABB

BABAPr

PrPrPr

,PrPr ==

{ } { } { }BBABA PrPr,Pr =

{ } { }∑=A

BAB ,PrPr 周辺確率(Marginal Probability)

結合確率(Joint Probability)

事後確率(Posterior Probability)

A

B

事前確率(Prior Probability)


ベイズの公式による確率的推論の例（１）

A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない．

教授には美人の秘書がいるが，よく観察してみると，教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない．教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．

秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論することができる.

甘利俊一：情報理論 (ダイヤモンド社，1970) より


ベイズの公式による確率的推論の例（２）

教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない．

{ }41Pr =教授機嫌良い { }

43Pr =教授機嫌悪い

教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない．

教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．

{ }87Pr =教授機嫌良い秘書機嫌良い

{ }41Pr =教授機嫌悪い秘書機嫌良い

3/4教授機嫌悪い

1/4教授機嫌良い

3/41/4教授機嫌悪い

1/87/8教授機嫌良い

秘書機嫌悪い

秘書機嫌良い

{ }教授機嫌秘書機嫌Pr

{ }教授機嫌Pr

データからヒストグラムをデータからヒストグラムを計算し，確率表を作成計算し，確率表を作成


教授は機嫌の悪いときが 3/4 を占め，機

嫌のよい期間はわずかの 1/4 にすぎない．

ベイズの公式による確率的推論の例（３）

{ }41Pr =教授機嫌良い { }

43Pr =教授機嫌悪い

{ }87Pr =教授機嫌良い秘書機嫌良い{ }

41Pr =教授機嫌悪い秘書機嫌良い

{ }{ } { }{ } { }

3213

43

41

41

87

PrPr

PrPrPr

=×+×=

+

=

教授機嫌悪い教授機嫌悪い秘書機嫌良し

教授機嫌良し教授機嫌良し秘書機嫌良し

秘書機嫌良し∑ ∑==

A AAABBAB }Pr{}|Pr{},Pr{}Pr{



ベイズの公式による確率的推論の例（４）

{ }41Pr =教授機嫌良い

{ }3213Pr =秘書機嫌良い

{ }87Pr =教授機嫌良い秘書機嫌良い

{ }

{ } { }{ } 13

7

3213

41

87

PrPrPr

Pr

=×

==秘書機嫌良し

教授機嫌良し教授機嫌良し秘書機嫌良し

秘書機嫌良し教授機嫌良し

教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない．


}Pr{}Pr{}|Pr{},Pr{

BAABBA =


ベイズの公式による確率的推論の例（5）

}SecretaryPr{}ProfessorPr{}Professor|SecretaryPr{

}Secretary|ProfessorPr{

=

3/4Professor = Bad Mood

1/4Professor = Good Mood

18/191/19Secretary=Bad Mood

6/137/13Secretary=Good Mood

Professor =Bad Mood

Professor=Good Mood

3/41/4Professor=Bad Mood

1/87/8Professor=Good Mood

Secretary =Bad Mood

Secretary=Good Mood

}ProfessorPr{

Prior Probability Table

}Professor|SecretaryPr{

Conditional Probability Table


ベイジアンネットによる確率推論の例（１）

0.5A=F0.5A=T

SprinklerC=T or F

RainB=T or F

Wet GrassD=T or F

CloudyA=T or F

0.20.8A=F0.80.2A=T

B=FB=T

0.90.1A=F0.50.5A=T

C=FC=T

C=FC=TC=FC=T

10B=F0.10.9B=F0.10.9B=T

0.010.99B=TA=FA=T

}Pr{A

}|Pr{ AC }|Pr{ AB

},|Pr{ CBD


ベイジアンネットによる確率推論の例（２）

SprinklerC=T or F

RainB=T or F

Wet GrassD=T or F

CloudyA=T or F

{ }{ } { }{ } { }

{ }{ } { }

{ } { }{ } { }

{ } { }AABACCBD

AAB

BACCBADBA

BACCBAD

CBACBADDCBA

Pr|Pr Pr,Pr

PrPr

,Pr,,Pr,Pr

,Pr,,Pr

,,Pr,,Pr,,,Pr

×

=

×

=

×

=

=

},|Pr{},,|Pr{}|Pr{},|Pr{

CBDCBADBCBAC

==

因果独立

親ノード

親ノード親ノード

子ノード

子ノード

子ノード

子ノード

親ノード


ベイジアンネットによる確率推論の例（３）

SprinklerC=T or F

RainB=T or F

Wet GrassD=T or F

{ } { }{ }D

DBDBPr

,PrPr ={ } { }{ }D

DCDCPr

,PrPr =

∑∑∑

∑∑

=

=

A B C

A C

DCBAD

DCBADB

},,,Pr{}Pr{

},,,Pr{},Pr{

∑∑∑

∑∑

=

=

A B C

A B

DCBAD

DCBADC

},,,Pr{}Pr{

},,,Pr{},Pr{

周辺確率周辺確率

{ } { } { } { }AABACCBDDCBA Pr|PrPr,Pr},,,Pr{ =

CloudyA=T or F


{ } { } { } { }

),,(),(),(

Pr|PrPr,Pr},,,Pr{),(),(),,(

DCBhCAgBAf

AABACCBDDCBABAfCAgDCBh

=

= 44 344 214342143421

ベイジアンネットによる確率推論の例（４）

SprinklerC=T or F

RainB=T or F

Wet GrassD=T or F

CloudyA=T or F

A

C B

D

A

C B

D

),( BAf),( CAg

),,( DCBh

有向グラフ無向グラフ


より複雑なベイジアンネット

ノード数とともに指数関数的に計算量が増加

Falseor True=iA

}} }

}

;},,Pr{}Pr{}Pr{ F){or Tfor(

F){or Tfor(

F){or Tfor( F){or Tfor(

;0}Pr{

2122

4

3

1

2

M

L

M

N

N

A,AAAAA

AA

AA

+←=

===←

∑∑ ∑≡1 3

},,,,Pr{}Pr{ 3212A A A

NN

AAAAA LL

( )( )2ln1exp2 1 −=− NN

( )NeO

N-1 重の for 文定義に基づいて厳密に計算するプログラム

このプログラムではL=10個のノードで1秒かかるとしたらL=20個で約17分，L=30個で約12日，L=40個で約34年かかる．


扱いやすい確率モデルのグラフ表現

扱いやすい確率モデルの数理構造

⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛= ∑∑∑

∑ ∑ ∑

===

= = =

FT,FT,FT,

FT, FT, FT,

),(),(),(

),(),(),(

CBA

A B C

DChDBgDAf

DChDBgDAf

A

B CD∑ ∑ ∑

= = =FT, FT, FT,A B C

扱いやすくない確率モデルの数理構造

∑ ∑ ∑= = =FT, FT, FT,

),(),(),(A B C

AChCBgBAf

A

B C

∑ ∑ ∑= = =FT, FT, FT,A B C

木構造をもつグラフ表現

閉路を含むグラフ表現

別々に和を計算できる

別々に和を計算することが難しい


閉路のないグラフ上の確率伝搬法

( ) ( ) ( ) ( ) ( )∑ ++→−→−→−++→ Φ=kx

kkkkkkkkkkkkkkkk xxxMxMxMxM 11,32111 ,

閉路が無いことが重要!!

同じノードは２度通らない

1X

2X 3X

1−kX

kX

2−kX

3−kX

1+kX

メッセージに対する漸化式（Message Passing Rule）


閉路のあるグラフ上の確率伝搬法

( ) ( ) ( ) ( ) ( )∑ ++→−→−→−++→ Φ≅kx

kkkkkkkkkkkkkkkk xxxMxMxMxM 11,32111 ,

閉路があっても局所的には木にみえる

1X

2X 3X

1−kX

kX

2−kX

3−kX

1+kX

メッセージに対する固定点方程式(Message Passing Rule)

同じノードを何度も通る


閉路のあるグラフ上の確率伝搬法(Belief Propagation)

着目ノードとその近傍ノードだけを残すと木構造になる．

確率伝搬法(Belief Propagation)の統計的近似アルゴ

リズムとしての転用



( )MMrrr

Ψ= メッセージに対する固定点方程式

閉路のあるグラフ上でも局所的な構造だけに着目してアルゴリムを構成することは可能．ただし，得られる結果は厳密ではなく近似アルゴリズム

( ) ( ) ( ) ( ) ( )∑ →→→→ Φ=1

1151141132112221 ,z

zMzMzMfzfM

２１

３

４

５

平均，分散,共分散はこのメッセージを使ってあらわされる



ひとつのノードごとに４種類の更新パターン

４近傍の場合は3入力1出力の更新式

ノード上での動作の様子の一例


固定点方程式と反復法

固定点方程式 ( )** MMrrr

Ψ=反復法

( )( )( )

M

rrr

rrr

rrr

23

12

01

MM

MM

MM

Ψ←

Ψ←

Ψ←

繰り返し出力を入力に入れることにより，固定点方程式の解が数値的に得られる．

0M1M

1M

0

xy =

)(xy Ψ=

y

x*M


確率伝搬法

1. 閉路を持たないグラフ上の確率モデルに対して厳密な結果を与える．2. 閉路を持つグラフ上の確率モデルでは近似アルゴリズムとなる．

８個程度のノードの簡単ではあるが閉路を含むグラフ上の確率モデルで確率伝搬法の構造を説明し，得られる近似結果と厳密な結果を比較してみる．

{ } { } { }{ } { }{ } { }{ } { }21

1324

25436

67658

PrPrPrPr

Pr,Pr

XPr,Pr Pr

XXXXXX

XXXXX

XXXX

×

×

×

=X


数値実験

4393.0)0(5607.0)1( 88 == PP

4360.0)0(5640.0)1( 88 == PP

確率伝搬法Belief Propagation

Exact

1X

3X

2X

4X

6X 5X

13W

67W

24W

25W346W

568W

8X7X

{ }∑≡

8\8765432188 ),,,,,,,()(

xxxxxxxxxPxP

x

3629.0)0,0( 0871.0)1,0(0764.0)0,1( 4736.0)1,1(

5858

5858

====

PPPP

3636.0)0,0( 0864.0)1,0(0724.0)0,1( 4776.0)1,1(

5858

5858

====

PPPP

{ }∑≡

85 ,\876543218558 ),,,,,,,(),(

xxxxxxxxxxPxxP

x


数値実験

{ }{ }

{ } 8261.04393.03629.0

PresentPrPresent,PresentPr

PresentPresentPr

Dyspnea

DyspneaBronchitis

DyspneaBronchitis

===

===

==

XXX

XX確率伝搬法確率伝搬法

1X

3X

2X

4X

6X 5X

13W

67W

24W

25W346W

568W

8X7X

3W4W

5W

6W


確率伝搬法の定式化

確率伝搬法と平均場理論の類似性の指摘Y. Kabashima and D. Saad, Belief propagation vs. TAP for decoding corrupted messages, Europhys. Lett. 44 (1998). M. Opper and D. Saad (eds), Advanced Mean Field Methods ---Theory and Practice (MIT Press, 2001).

一般化された確率伝搬法の提案S. Yedidia, W. T. Freeman and Y. Weiss: Constructing free-energyapproximations and generalized belief propagation algorithms, IEEE Transactions on Information Theory, 51 (2005).

確率伝搬法の情報幾何的解釈S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free energy, and information geometry, Neural Computation, 16 (2004).


確率伝搬法の応用範囲Image ProcessingImage ProcessingK. Tanaka: Statistical-mechanical approach to image processing (Topical Review), J. Phys. A, 35 (2002).A. S. Willsky: Multiresolution Markov Models for Signal and Image Processing, Proceedings of IEEE, 90 (2002).

Low Density Parity Check CodesLow Density Parity Check CodesY. Kabashima and D. Saad: Statistical mechanics of low-density parity-check codes (Topical Review), J. Phys. A, 37 (2004). S. Ikeda, T. Tanaka and S. Amari: Information geometry of turbo and low-density parity-check codes, IEEE Transactions on Information Theory, 50 (2004).

CDMA Multiuser Detection AlgorithmCDMA Multiuser Detection AlgorithmY. Kabashima: A CDMA multiuser detection algorithm on the basis of belief propagation, J. Phys. A, 36 (2003).T. Tanaka and M. Okada: Approximate Belief propagation, density evolution, and statistical neurodynamics for CDMA multiuser detection, IEEE Transactions on Information Theory, 51 (2005).

SSatisfability atisfability PProblemroblemO. C. Martin, R. Monasson, R. Zecchina: Statistical mechanics methods and phase transitions in optimization problems, Theoretical Computer Science, 265 (2001).M. Mezard, G. Parisi, R. Zecchina: Analytic and algorithmic solution of random satisfability problems, Science, 297 (2002).

7 December, 20077 December, 2007 CERIESCERIES--HCIS2007 (Tohoku University)HCIS2007 (Tohoku University) 2727

まとめまとめ

ベイズの公式による統計的モデリングベイジアンネットワークのグラフ表現確率伝搬法（Belief Propagation）

Documents

統計的モデリングとベイジアンネットの原理dex-smi/2007/ceries...Pr{ 2} Pr{ 1, 2, 3, ,} AA A N N A L A A A LA 2N−1 =exp((N −1)ln2) O(eN) N-1 重のfor 文 定義に基づいて厳密に計算す

統計的モデリングとベイジアンネットの原理dex-smi/2007/ceries...Pr{ 2} Pr{ 1, 2, 3, ,} AA A N N A L A A A LA 2N−1 =exp((N −1)ln2) O(eN) N-1 重のfor 文定義に基づいて厳密に計算す