貝氏網路簡介

1

貝氏網路簡介

主講人：劉湘川

生物資訊研究所暨心理系亞洲大學

2

網路 (Bayesian Networks) 別名

貝氏推估網路 (Bayesian Inference Networks)

貝氏信念網路 (Bayesian Belief Networks)

信念網路 ( Belief Networks)因果關係網路 ( Causal Networks)機率網路 ( Probabilistic Networks)影響力圖表 ( Influence Diagram )

3

貝氏網路之基本定義貝氏推論：善用先驗知識或專家意見並結合可觀察資訊之機率推論模式稱為貝氏推論非循環有向圖形：以頂點集及有向邊集所組成之圖形稱為有向圖形，無迴圈

(loop) 及迴路 (cycle) 之有向圖形稱為非循環有向圖形(directed acyclic graph: DAG)

貝氏網路：對不確定事務之描述與推論，以貝氏推論為基礎之非循環

有向圖形模式稱為貝氏網路 ( 較嚴謹之定義如次頁 ) 。

4

馬可夫條件與貝氏網路

[ 定義 ]

已知 G=(V,E) 為一 DAG.

為 X 之親代集

| ,pa X Y Y X Y V

1 2, ,..., nV X X X

若 1 21

, ,..., |n

n i ii

P V P X X X P X pa X

則稱聯合機率滿足馬可夫條件 (Markov condition) ，且稱 (G,P) 為貝氏網路

1 2, ,..., nP P V P X X X

5

貝氏網路之基礎 -- 貝氏定理

Thomas Bayes (1763) 提出

, | | | |P x y z P x z P y z X Y Z

, ||

P z x P z P x zP z x

P x P x

| |Z zP x E P x Z P z P x z normalized probability

:

| :

| :

P z prior probability

P x z likelihood probability

P z x postrior probability

6

貝氏定理基本概念

1B 2B 3B nB…

E

1 11 1

|n n n n

i i i i ii ii i

P E P E U P E B P E B P E B P B P E B

U

1

: , ,n

i i ji

Thm U B B B i j

1

||

|

k k kk n

i ii

P B E P B P E BP B E

P EP B P E B

7

事件獨立基本概念

11,2,3,4,5,6 , ,

61,3,5 , 2,4,6 , 1,2,3 , 1,2

1| | , : ,

2/ 2 1

|/ 3 2

1|

2

S f x x S

A C D B

P A P A S P C P C S S D B

P A DA D A D SP A D P A

D D S P D

P A BP A B P A A B

P B

樣本空間改變

8

事件獨立之定義

, 0,

|

|

:

:

: | | | | |

P A P B

P A BP A B P A P A B P A P B A B

P B

P B AP B A P B P B A P B P A B A

P A

Def P A B P A P B A B B A

Def P A B C P A C P B C A B C B A C

若則

一般化

9

貝氏網路聯合機率聯鎖法則

貝氏網路為 B(G,P) ；其中 G=(V,E) 為一非循環有向圖 DAG ，

為一組條件機率，代表頂點之親代頂點所成之集合，且由 P 可簡化定義 G 中所有頂點 x 之聯合機率密度 (jpd) 如下式：

其中註：無親代之頂點之邊際機率可記為

1 1 2 2| , | ,..., |n nP P x P x P x i

ix

1

|n

i ii

P X P x

1 2, ,..., nX x x x

| |i i i iP x P x P x ix

10

貝氏網路推論過程之三種推理

演繹推理 (Deductive reasoning) ：由一般至特例之推理，即由因至果之推理，如黑格爾之三段論證。

歸納推理 (Inductive reasoning) ：由特例至一般之推理，即由果至因之推理，如數學歸納法

設因推理 (Abductive reasoning) ：為綜合歸納與演繹之推理，先歸納觀察之果假設可能之因，再由可能之因演繹所有可能之果，若有非預期之果，則修正原有假設，形成新假設。

11

貝氏網路推論過程四步驟 1. 設因推理引導模式之建構：參考研究成果與先前經驗建立模式基本架構，並以統計分析加以改進。 2. 演繹推理附加事前參數估計：從給定模式之變數結構，設定觀察變項之先驗分布。 3. 歸納推理求出後驗分布：自特定學生之反應或行為觀察值，更新模式之信仰機率，進而推論該模式潛

在變項之狀態，此即證據式推理。 4. 設因推理擴展學生模式架構：由資料中非預期類型促發之歸納結果，形成模式更新假設，再由新的假設演繹新的結果，並進行檢定。

12

貝氏網路機率推論核心

貝氏網路證據推理過程中，如何根據機率理論自給定學生之作答觀察值，推論該模式潛在變項之狀態，以求得後驗分布。必須要有嚴謹有效之「推論規則」或「推論方法」，此為貝氏網路機率推論核心。

13

貝氏網路四種推論方法 1. 信息傳遞法 (message passing) (Pearl 1988) 2. 區塊樹法 (trees of cliques) [ 應用最廣 ] (Lauritzen & Spiegelhalter 1988) (Jensen 1996) 3. 質之傳遞 (qualitative propagation) (Henrion & Druzdzel 1990) 4. 馬可夫鍊蒙地卡羅法 (Markov Chain Monte Carlo : MCMC) (Gelman, Carlin, Stern, & Rubin, 1995)

14

樹狀貝氏網路證據推理簡介

任一頂點至多一親代者稱為「樹狀貝氏網路」任一頂點至多一親代及一子代者稱為「鍊狀貝

氏網路」鍊狀貝氏網路亦為一種「樹狀貝氏網路」鍊狀貝氏網路與樹狀貝氏網路均可直接重複使

用貝氏定理與條件機率進行證據傳導 (Jensen, 1996)

15

鍊狀貝氏網路證據推理簡介

Z X Y

X更新的機率分配

根據更新之 X,以條件機率更新Y 之機率分配

||

X

P z P x zP z x

P x

根據新的使用

Z更新的機率

|P x z |P y x

16

鍊狀與樹狀貝氏網路兩種證據推理

由「因變數」之證據，藉條件機率至「果變數」之可能發生機率」，其證據推理過程即「預測」

由「果變數」之證據，藉貝式定理至「因變數」之可能發生機率，其證據推理過程即「診斷」

17

樹狀貝氏網路證據推理簡介

Y

X

Z

U

V

根據更新之 X,以條件機率更新Z 之機率分配

X根據新的證據使用貝氏定理

V更新的機率

預測

診斷

預測預

測

18

非樹狀貝氏網路區塊樹法簡介

貝氏網路中至少有一頂點間不只一親代者，稱為「非樹狀貝氏網路」

非樹狀貝氏網路無法直接重複使用貝氏定理與條件機率進行證據傳導 (Jensen, 1996)

非樹狀貝氏網路可先將變項群組為幾個區塊 (clique)子集，使得每一區塊子集形成一鍊狀或樹狀貝氏網路，則區塊內之變項可利用上述樹狀貝氏網路證據傳導規則進行機率更新，並透過區塊交集進行區塊間之證據傳導，最後更新整個網路變項機率。

19

非樹狀貝氏網路之例

W

U

V

Y

X

Z

20

W

U

V

Y

X

Z

非樹狀貝氏網路之例

U,V,W U,V,X U,X,Y X,Z

區塊化與區塊交集

U,VU,X X

21

非樹狀貝氏網路醫學診斷架構之例 (Mislevy,1995)

3x發燒

2x咽喉感染1x流行性感冒

4x喉嚨痛

一疾病診斷貝氏網路 , 均為二元 ( 是、否 ) 變項1 2 3 4, , ,x x x x

22

醫學診斷例之證據推論步驟

如何根據先前之資料分配及患者 A 之症狀 ( 證據 ) ，透過上述貝氏網路架構推論其感染二種疾病之機率。列出其實際執行之七步驟如下：

[步驟 1] 變項聯合分配之遞迴表徵，並利用條件獨立性質簡化聯合機率分配如下：

1 2 3 4, , , 4!x x x xP否則由連鎖乘積法則知可有種展開式

1 2 3 4 1 2 1 3 1 2 4 1 2 3, , | | , | , ,P x x x x P x P x x P x x x P x x x x

1 2 3 1 2 4 1 2| , | ,P x P x P x x x P x x x

23

1 2 3 4, , , 4!x x x xP由連鎖乘積法則知可有種展開式

1 2 3 4 1 2 1 3 1 2 4 1 2 3, , , | | , | , ,P x x x x P x P x x P x x x P x x x x






24

[ 步驟 1] 決定先驗機率及條件機率

1. 經由理論、專家意見、或實證資料決定之先驗機率 2. 經由理論、專家意見、或實證資料決定條件機率，可由 MCMC 法估計實證資料所須條件機率。

2x

1 2,x x

1 2 1 21 1 0.11 , 0 0 0.89P x P x P x P x

1x 1x 2x 3 1 21| ,P x x x 3 1 20 | ,P x x x 4 1 21| ,P x x x 4 1 20 | ,P x x x

1 1

1

1

1 1

1

1

0

0

0

0

000 0

0.99

0.990.99

0.01

0.010.01

0.90 0.05

0.90 0.90

0.91 0.09

0.10

0.10 0.10

0.95

25

[ 步驟 2] 表徵為非循環有向圖頂點表變項，箭號由因頂點指向果頂點，表變項間條件相依關

係將代數表徵對應至圖形表徵 (DAG) 非直接關聯變項間之條件獨立關係可由下三者決定序列連通為「中知端斷」即中間變項證據確知時，兩端變項為條件獨立發散連通為「因知果斷」即中間因變項證據確知時，兩端果變項為條件獨立收斂連通為「果知因連」即中間果變項證據確知時，兩端因變項為條件獨立

26

序列連通變項間之條件獨立關係

|P x y

XY Z

P y |P z xe

若確知下雨則不論有雲與否地濕機率均較大，即中間 X 證據為確知時，兩端 Y與 Z 為有向隔離，即 Y與 Z 為條件獨立，亦即：中知端斷

有雲下雨地濕

27

發散連通變項間之條件獨立關係

|P y x P x

XY Z

|P z x

X 性別確知時，不能由髮長 Y 之訊息直接推論身材 Z 訊息，即 Y與 Z 為條件獨立：亦即：因知果斷

性別：男，女身材：高，矮髮長：長，短

28

收斂連通變項間之條件獨立關係

P y | ,P x y z

XY Z

P z

反之： X 嘔吐未確知時，因頂點 Y與 Z為有向隔離，即 Y與 Z 為條件獨立

流行性感冒沙門氏菌感染w

嘔吐

蒼白

X 嘔吐為確知時，則發生 Y與 Z 之原因必互有消長互相傳遞，亦即：果知因連

29

[ 步驟 3] 表徵原圖為無向三角化圖

1. 子頂點與所有親頂點均相連 2.去除邊之方向 3. 三角化無向圖 (Triangulated graph) ：一無向圖中，若

所有包含變項自己之迴路長皆不大於 3 ，則稱此圖被三角化

4. 三角化對應之三維機率表尚可判讀，四角化則無此優點1x流行性感冒 2x咽喉感染

3x發燒 4x喉嚨痛

30

[ 步驟 4] 決定區塊與區塊交集

區塊：無向圖中之任一最大完整子圖稱為一區塊 (clique) ，亦即：任一區塊不會是其他區塊之子圖，兩相異區塊之頂點數可不相同。

區塊交集：兩區塊重疊之變項所成集合稱為區塊交集。根據圖形理論定義決定區塊與區塊交集，以利於後續證據之傳導。

31

點數不同區塊之例

1x 2x

3x 4x

區塊 1( 點數為 2)

區塊 2( 點數為 3)

區塊交集

32

[ 步驟 4] 決定區塊與區塊交集(續 )

1x流行性感冒 2x咽喉感染

3x發燒4x喉嚨痛

區塊 1區塊 2

區塊交集

33

[ 步驟 5] 轉成聯合樹表徵

1

2

x

x

流行性感冒咽喉感染

貝氏網路轉為聯合樹

1

2

3

x

x

x

流行性感冒咽喉感染發燒

1

2

4

x

x

x

流行性感冒咽喉感染喉嚨痛

區塊 1 區塊 2區塊交集

34

[ 步驟 6]將 [ 步驟 1] 之條件機率轉成聯合機率

變項之初始聯合機率

1x 2x 1 2,P x x 1 2 3, , 1P x x x 1 2 3, , 0P x x x 1 2 4, , 1P x x x 1 2 4, , 0P x x x

1 1

1 0

0 1

0 0

0.0121

0.0979

0.0979

0.7921

0.0120

0.0881

0.0881

0.0079

0.0001

0.0098

0.0098

0.7842

0.0110

0.0049

0.0881

0.0079

0.0011

0.0930

0.0098

0.7842

區塊交集區塊 1 區塊2

0.1961 0.8039

1 2 1 2 1 2 3 1 2 3 1 2, , , , , | ,P x x P x P x P x x x P x x P x x x

0.1119 0.8881

35

[ 步驟 7] 以後驗機率更新架構

最後步驟為將已觀測到之變項機率重新調整，再根據下式之條件機率進行其他變項機率之更新，後續則可採用更新之機率診斷學生之錯誤類型與概念缺失。

1 2 4 4 1 2 1 2

1 2 41 2

1 2

, , | , ,

, ,,

,new

new old new

old

old

P x x x P x x x P x x

P x x xP x x

P x x

36

[ 步驟 7] 以後驗機率更新架構 (續 )

1 2 4

1 2 4 4 1 2 1 2 1 21 2

, ,, , | , , ,

,new

oldnew old new

old

P x x xP x x x P x x x P x x P x x

P x x

1 2 4 1 2 4 3 1 2 3 4 1 2 3, , , , | 1 , | 1 | , , 1newP x x x P x x x x P x x x P x x x x

1 2 4

4 3 1 2 4 1 2 3 4 1 21 2

, ,| , | , , 1 | ,

,

P x x xx x x x P x x x x P x x x

P x x

1 2 4

1 2 4 3 1 2 31 2

, ,, , | 1 , | 1

,

P x x xP x x x x P x x x

P x x

1 2 4

1 2 4 1 21 2

, ,, , ,

,new

oldnew

old

P x x xP x x x P x x

P x x

37

已知可觀察變項後更新之聯合機率

1x 2x 1 2,nP x x 1 2 3, , 1oP x x x 1 2 4, , 1nP x x x 1 2 4, , 0nP x x x

1 1

1 0

0 1

0 0

0.0120

0.4493

0.4493

0.0402

0.0612

0.0881

0.0881

0.0079

0.91

0.05

0.90

0.01

0.0557

0.0225

0.4044

0.0004

0.0055

0.4268

0.0449

0.0398

0.1961 0.4830

[ 步驟 7] 以後驗機率更新架構 (續 )

3 1x

4 1 21| ,oP x x x 4 1 20 | ,oP x x x

0.09

0.95

0.10

0.99

0.5170

1 2 4 1 2 4 1 2, , , | ,new new oldP x x x P x x P x x x

正規化

38

　　貝氏網路推論簡介結論

根據上述七步驟，吾人則可由假定的先驗分配，再結合可觀察的証據，去推論不可觀察的　潛在變項發生的機率，例如在上例中，根據病人之症

狀推論他感染某種病之可能性有多大。在上例中，已知病人發燒，則喉嚨痛之機率為 0.4830 ，流行性感冒之機率為 0.5105 ，喉嚨感染之機率為0.5105 ，兩種病同時感染之機率為 0.0612 ，只感染其中一種病之之機率為 0.8986 ，只感染流行性感冒之機率為 0.4493 ，只喉嚨感染之機率為 0.4493 ，兩種均不感染之機率為 0.0402 。

Documents

貝氏網路簡介