Embed Size (px)
DESCRIPTION
PRML生駒読書会第10回の発表資料
Citation preview
PRML読書会第10回8.2 条件付き 性
2010-01-09SUHARA YOSHIHIKO
(id:sleepy_yoshi)
1
目次• 8.2 条件付き 性
– 8.2.1 3つのグラフの• 8.2.2 有向分 (d分 )
2
8.2
3
条件付き 性 (1)• 変数a, b, cを考える．bとcが与えられたときに，aの
条件付き分布がbの値に依存しない
⇒ cが与えられた下で，aはbに対して条件付き
)|(),|( capcbap =
4
条件付き 性 (2)• cで条件付けられたaおよびbの同時分布を考える
⇒ cが与えられたとき，aおよびbが 的に である
)|,( cbap
)|()|(
)|(),|(
cbpcap
cbpcbap
=
=
cba |記法：cが与えられた際に，aがbに対して条件付き
p(a,b)=p(a|b)p(b)
5
演習8.8• ならば dba |dcba |,
)|,()|()|,,( dcbpdapdcbap =
cについて周辺化
)|()|()|,( dbpdapdbap =
dba |∴
解)
6
8.2.1 3 の ラフの
7
8.2.1 3ノードから成るグラフ• ３つの構造
– (1) tail-to-tail– (2) head-to-tail– (3) head-to-head
• 「弁明」現象
8
(1) tail-to-tail
9
(1) tail-to-tail
どの変数も観測されていない場合にaとbの を確かめる (両辺をcに関して周辺化)
)()|()|(),,( cpcbpcapcbap =
c
a b
∑=c
cpcbpcapbap )()|()|(),(
⇒ p(a)p(b)に分解 可能 ( )φ|ba
tail-to-tail tail
head
10
tail-to-tail: 変数cの観測• の を変数cで条件付ける
)|,( cbap
)|()|(
)(
),,(
cbpcap
cp
cbap
=
=
p(a,b,c)
= p(a,b|c)p(c)
cba |
よって条件付き が かれる
11
tail-to-tail: 経 の遮断• cを観測することにより，経 を遮断 (block) し，
aとbとを条件付き にする
)|()|()|,( cbpcapcbap =
c
a b
tail-to-tailのノードを観測すれば，ふたつのノードの 遮断で る
ポイント１
12
(2) head-to-tail
13
(2) head-to-tail
どの変数も観測されていない場合にaとbの を確かめる
)|()|)((),,( cbpacapcbap =
ca b
∑ ==c
abpapcbpacpapbap )|()()|()|()(),(
⇒ p(a)p(b)に分解 可能 ( )φ|ba
head-to-tail
14
head-to-tail: 変数cの観測• の を変数cで条件付ける
)|,( cbap
)|()|(
)(
)|()|()(
)(
),,(
cbpcap
cp
cbpacpap
cp
cbap
=
=
= ベイズの
cba |
よって条件付き が かれる
15
head-to-tail: 経 の遮断• cを観測することにより，経 を遮断 (block) し，
aとbとを条件付き にする
)|)(|(),,( cbcapcbap =
ca b
head-to-tailのノードを観測すれば，ふたつのノードの 遮断で る
ポイント２
16
(3) head-to-head
17
(3) ead-to-head
どの変数も観測されていない場合にaとbの を確かめる
),|()()(),,( bacpbpapcbap =
c
a b
)()(),( bpapbap =
⇒ p(a)p(b)に分解可能 ( )φ|ba
head-to-head
18
head-to-head: 変数cの観測• の を変数cで条件付ける
)|,( cbap
)(
),|)(()(
)(
),,(
cp
bacbpap
cp
cbap
=
=
p(a|c)p(b|c)に因数分解できないため，条件付き ではない
cba |
19
head-to-head: 経 の遮断解
)(
),|()()()|,(
cp
bacpbpapcbap =
c
a b
head-to-headのノードを観測すると，ふたつのノードの の遮断が解かれる
ポイント３
20
head-to-headの子孫の観測
c
a b
d
依存関係の発生
ポイント４head-to-headかその子孫のうちいずれかを観測すると，経 の遮断が解かれる
(⇒ 演習8.10)
21
演習8.10 (1/2)
c
a b
d
)|(),|()()(),,,( cdpbacpbpapdcbap =
∑∑=d c
cdpbacpbpapbap )|(),|()()(),(
)()(),|()()( bpapbadpbpapd
== ∑
変数c, dについて周辺化φ|ba の確認
22
演習8.10 (2/2)
dで条件づける
)(
)|(),|()()(
)(
),,,()|,,(
dp
cdpbacpbpap
dp
dcbapdcbap ==
)(
)|(),|()()(
)|,(dp
cdpbacpbpap
dbap c
∑=
)|()|()(
),|()()(dbpdap
dp
badpbpap≠=
変数cに関して周辺化
dba | の確認
23
演習8.10の考察• head-to-headノードの子孫である変数zを観測しても，
変数の周辺化によって変数cの観測と同じ効果が発生
c
a b
z
…
)(
),|()()()|,(
zp
bazpbpapzbap =
)|,...,,( zcbap
)(
...)|()...,|()()(
zp
zpbacpbpap=
周辺化
周辺化
24
「弁明」現象
25
の タンクモデル• の のモデル
– バッテリの状態 B {1, 0}– タンクの状態 F {1, 0}– G {1, 0} G
B F
9.0)1( ==Bp
9.0)1( ==Fp
8.0)1,1|1( ==== FBGp
2.0)0,1|1( ==== FBGp
2.0)1,0|1( ==== FBGp
1.0)0,0|1( ==== FBGp
バッテリと タンクが満タンである事 確
タンクとバッテリの状態が与えられた際の が満タンを指す確
何も観測していないとき，タンクが空である確 p(F=0) = 0.1
26
観測による確 の変化
観測によってタンクが空である可能性が高くなる
G
B F
)0(
)0()0|0()0|0(
=
======
Gp
FpFGpGFp
ベイズの より
315.0)()(),|0()0(}1,0{ }1,0{
==== ∑ ∑∈ ∈B F
FpBpFBGpGp
∑∈
======}1,0{
81.0)()0,|0()0|0(B
BpFBGpFGp
257.0315.0
1.081.0≅
×∴ )0()0|0( =>== FpGFp
が空を指している事実を観測
27
「弁明」現象つづいてバッテリが れていること (B=0) を観測
G
B F )0,0|0( === BGFp
111.0)(),0|0(
)0()0,0|0(
}1,0{
≅==
=====∑ ∈F
FpFBGp
FpBFGP
バッテリの観測によってタンクが空である確 が0.257から0.111に下がった
バッテリが れているという事実が，が空を指していることを「弁明」している
※1 Gの代わりにGの子孫を観測しても起こる※2 バッテリが れていても， が0を指しているという事実が となり，事 確 p(F=0)よりも大きい
28
補足:B, G観測後の事後確
∑∈
===
=========
}1,0{
)()0(),0|0(
)0()0()0,0|0()0,0|0(
F
FpBpFBGp
FpBpFBGpBGFp
111.0)(),0|0(
)0()0,0|0(
}1,0{
≅==
=====∑ ∈F
FpFBGp
FpBFGp
Σの外に出て打ち消す
)()|(),|()()|,(),,( BpBGpBGFpBpBGFpBGFp ==
)()|(),|()()|,( FpFBpBFGpFpFBGp ==p(B)
29
突然ですが
30
アンケート• “explain away” あなたならどう訳す?
– (1) 弁明 (現象) 1名– (2) 釈明 (現象) 1名– (3) 言い逃れ (現象) 1名– (4) 説明を加えて明らかにする現象 5名– (5) (他人がフォローするので) 弁護 (現象) 7名– (6) 真犯人が現れました現象– (その他自由回答)
PRML読書会的には「弁護」現象となりました
31
8.2.1のポイントまとめ
32
tail-to-tailのノードを観測すれば，ふたつのノードの 遮断で る
ポイント１
ポイント４head-to-headかその子孫のうちいずれかを観測すると，経 の遮断が解かれる
head-to-tailのノードを観測すれば，ふたつのノードの 遮断で る
ポイント２
head-to-headのノードを観測すると，ふたつのノードの の遮断が解かれる
ポイント３
33
8.2.2 分 (D分 )今までの話を一般化
34
有向分• グラフの有向分
– A, B, Cを重複のないノード集合とする– 条件付き 性 A B | C を調べたい⇒ Aの任意のノードからBの任意のノードまで全ての経
が遮断されていることを確認する
A
C
B
35
経 の遮断条件• 以下の条件のいずれかを満たすノードを含む経
は遮断されている
集合Cに含まれるノードであって，経 に含まれる矢印がそこでhead-to-tailあるいはtail-to-tailである
(a)
(b) 経 に含まれる矢印がそのノードでhead-to-headであり，自身あるいはそのすべての子孫いずれもが集合Cに含まれない
• 全ての経 が遮断されていれば，AはCによってBから有向分 され，A B | C を満たす
36
1)• aからbの経 を調べる
a f
e b
c1. fによって遮断されない
2. eによって遮断されない⇒ tail-to-tailかつ観測されていないため
⇒ head-to-headだが，子孫のcが観測されているため
有向分できないか?
このグラフからでは条件付き 性は導けない
37
2)• aからbの経 を調べる a f
e b
c
1. fによって遮断される
2. eによっても遮断される
⇒ tail-to-tailかつ観測されているため
⇒ head-to-headかつ，いずれの子孫が観測されていないため
条件付き a b | f が成 する
38
同分布データの場合• 1変 ガウス分布の 事後分布を得る
– 下記のグラフより p(μ,x) = p(x|μ)p(μ)
…
μ
x1 xN
μ
xn
N
または
1.2.4節の 同分布 (i.i.d.) の
μを条件付け変数と なすと，任意のxiとxi≠jの経 がtail-to-tailの観測済みノードμのため，すべての経 が遮断される
∏=
=�
n
nxpDp1
)|()|( µµ
⇒ μが与えられた下で観測値D = {x1, ..., xN} は である
39
図8.7の• ¥hat{t}からtnに対する任意の経 において，wはtail-
to-tailであるため，以下の条件付き 性が成 する
w|ˆntt
つまり多項式係数wで条件つけられた下で，¥hat{t}の予測分布は訓練データtnに対して
一 訓練データを して係数w上の事後分布を決めてしまえば，訓練データを捨ててしまってよい
40
ナイーブベイズモデル• ナイーブベイズモデルのグラフ構造
– 観測変数x = (x1,...xD)T
– クラスベクトルz = (z1, ..., zK)
クラスzで条件付けると変数x1, ...xDが いに
ナイーブベイズ仮説
zを観測すると，xiとxj (j≠i) との間の が遮断される
zを観測せずにzに関して周辺化すると，xiとxj (j≠i) への の遮断 解かれる
p(x)を各成分x1,...,xDに関して分解できないことを意味する ∏≠
D
i
ixpp )()(x
i.e.,
41
ナイーブベイズモデルの• ベクトルxに 変数と 変数が するような
場合にも使える⇒ 変数それ れに対して なモデルを する
2値観測値にはベルヌーイ分布
実数値にはガウス分布
∏∈
=D
i
iYy
yxpypyp )|()(maxarg)|( x
様々な分布の組み合わせが可能
42
分
43
有向分
(1) 有向分解 (directed factorization)– 同時分布の因数分解から得られる分布の集合
∏=
=K
k
kkxpp1
)pa|()(x (8.5)
(2) 有向分 (directed separation)– グラフの経 遮断を調べて得られる分布の集合
2つの方法によって得られる分布の集合は等価である
44
マルコフブランケット
45
マルコフブランケット (1/2)• D個のノードを持つグラフで表現される同時分布
p(x1, ..., xD) と，変数xiに対応するノード上の，他ノードxj≠iで条件付けられた条件付き分布を考える
∫=≠
iD
Diji
dp
pp
xxx
xxxx
),...,(
),...,()|(
1
1}{
∫∏
∏=
i
k
kk
k
kk
dp
p
xx
x
)pa|(
)pa|(
p(a|b,c) = p(a,b,c) / p(b,c)
xiに依存しないノードは積分の外に出て分子と打ち消しあう
ki pa∉xik≠x
)pa|( iip x
)pa|( kkp x
xiの親ノードに依存xi (の子)と共同親に依存 (誤植? 下巻p.95, 原書p.382)
46
マルコフブランケット (2/2)• xiをグラフから条件付き にするためのノード 集合 (⇒ 演習8.9)
共同親(co-parent)
• 共同親が な 由⇒ 子の観測により遮断が解かれるため
xi共同親
head-to-headノードが観測 (ポイント3)
47
演習8.9• マルコフブランケットを条件付けることにより，xiが全
てのノードから条件付き
親ノード集合:
tail-to-tail or head-to-rail
かつ観測 ⇒ 遮断
子ノード集合:
(1) head-to-tail
かつ観測 ⇒ 遮断(2) head-to-head
かつ観測 + 共同親も観測⇒ 遮断
48
本節のまとめ
49
本節のまとめ• 3ノードのグラフ
– tail-to-tail– head-to-tail– head-to-head
• 「弁明」現象
• 有向分– 3ノードグラフの性質を一般化
• 有向分– 有向分解 (8.5) と有向分 で得られる条件付き 性は一
• マルコフブランケット
50
おしまい
