Upload
takahiro-yoshinaga
View
82
Download
0
Embed Size (px)
Citation preview
「予測にいかす統計モデリングの基本」第二章 確率による記述:基礎体力をつける
Takahiro Yoshinaga (Univ. of Tokyo)
状態空間モデル勉強会
Based on 「予測にいかす統計モデリングの基本」 , 樋口知之 , 講談社 , 2011
2015 年 2 月 24 日 @UT
2 第二章の概要
「必要な確率論の知識を学ぶ」あとでよく使う道具の定義( 2.1節)
確率の乗法定理 ベイズの定理
最適化 ⇔ 事後分布の推定最適化問題から統計モデルへ( 2.2節)
3 2.1 確率の基礎
例題: 100 人の買い物データ
30 人がコーヒーを買った( 70 人は買わなかった) A = 1 :コーヒーを買った , A = 0 :買わない
60 人が牛乳を買った B = 1 :牛乳を買った , B = 0 :買わない
10 人がコーヒーと牛乳の両方を買った
A B20 10 50
30 60
20
4 2.1 確率の基礎
例題: 100 人の買い物データA B20 10 50
30 60
20
ある事象の確率:事象が起きた回数と全試行の回数の比 コーヒーを買う確率 P(A=1) = 30/100, 牛乳を買う確率 P(B = 1) = 60/100
重なり部分は同時確率 (A と B が同時に起きる確率 ) コーヒーと牛乳の両方を買う確率 P(A = 1, B = 1) = 10/100
P(A) (P(B)) は B (A) についての足しあわせ:周辺確率 P(A = 1) = P(A = 1, B = 0) + P(A = 1, B = 1) = 10/100 + 20/100 = 30/100
P(B = 1) = P(A = 0, B = 1) + P(A = 0, B = 1) = 10/100 + 50/100 = 60/100
5 2.1 確率の基礎
例題: 100 人の買い物データA B20 10 50
30 60
20
条件付き確率 コーヒーを買った人の中で牛乳を買う確率 P(B=1|A=1) = 10/30 = 1/3
ベン図的には、共通部分 P(A=1, B=1) を全施行 P(A=1) で割る: P(B=1|A=1) = P(A=1, B=1)/P(A=1) = (10/100)/(30/100) = 10/30
牛乳を買った人の中でコーヒーを買わない確率: P(A=0|B=1) = P(A=0, B=1)/P(A=1) = 50/60
6 2.1 確率の基礎
Notation
:確率変数 A 上で定義された確率分布 A が離散値:ヒストグラム、 A が連続値: A の連続関数
: B が所与のもとでの A の条件付き確率: A, B の同時確率
和をとると 1 ( 確率なので )
和の取り方に注意
規格化条件をかえたらちゃんと規格化されないよ
7 2.1 確率の基礎
周辺化 (2 つ前のスライド参照 )
確率の乗法定理 (1 つ前のスライド参照 )
ベイズの定理 ( 乗法定理と周辺化の逆を使う )
Bの条件付き確率⇒ Aの条件付き確率例題: 100 人の買い物データ
大事な性質
8 2.2 最適化問題から統計モデルへ
データの確率を予測確率で表現
( 乗法定理 )
( さらに乗法定理 )
同時確率の分解公式
データの確率=予測確率の積 (*2)
(*2) …1時刻前までのデータが得られたもとでの現時刻のデータの確率:予測確率(*1)
9 2.2 最適化問題から統計モデルへ
データの確率を予測確率で表現
(y に関して乗法定理 )
同時確率の分解公式(多変数)
(x に関して乗法定理 )
yt : 観測データ、 xt :観測できない潜在変数 (*) とすると同時確率=データと潜在変数の予測確率の積
(*) 本勉強会ではこのような場合を興味の対象にする、公式は一般の系列に関して成立
10 2.2 最適化問題から統計モデルへ
最適化関数を確率分布関数で表現 最適化関数を適切に係数をかけて指数化してみる
平均 μt 、分散 σ2 の正規分布 平均 2μt-1-μt-2 、分散 σ2α2 の正規分布
11 2.2 最適化問題から統計モデルへ
最適化関数を確率分布関数で表現 指数化した量の解釈
yt を確率変数としたときの分布 μt を確率変数としたときの分布
μ1:T と y1:T の同時確率
12 2.2 最適化問題から統計モデルへ
最適化は事後確率を最大化する解の探索 指数化した量の解釈
ベイズの定理より
よりEを最小化⇔同時確率を最大化
Eを最小化⇔事後分布を最大化
(最適化問題を確率統計の言葉で議論できるようになった!)
13 第二章のまとめ
「ベイジアンで統計モデリングの準備」あとでよく使う道具の定義( 2.1節)
確率の乗法定理 ベイズの定理
最適化 ⇔ 事後分布の推定最適化問題から統計モデルへ( 2.2節)