Embed Size (px)
Citation preview
PRML 上巻勉強会 第三回
2.3.3 - 2.5.2
株式会社ネットプライスドットコム Beenos Future Center
技術戦略室 室長 加藤寛之
自己紹介 加藤 寛之（かとうひろゆき）
•出身は静岡。うなぎパイ美味しいよね。•シス創を7年かけて卒業する／(^o^)＼•株式会社アトランティスの共同創業者として 取締役 兼 最高技術責任者（CTO）に就任
•netprice.com シニアエンジニア（現職）
すいません ところどころ飛ばしています
(́・ω・`)
目次
•2.3. ガウス分布 •3. ガウス変数に対するベイズの定理 •4. ガウス分布の最尤推定 •5. 逐次推定 •6. ガウス分布に対するベイズ推論 •7. スチューデントのt分布 •8. 周期変数 •9. 混合ガウス分布
•2.4. 指数型分布族 •1. 最尤推定と十分統計量 •2. 共役事前分布 •3. 無情報事前分布
•2.5. ノンパラメトリック法 •1. カーネル密度推定法 •2. 最近傍法
前節でベクトルを のように分割して 条件付き分布 と周辺分布 を求めた。 !
ここで と が独立だったとき（ ） ガウス条件付き分布 から、それぞれ !
周辺分布 : 確率分布 : !
を求めてみる。 前節の特殊な状態を考える？
同時分布 を求めてみる
周辺確率 : 条件付き確率 : !
と の同時分布を とすれば !
の対数を取って !
同時分布の展開
元の式は の要素の二次関数なので、 もガウス分布に従うから式(2.64)より共分散行列は
同時分布の分散
ただし
二次の項をまとめると
式(2.71)から一次の係数と が等しいので
同時分布の平均一次の項をまとめると
同時分布のまとめ
(2.59)から、 の平均が なので、 は(2.99)、(2.100)と と が独立しているという条件から当然の帰結？
(2.92)と(2.93)、同時分布の結果から簡単に求められる
周辺分布
と分割したときにだったので、上の式にて とすれば
(2.73)と(2.75)を使えば、条件付き分布も簡単
条件付き分布
とすれば、 なので
目次
•2.3. ガウス分布 •3. ガウス変数に対するベイズの定理 •4. ガウス分布の最尤推定 •5. 逐次推定 •6. ガウス分布に対するベイズ推論 •7. スチューデントのt分布 •8. 周期変数 •9. 混合ガウス分布
•2.4. 指数型分布族 •1. 最尤推定と十分統計量 •2. 共役事前分布 •3. 無情報事前分布
•2.5. ノンパラメトリック法 •1. カーネル密度推定法 •2. 最近傍法
多変量ガウス分布から観測値 をN回の試行で独立に得られたと仮定したときに最尤推定法を行う
ガウス分布の最尤推定
(2.43)から対数尤度関数は以下になる
で偏微分したものを0として解くと最尤推定解 と そのときの共分散行列 は以下のようになる。
p27で単一変数時に発生した問題（観測データが少ないと、その偏りによって分散が過小評価される）に対応するために、不偏分散 を定義する。
共分散の不偏推定
から、容易に
目次
•2.3. ガウス分布 •3. ガウス変数に対するベイズの定理 •4. ガウス分布の最尤推定 •5. 逐次推定 •6. ガウス分布に対するベイズ推論 •7. スチューデントのt分布 •8. 周期変数 •9. 混合ガウス分布
•2.4. 指数型分布族 •1. 最尤推定と十分統計量 •2. 共役事前分布 •3. 無情報事前分布
•2.5. ノンパラメトリック法 •1. カーネル密度推定法 •2. 最近傍法
誤差信号 の1/Nだけずれている。 Nが大きくなれば（試行回数が増えれば）この信号は どんどん小さくなる。つまり、 が収束していく。 !
この議論を汎用的にすると。。。
(2.121)を基に、(N - 1)回目とN回目の試行前後でどの程度 に差が生じるのかを計算してみると
最後の観測値の影響を調べる
となる を求めることを考える。 => ナンデ？ => 後で分かるから、今は気にするな！
同時分布 に従う確率変数 と があり、 が与えられたときの の条件付期待値で を定義。
Robbins-Monro algorithm
根 の連続的推定の系列を以下のように定義すると、 が に収束していく（らしい）
Robbins-Monro algorithm制約条件を以下のように定めた上で
一般的な最尤推定問題を解く は負の対数尤度関数の停留点だから、 次式が成り立つ。
微分と総和の演算を交換して の極限を考えると
p52 (1.103)あたりを参照？
最尤推定解 を求める = 回帰関数の根 を求める
目次
•2.3. ガウス分布 •3. ガウス変数に対するベイズの定理 •4. ガウス分布の最尤推定 •5. 逐次推定 •6. ガウス分布に対するベイズ推論 •7. スチューデントのt分布 •8. 周期変数 •9. 混合ガウス分布
•2.4. 指数型分布族 •1. 最尤推定と十分統計量 •2. 共役事前分布 •3. 無情報事前分布
•2.5. ノンパラメトリック法 •1. カーネル密度推定法 •2. 最近傍法
とすれば となる
にガウス分布を選べば、上式は二次形式なので 事後分布もガウス分布になる
一変数のガウス確率変数について分散が既知とし、N個の観測点集合 から平均 を推測 する。 が与えられたときに観測データが生じる確率は
p26 (1.53)あたりも参照
最終的に ただし
一変数のガウス確率変数について
or
この結果から、以下の性質が分かる
ベイズ的観点からの逐次推定最終データ点 の影響を分けた事後分布は
（N個のデータ点を観測したときの尤度関数） =（N - 1個のデータ点を観測した後の事後分布 = 事前分布） ×（データ点Nについての尤度関数） !
とみなすことができる。
平均を既知として、分散（精度）を推定する問題にすると
分散の推定とガンマ関数
ここで、ガンマ関数を以下のように定義する
事前分布 を尤度関数に掛け合わせると、 パラメータが以下のガンマ分布になる。
分散の推定とガンマ関数
事前分布のパラメータ は 個の「有効な」観測点が 事前にあると解釈できる。 同様に も分散が であるような 個の「有効な」 観測値が事前にあると解釈できる。
平均と精度が未知の場合
この と への関数依存性を備えた事前分布は以下の 正規（ガウス）- ガンマ分布になる。
多次元の場合精度 が既知の場合 平均 の共役事前分布はガウス分布 平均 が既知の場合 精度 の共役事前分布はウィシャート分布（下式）になる
