続わかりやすいパターン認識勉強会5章（後半）教師付き学習と教師なし学習

@tetsuroito

2015/03/03　　@dwango

2015年3月3日火曜日

自己紹介

名前：伊藤 徹郎(@tetsuroito)

近況：PRMLとの併読に四苦八苦

WEBディレクター業（仲間増やしたい）

料理たのしぃー！

2015年3月3日火曜日

5章後半のお品書き5.4 教師なし学習

5.5 教師なし学習の実験

[1]パラメータπiの推定[2]パラメータθikの推定[3]推定結果の妥当性[4]教師付き学習との関係[5]教師なし学習アルゴリズムの演算

2015年3月3日火曜日

前半：コイン種別がわかる教師の存在を仮定

後半では、その仮定を取り払う

2015年3月3日火曜日

例題5.3箱の中にc種のサイコロw1,w2,‥wcがある

πi：サイコロwiの含有率θik：wiを投げてkの目が出る確率

無作為、復元抽出をn回繰り返すX=x1‥xn：サイコロ目の系列　∵ vkがrk回上記の観測結果より

πiおよび θikを最尤推定により推定せよ

2015年3月3日火曜日

例題5.3n回の観測結果は互いに独立より、

対数尤度

∴ ∵ vkがrk回

2015年3月3日火曜日

例題5.3

(5.8より)

上記の対数尤度を最大にするパラメータが求めるべきパラメータ

2015年3月3日火曜日

例題5.3別の見方{P(vk)を新たなパラメータ}をすると‥

(5.6)の制約でlogP(x)を最大にする P(vk)を求める

(k=1,2,...,m)

パラメータは一意に定まらず、無数に存在する

この件は後ほど触れるそうです

2015年3月3日火曜日

教師なし学習によるパラメータ推定の定式化

教師付き学習との違いに注意　 P（x,s）だった

以降で、パラメータπi、θikを順に行う

2015年3月3日火曜日

[1]パラメータπiの推定ラグランジュ未定乗数法より

λは定数極値を取るπi

(i=1,2,...c)

2015年3月3日火曜日

[1]パラメータπiの推定(5.50)と(5.7)から →代入しただけ

(i=1,2,...,c)

(i=1,2,...,c)

ベイズの定理利用

2015年3月3日火曜日

[1]パラメータπiの推定(5.59)を(5.56)に代入して変形

λ=n

両辺にΣ

(i=1,2,...c)

πiの推定値

2015年3月3日火曜日

[2]パラメータθikの推定πiと全くやり方は同様なので割愛（テキスト見てください）

(i=1,2,...c)

(k=1,2,...m)

ラグランジュ未定乗数法、偏微分、各々代入、ベイズ定理

2015年3月3日火曜日

[3]推定結果の妥当性特定のサイコロwiについて、観測結果xiの事後確率を求める。n回の全観測結果について加算し、nで除算

δ(xt,vk)=1(xt=vk) 　　　　0(otherwise)

xt=vkとなるP(wi|xt)のみ抽出して加算次に全てのvk(k=1,...,m)ついて加算

=

投げたサイコロがwiだった回数の期待値期待値/nだから妥当！

2015年3月3日火曜日

[3]推定結果の妥当性

観測結果がvkで投げたサイコロがwiの期待値

観測結果がvkで投げたサイコロがwiの期待値投げたサイコロがwiだった回数の期待値

だから妥当！

2015年3月3日火曜日

[4]教師付き学習との関係教師付きはサイコロを取り出したものは確定的確率は取り出した回数niと等しい

教師付き学習を特別な場合として含み、一般化できる

結果が一致

2015年3月3日火曜日

[5]教師なし学習アルゴリズムの演算直接求められないので、ベイズの定理を使う

未知パラメータπi,θikを含んでいる

∴次のような繰り返し演算を適用する

2015年3月3日火曜日

教師なし学習アルゴリズムStep1　πi,θikの初期値を与える（パタメータ初期化）Step2　ベイズの定理によりP(wi|vk)を計算する

Step3.1 πiを更新し、右を求める

Step3.2 ベイズの定理に代入し、 を求め、θikを更新

Step4　　　　　　　　　と設定対数尤度logP(x)を求め、増分が閾値以下なら終了 or Step2

2015年3月3日火曜日

教師なし学習アルゴリズム繰り返し演算を用いたのは次のEMアルゴリズムのため

本算法は収束性が保証されている

一般にEMアルゴリズムは局所最適解

収束性は次章で詳細にやるらしいぞ！

2015年3月3日火曜日

教師なし学習の実験w1, w2, w3の3種のサイコロを投げ、出た目の奇数・偶数を観測する

奇数の目(v1),偶数の目 (v2)w1, w2, w3の含有率π1,π2,π3

奇数の目の確率(θi1),偶数の目の確率 (θi2) (i=1,2,3)

実験条件

1,π1=0.1,π2=0.4,π3=0.5 θ11=0.8, θ21=0.6, θ31=0.3

2,推定するのはπiのみ,θikは既知3,サイコロを選んで投げるは10,000回4,初期値 π1=0.3,π2=0.5,π3=0.2

5,繰り返し演算を用いたが、既知のものは省いた

2015年3月3日火曜日

教師なし学習の実験実験結果奇数の目が出た回数r1=4,746,偶数の目が出た回数r2=5,254

単調増加,50回で収束 推定値が真値に近い

2015年3月3日火曜日

教師なし学習の実験

π1+π2+π3=1の制約 logP(x)を最大にする等高線が太線一意に定まらない（line上は最適解）

大域的最適解が得られた

真値

2015年3月3日火曜日

ご清聴ありがとうございました！

2015年3月3日火曜日