ＰＲＭＬ輪読会 第９回 made by C.M.Bishop

modified by T.Sakaki

PATTERN RECOGNITION AND MACHINE LEARNINGCHAPTER4.2 Probabilistic Generative Models

目的：分類問題：入力ベクトルｘをあるクラスCkに振り分け

る

方針：・モデル化されたクラスの条件付き確率密度p(x|Ck)

・クラスの事前確率p(Ck)→ ベイズの定理を使ってp(Ck|x)を計算

・事後確率が「入力変数ｘの線形関数」のロジスティックシグモイド関数で表される

４．２ 確率的生成モデル

○入力空間を決定領域に分離○決定領域の境界を決定境界(決定面)○「D次元入力区間に対して，その決定面がD-1次元の超平面で定義される」

４．２ 確率的生成モデル

2クラス分類

事前確率条件付き確率

事後確率

とおくと

ロジスティックシグモイド関数

４．２ 確率的生成モデル

演習４．７

ロジックシグモイド関数は対称性を持つ

ロジット関数

４．２ 確率的生成モデル

kクラス分類

事前確率条件付き確率

事後確率

正規化指数関数ソフトマックス関数

とおくと

ロジスティックシグモイド関数の一般化バージョン

である場合

４．２．１ 連続値の入力

事前確率条件付き確率

事後確率

ガウス分布と仮定する場合

（４．６４）

（４．５８）

に代入

で与えられるとき

４．２．１ 連続値の入力

（４．６４）を（４．５８）に代入

（４．５７）に代入

xの線形関数

４．２．１ 連続値の入力

事後確率p(Ck|x)がｘの線形関数で与えられるような面に対応する→決定境界は入力空間で線形になる

条件付き確率密度（2クラス）

事後確率p(C1|x)

４．２．１ 連続値の入力

kクラス分類

事前確率条件付き確率

事後確率

（４．６４）を代入

（４．６２）

（４．６３）に

４．２．１ 連続値の入力

共分散行列が共通であるという仮定を緩和する→決定境界は二次決定境界となる

条件付き確率密度（3クラス）

事後確率

線形二次

４．２．２ 最尤解

2クラス分類データラベル

事前確率

尤度関数

４．２．２ 最尤解

対数尤度の最大化を考える

４．２．２ 最尤解

πについてまとめる

πによる微分＝０とする

を用いると

2クラス分類 πの最尤推定量はクラスC1

内のデータ個数の割合

４．２．２ 最尤解

μ1、μ2についてまとめる

πによる微分＝０とする

４．２．３ 離散特徴

2状態離散変数の場合

入力ｘiの線形関数

（４．６３）に代入

４．２．３ 指数型分布族

指数型分布族メンバーと仮定条件付き確率

P.110

（２．１９４）

P.116

（２．２３６）

（２．２３９）

スケーリングパラメータｓを導入

４．２．３ 指数型分布族

（４．５８）

に代入

2クラス分類

４．２．３ 指数型分布族

に代入

多クラス分類

（４．６３）

入力ｘの線形関数