Takashi  Nishibayashi  @hagino3000

+  3章と4章のパラメトリックな線形回帰、線形分

類においては訓練データはパラメータベクト

ルを求めるのに利用し、予測時には利用しな

かった。  +  例えばパーセプトロンで求めた超平面    のどちらに位置するかで予測を行なう。

wTx+b = 0

+  ノンパラメトリックなParzen推定法、最近傍法は

訓練データの全て、もしくは一部を推定時に

利用する。→ メモリベース(memory-­‐based  method)  

+  訓練は速いが、テスト点に対する予測には時

間がかかる。(計算量が多い)  

「特徴空間への写像(φ(x))に基づくモデルにおいて、カーネル関数は、以下の関係によって与えられる。」                  

k(x,x ') = φ(x)Tφ(x ')

+  最大マージン分類器の文脈で機械学習の分

野に再登場  +  サポートベクトルマシンに引き継がれる。  +  カーネルトリック (7章参照かと思いきやPRML

にカーネルトリックの話は出てこない……?)  +  主成分分析での利用  

例として正則化項を持つ最小二乗誤差関数を考える          

J(w) = 12

wTφ(xn )− tn{ }2

n=1

N

∑ +λ2wTw

J(w)のwについての勾配を零とおく  ↓  wについて偏微分すると零  (6.2  →  6.3の式展開)            

ddw

J(w) = wTφ(xn )− tn{ }φ(xn )n=1

N

∑ +λw = 0

wについて整理          

w = − 1λ

wTφ(xn )− tn{ }φ(xn )n=1

N

∑

= anφ(xn )n=1

N

∑ =ΦTa (6.3)          

6.2の式に  w=Φtaを代入する  

         

J(a) = 12

aTΦφ(xn )− tn{ }2

n=1

N

∑ +λ2aTΦΦTa

ここで t  =  (t1,  …  tN)T とおくと   12

tn2

n=1

N

∑ =12(t1t1 + t2t2 +...+ tntn ) =

12tT t

Σが外れて式6.5となる  

         

J(a) = 12aTΦΦTΦΦTa− aTΦΦT t+ 1

2tT t+ λ

2aTΦΦTa

N*N対象行列のグラム行列 を定義  要素は      ↑  6.1  のカーネル関数を利用する。  

K =ΦΦT

Knm = φ(xn )Tφ(xm ) = k(xn,xm )

K =ΦΦT

6.5にグラム行列を代入  (6.5→6.7)  

         

J(a) = 12aTKKa− aTKt+ 1

2tT t+ λ

2aTKa

二乗誤差関数をパラメータベクトルとカーネル関数で表現できた → 双対表現

         

y(x) =wTφ(x) = aTΦφ(x) = k(x)T (K+λIN )−1t

さらに式6.4からwを消去してaについて解いた                                                                を線形回帰モデルに代入 a = K +λIN( )−1 t

予測値カーネル関数(と訓練データt)だけで表現できた。 → 双対表現

「双対表現はあまり有用ではないように思えるかもしれない。しかしながら、後に見るように……」    つまり6.2以降で説明があります!!    双対表現、グラム行列、どちらも他の本ではあまり使われない単語なので注意して使った方がよさげ。