PRML復々習レーン#10 前回までのあらすじ

2013-04-07→2013-05-05

Yoshihiko Suhara

@sleepy_yoshi

v.1.0

前回のおさらい

• 復々習レーンの復習を10分程度でやります – 得られた結論にポイントを絞る – 「よーするに」な内容

• 好きなところをたくさん喋る • よくわからないところは誤魔化す • まちがってたら指摘してください

• 目的 – 前回の復習 – 不参加の方に流れを伝えるため – 自分自身の勉強のため

ポイントだよ

2

今回からポイント小僧の向きが変わります

ポイントだよ

前回の範囲

• 6章 カーネル法 – 6.1 双対表現

– 6.2 カーネル関数の構成

– 6.3 RBFネットワーク • 6.3.1 Nadaraya-Watson モデル

– 6.4 ガウス過程 • 6.4.1 線形回帰再訪

• 6.4.2 ガウス過程による回帰

• 6.4.3 超パラメータの学習

• 6.4.4 関連度自動決定

• 6.4.5 ガウス過程による分類

• 6.4.6 ラプラス近似

• 6.4.7 ニューラルネットワークとの関係

3

6章カーネル法

4

6.1 双対表現

基底関数によって写像された特徴ベクトル 同士の内積をカーネル関数によって表現する

• モデルをデータとの類似度で表現

𝑓 𝒙 = 𝒘𝑇𝜙 𝒙 = 𝛼𝑖𝐾(𝒙𝑖 , 𝒙)

𝑖

• 最小二乗法の双対表現 (6.9)式

ポイントだよ

5

訓練データ𝒙𝑖 との類似度

6.2 カーネル関数の構成

カーネル関数はある特徴空間における 内積を表す

• 多項式カーネル，RBFカーネルなど基本的なカーネルの解釈とカーネル設計の方法を紹介 – 2次の多項式カーネルは2次の組み合わせを考慮した特徴ベクトル同士の内積を表現

• 有効なカーネル関数の必要十分条件はグラム行列が正定値であること

• 新たなカーネルを構築するための基本的な方法 – (6.13)-(6.22)式

ポイントだよ

6

6.3 RBFネットワーク

中心𝝁からの距離のみに依存する 動径基底関数 (RBF) の線形結合によるモデル

• RBFの線形結合の直感的イメージ

𝑓 𝑥 = 𝑤ℎ ℎ 𝒙 − 𝒙𝑛

𝑁

𝑛=1

ポイントだよ

7

𝑓(𝒙)

…

…

𝑤1

𝑤2

𝑤𝑛

入力𝒙

𝒙1

𝒙2

𝒙𝑛

各RBFの線形和を出力

𝜙2 𝜙1 𝜙3

𝒙

6.3.1 Nadaraya-Watsonモデル

訓練データを用いたカーネル回帰モデル

• カーネル回帰: 𝑦 𝒙 = 𝑘 𝒙, 𝒙𝑛 𝑡𝑛𝑁𝑛=1

ポイントだよ

8

6.4 ガウス過程

任意のデータ集合 𝒙 𝑖 , 𝑡 𝑖 , … , 𝒙 𝑗 , 𝑡 𝑗

の同時分布がガウス分布となること

• ガウス分布の共分散にカーネルを設定

• 新しいデータに対する予測分布を計算する際に，訓練データのグラム行列および入力データに対するカーネル関数の結果を利用可能

• パラメトリックモデルを経由することなしに関数に対する事前分布を定義していると解釈できる

ポイントだよ

9

6.4.1 線形回帰再訪

線形回帰の例に基づき𝑝(𝒙,𝒘)の分布を考え， 予測分布の導出をする (...ための準備)

• 𝑤の事前分布として𝒩(𝒘|𝟎, 𝛼−1𝐈) を仮定

–平均0という仮定が(6.53)式導出に必要

ポイントだよ

10

6.4.2 ガウス過程による回帰

条件付き予測分布を考えるとガウス分布の 共分散行列にカーネル関数が登場

• (6.65)式

• (6.66)式，(6.67)式によって予測

• (6.66)式を以下のように解釈すると今までのカーネル法と一致

𝑚 𝒙𝑁+1 = 𝑎𝑛𝑘 𝒙𝑛, 𝒙𝑁+1

𝑁

𝑛=1

ポイントだよ

11

つづく さぁ今日も一日 がんばるぞ

12