Embed Size (px)
DESCRIPTION
Support Vector Machines (Chapter 3). 2004.5.18 野沢康文. Overview. 特徴空間での学習 カーネル関数. Limitation of Linear Learning Machine. L inearly separable なデータでなければならない. 別の空間へ写像してから学習する. Learning in Feature Space. φ(x). x. x. o. φ. φ(x). φ(x). x. o. o. φ(o). φ(x). φ(o). x. o. φ(o). φ(o). - PowerPoint PPT Presentation
Citation preview
1
Support Vector Machines (Chapter 3)
2004.5.18
野沢康文
2
Overview
特徴空間での学習カーネル関数
3
Limitation of Linear Learning Machine
Linearly separable なデータでなければならない
別の空間へ写像してから学習する
4
φ(o)
Learning in Feature Space
φ
Input space X Feature space F
x
x
x
x
o
o o
o
φ(x)
φ(x)
φ(x)
φ(x)φ(o)
φ(o)φ(o)
),...)(),...,(()(),...,( 11 xxxxxx jn
5
Learning in Feature Space
e.g.) ),,(),(),( 2122
212121 xxxxxxxx
φ(o)
φ
Input space X Feature space F
x
x
x
x
o
o o
o
φ(x)
φ(x)
φ(x)
φ(x)φ(o)
φ(o)φ(o)
x1
x2
x12
x22
x1 x2
6
Problems
Computational problemsGeneralization problems (curse of dimensionality)
7
Dual form (Linear Leaning Machine)
bxxyxf ii
l
ii
1
)(
Linear Learning Machine での識別式
・ αi ,b学習から得られる
・ yi {1,-1}
・ xi 訓練サンプル
・ x 識別したい点
8
Algorithm
xhfunctiondefinetobreturn
loopforthewithinmademistakesnountil
forend
ifend
Rybb
a
thenbxxyyif
ltoifor
repeat
bxR
i
ii
l
jijjji
ili
,
1
0
1
0,0,max
2
1
1
9
Algorithm (Feature Space)
xhfunctiondefinetobreturn
loopforthewithinmademistakesnountil
forend
ifend
Rybb
a
thenbxxyyif
ltoifor
repeat
bxR
i
ii
l
jijjji
ili
,
1
0)()(
1
0,0,max
2
1
1
10
特徴空間における内積 を x とxi の関数として直接表すことができれば、計算が楽になる。
Dual form (Feature Space)
)(),( xxi
)()( xxi
xxi ,
bxxyxf ii
l
ii
)()()(1
特徴空間における識別式は
)(),( xxi
11
Kernel function
定義 ( カーネル関数 )
)()(),( zxzxK
カーネル関数を用いて、識別式は次のように表される
bxxKyxf ii
l
ii
),()(1
12
Kernel function
カーネル関数を定めると mapping 関数 φ が一意に決まる
・カーネル関数 K と φ の関係の例
例 1) x,z R∈ 2 で K(x,z)= 〈 x ・ z 〉 2 としたとき、
となるから
21
22
21
21
22
21
212122
22
21
21
22211
2
22
2)(
zz
z
z
xx
x
x
zzxxzxzxzxzxzx
21
22
21
2
)(
xx
x
x
x
13
Kernel function
・カーネル関数 K と φ の関係の例
例 2) x,z R∈ 4 で K(x,z)= 〈 x ・ z 〉 2 としたとき、
42
31
14
43
32
21
24
23
22
21
42
31
14
43
32
21
24
23
22
21
2
2
2
2
2
2
2
2
2
2
2
2
2
zz
zz
zz
zz
zz
zz
z
z
z
z
xx
xx
xx
xx
xx
xx
x
x
x
x
zx
42
31
14
43
32
21
24
23
22
21
2
2
2
2
2
2)(
xx
xx
xx
xx
xx
xx
x
x
x
x
x
14
Characterization of kernel
K(x, z) がカーネル関数であるためには以下のように内積の形にかけなければならない。
上のようにできるためには K(x, z) は具体的にはどのような形になっていなければならないのか？
)()(),(1
zxzxK j
n
jjj
15
Characterization of kernel (finite input space)
命題 ( 有限入力空間でのカーネル関数 )
X を有限個の元からなる入力空間とする。 xi X∈ とする。 K (xi, xj) を対称な関数とする。次のような行列が負の固有値を持たなければ K はカーネル関数となりうる。 (m は X の元の個数 )
K(x1,x1) K(x1,x2) K(x1,x3) … K(x1,xm)
K(x2,x1) …
… …
… …
K(xm,x1) … … … K(xm,xm)
16
Mercer の定理
x,z X∈ の関数 K が内積の形
と書けるための必要十分条件は、 K が対称関数であり、すべての f L∈ 2(X) に関して以下が成り立つことである。
Mercer’s Theorem
XX
dxdzzfxfzxK 0)()(),(
)0()()(),(1
jj
jjj zxzxK
})}({|{)( 22 dxxffXL
X
17
Making Kernels from Kernels
BzxzxK
zxKzxK
zfxfzxK
zxKzxKzxK
zxaKzxK
zxKzxKzxK
),(
))(),((),(
)()(),(
),(),(),(
),(),(
),(),(),(
3
21
1
21
B: 負の固有値を持たない n×n 行列
18
Making Kernels from Kernels
系
有名なカーネル
)),(exp(),(
)),((),( 1
zxKzxK
zxKpzxK
)tanh(),(
2
||||exp),(
)1(),(
2
2
bzxazxK
zxzxK
zxzxK d
多項式カーネル
Gaussian カーネル
Sigmoid カーネル
19
Reproducing Kernel Hilbert Spaces
再生核ヒルベルト空間 (RKHS)
集合 X 上の関数ヒルベルト空間 H において1.任意の x X ∈ に対して K(x, ・ ) H ∈2. H での内積を <x ・ z>H で表す。任意の f H, x’ X∈ ∈
に対して<f( ・ ) ・ K(x’, ・ )>H =f(x’) (reproducing property)
を満たす X×X 関数 K(x,x’) が存在するとき， H を再生核ヒルベルト空間といい，関数 K(x,x’) を再生核という。
20
Reproducing Kernel Hilbert Spaces
)()(),(1
zxzxK iii
i
)()(1
xxf jj
j
とする。
となるような関数全体からなる空間を Hとする。
)()()()(11
xxgxxf jj
jjj
j
として、 f と g の H での内積を
1
)()(j j
jjHgf
と定める。
このとき、 H は K を再生核とする再生核ヒルベルト空間となっている。
つまり任意のカーネル関数 K に対し、それを再生核とする再生核ヒルベルト空間が存在する。
21
Working in Feature Space
))(( XcoF
)()(11
i
s
iii
l
ii zQxP
),(,
jiji
jiF zxKQP
jijiji
ji jijijijiji
FF
zzKzxKxxK
QPQPQP
,, ,
2
),(),(2),(
(F は φ(X) の線形結合からなる空間 )
P,Q F ∈ を
内積 を
すると特徴空間における２点間の距離は φ を知らなくても求まる
),...)(),...,(()(),...,( 11 xxxxxx jn つぎのようなマッピングを考える
