76
生生生生生生生生 生生生生生 京京京京 京京京京京 京京京京京京京京京京京京京京京京 京京京 京京

生命情報学基礎論 カーネル法

  • Upload
    kalyca

  • View
    36

  • Download
    4

Embed Size (px)

DESCRIPTION

生命情報学基礎論 カーネル法. 阿久津 達也. 京都大学 化学研究所 バイオインフォマティクスセンター. 講義予定. 4月14日(月) : 生命情報学の基盤 4月21日(月):  配列の比較と相同性検索 4月28日(月):  進化系統樹推定 5月12日(月):  隠れマルコフモデル 5月19日(月):  タンパク質立体構造予測 5月26日(月)、6月2日(月):  カーネル法 6月9日(月) :  生物情報ネットワークの構造解析. 6月16日(月) : 遺伝子ネットワークの解析と制御(田村 ) 6月23日(月):  代謝ネットワークの 堅牢性(田村) - PowerPoint PPT Presentation

Citation preview

Page 1: 生命情報学基礎論 カーネル法

生命情報学基礎論カーネル法

京都大学 化学研究所バイオインフォマティクスセンター

阿久津 達也

Page 2: 生命情報学基礎論 カーネル法

講義予定 4月14日(月) :  生命情報学の基盤 4月21日(月): 配列の比較と相同性検索 4月28日(月): 進化系統樹推定 5月12日(月): 隠れマルコフモデル 5月19日(月): タンパク質立体構造予測 5月26日(月)、6月2日(月): カーネル法 6月9日(月): 生物情報ネットワークの構造解析 6月16日(月) :  遺伝子ネットワークの解析と制御(田村) 6月23日(月): 代謝ネットワークの堅牢性(田村) 6月30日(月): 木の編集距離(田村) 7月7日(月): タンパク質相互作用予測(林田) 7月14日(月): タンパク質複合体予測(林田) 7月17日(木): 生物データの圧縮による比較(林田)

Page 3: 生命情報学基礎論 カーネル法

内容

サポートベクターマシンとカーネル法 タンパク質配列分類のためのカーネル 化合物分類のためのグラフカーネル

Page 4: 生命情報学基礎論 カーネル法

サポートベクターマシン(1)

カーネル法の一つ、データのクラス予測に利用 1990 年代に、 Cortes と  Vapnik が発明 トレーニングデータとして与えられた正例と負例

から、それらを分離する超平面を計算 機械学習、統計学、人工知能、パターン認識、バ

イオインフォマティクスなど様々な分野に応用 配列分類 タンパク質フォールド予測、二次構造予測 遺伝子発現データ解析 タンパク質相互作用予測 化合物の性質推定 c.f. Kernel Methods in Computational Biology,

MIT Press, 2004

Page 5: 生命情報学基礎論 カーネル法

サポートベクターマシン (2)

正例と負例を与えて、それらを最適(マージンを最大)に分離する超平面を学習

カーネルを適切に定義することにより超平面以外での分離が可能

margin

Page 6: 生命情報学基礎論 カーネル法

SVM によるテストデータの分類

学習データより超平面を学習 (SVM)

テストデータは、対応する点の超平面に対する位置(上下)で判定

テストデータ

Page 7: 生命情報学基礎論 カーネル法

カーネル サポートベクターマシン:基本的には超平面で分離 Φ(x) ( 特徴ベクトル):「非線形曲面⇒超平面」に写像 カーネル: x と y の類似度が高い ⇔ K(x,y) が大

φ (x)

)()(),( yxyx K

Page 8: 生命情報学基礎論 カーネル法

カーネルの定義

関数 K: X×X→ R がカーネル   iff.   X から内積空間 F への写像 Φ が存

在し、  

  とかける

)()(),( yxyx K

Page 9: 生命情報学基礎論 カーネル法

マーセルの定理 (1)

X を有限空間とし、 K(x,y) を X 上の対称関数とすると、

  K(x,y) がカーネル   iff 行列 K=(K(xi,xj)) (i, j=1,…,n) が半正定値

行列 K が半正定値 iff K の固有値がすべて非負 iff (x) (xtKx 0)

Page 10: 生命情報学基礎論 カーネル法

マーセルの定理 (2): 証明

K は対称なので、 K=VΛVt とかける。ただし、 Λ は固有値 λi を対角要素とする対角行列で、 V は直交行列。

  (         は λi の固有ベクトル。 VVt= Vt

V =I ) ここで               とすると

一方、                とすると、               

となり、半正定値となる。

nkikki 1

)(

Vx

),()()()(1

jiijt

n

kjkikkji K xxVΛVVVxx

0)()())()((

iii

iii

jjji

ii

t wwww xxxxKww

njjii 1

Vv

)()(),( jijiK xxxx

Page 11: 生命情報学基礎論 カーネル法

マーセルの定理 (3): 連続値の場合

K(x,y) がカーネル iff.

任意の二乗可積分関数 f  に対して

0)()(),( yxyxyx ddffK

Page 12: 生命情報学基礎論 カーネル法

カーネルの性質 (1)               のとき、特

徴ベクトル間の距離は

証明

)()(2)()()()(

)()(2

yxyyxx

yx

),(2),(),(

)()(

yxyyxx

yx

KKK

)()(),( yxyx K

Page 13: 生命情報学基礎論 カーネル法

カーネルの性質(2)

Ki が以下を満たす時、 K もカーネル

),(),(lim,, yxyxyx KKX nn

Page 14: 生命情報学基礎論 カーネル法

カーネルの例 (1)

(x ・ y+c)d はカーネル 証明( d=2, c=0 の場合)

212211212211

212122221111

22211

2

2,,2,,

2

)()(

yyyyyyxxxxxx

yyxxyyxxyyxx

yxyx

yx

Page 15: 生命情報学基礎論 カーネル法

カーネルの例 (2) K1, K2 がカーネルの時、以下もカーネル

(i)(ii) より、カーネルの正係数の線形和もカーネル (i)(ii)(iii) より、カーネルの正係数の多項式もカー

ネル

),(),((iii)

)0(),((ii)

),(),((i)

21

1

21

yxyx

yx

yxyx

KK

aKa

KK

Page 16: 生命情報学基礎論 カーネル法

カーネルの例 (3)

(i) f(x): X →R ⇒ f(x) f(y) はカーネル 証明

        (別証:  f(x) を1次元の特徴ベクトルと考える)

(ii) exp(K(x,y)) はカーネル 略証: 指数関数は正の係数を持つ多項式により任意の精度

で近似でき、また、カーネルの多項式もカーネルとなるため、性質(2)によりカーネルとなる

0)()(

)()(),(

11

1 11 1

n

jjj

n

iii

n

i

n

jjiji

n

i

n

jjiji

fvfv

ffvvKvv

xx

xxxx

Page 17: 生命情報学基礎論 カーネル法

カーネルの例 (4) exp(-||x-y ||2/σ2)  はカーネル         ( Gaussian RBF kerne

l ) 証明

最初の二項の積は例 (3-i) によりカーネル、  最後の項は例 (3-ii) によりカーネル、  それらの積は例 (2-iii) によりカーネル

22

2

2

2

2

2

2expexpexp

exp

yxyx

yx

Page 18: 生命情報学基礎論 カーネル法

カーネルの例 (5) 以下は必ずしもカーネルとはならな

)(

)tanh(),((iii)

),(log(ii)

),((i)

シグモイドカーネル

yxyx

yx

yx

aK

K

K

Page 19: 生命情報学基礎論 カーネル法

サポートベクターマシン : 定式化 (1)

学習データ:  Rd 上の点とラベルのペアの集合

yi=1 ⇒ 正例    yi=-1 ⇒ 負例 最適化問題 (凸二次計画問題)

(w,b): Rd 上の超平面 h: w ・ x+b=0 に対応 1/||w||: h から一番近い xi までの距離( =margin)

}1,1{,R|),( id

iii yyS xx

1)( subject to

minimize,

by ii

b

xw

www

Page 20: 生命情報学基礎論 カーネル法

サポートベクターマシン : 定式化 (2)

サポート ベクター

h

γ

1)( bixw

1

)(

bixw

1

)(

bixw

1)( bixw

0

)(

bxw

1)(

subject to

minimize,

by ii

b

xw

www

w/1

Page 21: 生命情報学基礎論 カーネル法

サポートベクターマシン : 双対化 (1)

問題の双対化 もとの問題のラグランジアンは         (|S|

=l)

もとの問題は以下の min-max型と等価

更に、この最適解は以下の双対問題の最適解と一致

l

i iii bybL12

1 1)(),,( xwwwαw

),,(maxmin0),(

αww

bLb

),,(minmax),(0

αww

bLb

Page 22: 生命情報学基礎論 カーネル法

サポートベクターマシン : 双対化 (2)

双対問題の最適解 双対問題は

この式の w と b について微分をとり

上記をもとのラグランジアンに代入し

0),,(

0),,(

1

1

l

i ii

l

i iii

yb

bL

ybL

αw

xww

αw

l

i

l

j jijiji

l

i i yybL1 12

11

),,( xxαw

),,(minmax),(0

αww

bLb

Page 23: 生命情報学基礎論 カーネル法

サポートベクターマシン : 双対化 (3)

双対問題 (凸二次計画問題)

マージン

0

0 subject to

maximize

1

1 121

1

i

l

i ii

l

i

l

j jijiji

l

i i

y

yy

xxα

l

i iiiy1

**

*where,

1xw

w

Page 24: 生命情報学基礎論 カーネル法

サポートベクターマシン : 双対化 (4)

KKT 相補条件

サポートベクター xi がサポートベク

ター  ⇔  αi

* > 0

超平面 h

01)( *** by iii xw

0

*

1

*

**

by

bl

i iii xx

xw

サポート ベクター

h

γ

Page 25: 生命情報学基礎論 カーネル法

サポートベクターマシン : カーネル化

xi ・ xj を K(xi, xj) で置換 (←  K(xi, xj) =Φ(xi) ・ Φ(xj) )

識別関数        ( SV: サポートベクターの集合)

利点: 特徴ベクトルを陽に扱わずに、カーネル値のみが計算できればOK ⇒ カーネルトリック

0,0 subject to

),(maximize

1

1 121

1

i

l

i ii

l

i

l

j jijiji

l

i i

y

Kyy

xxα

**** ),( bKybSVx

iii

i

xxxw

2

minmax *1

*1* iyiy iib

xwxw

Page 26: 生命情報学基礎論 カーネル法

ソフトマージン( 2-ノルム)

正負例が完全には 分離不可の場合

スラック変数 ξi  の導入

0

1)(

subject to

min1

2

,

i

iii

l

i ib

by

C

xw

www

ξj/||w||ξi/||w||

xi

xj

xk

ξk/||w||

h

γ

Page 27: 生命情報学基礎論 カーネル法

ソフトマージン( 2-ノルム) : 双対化+カーネル化

0

0 subject to

),(

maximize

1

1 11

21

1

i

l

i ii

l

i

l

j ijCjijiji

l

i i

y

Kyy

xx

α

Page 28: 生命情報学基礎論 カーネル法

ソフトマージン( 1-ノルム)

1-ノルムの場合、二乗和でなく、線形和をとる

0

1)(

subject to

min1,

i

iii

l

i ib

by

C

xw

www

ξj/||w||ξi/||w||

xi

xj

xk

ξk/||w||

h

γ

Page 29: 生命情報学基礎論 カーネル法

ソフトマージン( 1-ノルム) : 双対化+カーネル化

C

y

Kyy

i

l

i ii

l

i

l

j jijiji

l

i i

0

0 subject to

),(

maximize

1

1 121

1

xx

α

Page 30: 生命情報学基礎論 カーネル法

カーネル法 古くから多くの研究 SVM 以外にも様々な応用

KPCA: カーネル主成分分析 KCCA: カーネル正準相関分析

SVM による多数のクラスの分類法(一例)

各クラスごとにSVMを構成 そのクラスの例を正例、それ以外の例を負例とする

新たなデータをそれぞれのSVMに入力し、スコアが最も良いクラスを出力

Page 31: 生命情報学基礎論 カーネル法

実問題に対するカーネル データから特徴ベクトル (feature vector)

を作るのが一般的、かつ、 多くの場合に実用的 特徴ベクトル: 実数値の列 例えば、各化合物 x に対し、

Φ(x) = ( 分子量 , 容積 , 表面積 , logP,…)

 とすれば、化合物 x,y に対するカーネルは

  Φ(x) と Φ(y ) の単なる内積

Page 32: 生命情報学基礎論 カーネル法

内容

サポートベクターマシンとカーネル法 タンパク質配列分類のためのカーネル 化合物分類のためのグラフカーネル

Page 33: 生命情報学基礎論 カーネル法

タンパク質立体構造予測

アミノ酸配列から、タンパク質の立体構造(3次元構造)をコンピュータにより推定

実験よりは、精度が悪い

だいたいの形がわかれば良いのであれば、 4 ~5割の予測率

T V A C L G F S L V V G G R D

アミノ酸配列

コンピュータ

タンパク質立体構造

Page 34: 生命情報学基礎論 カーネル法

フォールド予測 (Fold Recognition)

精密な3次元構造ではなく、だいたいの形( fold) を予測

立体構造は 1000種類程度の形に分類される、との予測 (Chotia, 1992) に基づく

T V A C L G F S L V V G G R D

1000個のテンプレート構造

アミノ酸配列

Page 35: 生命情報学基礎論 カーネル法

SCOP データベース

Class.1

Fold.1

Super Family.1

Family.1 Family.2mkkrltitlsesvlenlekmaremglsksam

isvalenykkgq

SCOP Root

ispqarafleevfrrkqslnskekeevakkcg

itplqvrvwfinkrmrs

Class.2

Fold.2

Super Family.2

Family.3

‥‥‥‥‥

‥‥‥‥‥

‥‥‥‥‥

タンパク質立体構造を形状を中心に、人手で、 階層的に、分類したデータベース

Page 36: 生命情報学基礎論 カーネル法

Super Family 予測

madqlteeqiaefkeafslfdkdgdgtittkelgtvmrslgqnpteaelqdminevdadg

ngtidfpefltmmark

タンパク質配列

Super Family.1

Super Family.2

Super Family.3:

入力配列が SCOP のどのスーパーファミリーに属するかを予測

Page 37: 生命情報学基礎論 カーネル法

既存手法の主なターゲット

Class

Fold

Super Family

Family

HMM, PSI-BLAST, SVM

SW, BLAST, FASTA

Threading

Secondary Structure Prediction

Page 38: 生命情報学基礎論 カーネル法

 配列解析のためのカーネル 配列を実数ベクトルに変換 様々なカーネルの提案

Marginalized kernel, Fisher kernel, Local alignment kernel, …

φ (x) ACCGTA CACGTA

TCCGTCC

TCCGTTC

AGCGTG AGCGTAA

TACCGTA

CCACCG CCACCGA

CTACCA

GACCGTA

CTACCGG

GACCTC

Page 39: 生命情報学基礎論 カーネル法

タンパク質配列解析のための既存カーネル

HMM から特徴ベクトルを抽出 Fisher カーネル (Jaakkola et al., 2000) Marginalized カーネル (Tsuda et al., 2002)

配列から直接特徴ベクトルを抽出 Spectrum カーネル (Leslie et al., 2002) Mismatch カーネル (Leslie et al., 2003)

他の配列とのスコアを特徴ベクトルとして利用 SVM pairwise (Liao & Noble, 2002)

A C C C C T T A A G A A C G

0 2 0 1 0 1 1 ( ) C C T A A

φ (x)

Spectrumカーネル

C

Page 40: 生命情報学基礎論 カーネル法

Spectrum カーネル

部分配列 t の配列 x での出現回数を occ(t,x) とすると

この内積をとり、 k-spectrum カーネルを得る

例: ∑ ={A,C} で、 x=“CAACA”, y=“AACCCA” とすると、

 となるので、

なお、 Spectrum カーネルは接尾辞木というデータ構造を使うと高速に計算可能

ktk xtoccx

)),(()(

)()(),( yxyxK kk

)2,1,1,1()(),0,2,1,1()( 22 yx

4),( yxK

Page 41: 生命情報学基礎論 カーネル法

All Substring カーネル (1)

Spectrum カーネルでは長さ k の文字列のみ考えたが、 All substring カーネルではすべての長さの(不連続も含めた)文字列を考える

例: x=“CAC”, y=“ACA” とすると、 φは次のとおり

よって、

*)),('()( txtoccx

t

ytoccxtoccyxyxK ),('),(')()(),(

ε A C AA AC CA CC AAA

… ACA … CAC

……

Φ(x) 1 1 2 0 1 1 1 0 … 0 … 1 ……

Φ(y) 1 2 1 1 1 1 0 0 … 1 … 0 ……

711221),( yxK

Page 42: 生命情報学基礎論 カーネル法

All Substring カーネル (2)

All substring カーネル 無限次元だが、実際には有限次元 動的計画法を用いて効率的に計算できる

例: x=“CAC”, y=“ACA”

ajyj

jyxKyxKyxaK

xK

][:

])1...1[,(),(),(

1),(

ε C CA CAC

ε 1 1 1 1

A 1 1 2 2

AC 1 2 3 5

ACA 1 2 5 7

5212

AC)(C,)(C,

ACA)(C,ACA)CA,(

KK

KK

725

A)(CA,ACA)(CA,ACA)CAC,(

KKK

Page 43: 生命情報学基礎論 カーネル法

配列アラインメント

バイオインフォマティクスの最重要技術の一つ

2個もしくは3個以上の配列の類似性判定に利用

文字間の最適な対応関係を求める(最適化問題)

配列長を同じにするように、ギャップ記号(挿入、欠失に対応)を挿入

A G L F S G L G Y

A G L G S V V G

A G L F G S L G Y

A G L G S V V G

Page 44: 生命情報学基礎論 カーネル法

ローカルアラインメント (1) (Smith-Watermanアルゴリズム )

配列の一部のみ共通部分があることが多い  ⇒共通部分のみのアラインメント 配列検索において広く利用されている 例えば、 HEAWGEH  と  GAWED  の

場合、         A W G E         A W - E  というアラインメントを計算

Page 45: 生命情報学基礎論 カーネル法

ローカルアラインメント(2)

AWGE

AW - E

H E A G

G

A

E

W

W E H

0 0 0 0 0 0 0 0

0 0 0 0 0 1 0 0

0 0 0 1 0 0 0 0

0 0 0 0 1 0 0

0 0 1 0 1 0 2 1

2

0 0 0 0 0 0 1 1 D

実行例

(ギャップ-1、 置換-1、一致1)

djiF

djiF

yxsjiFjiF ji

1),(

)1,(

)(1)1,(

0

max),(,動的計画法

の式

Page 46: 生命情報学基礎論 カーネル法

SVM-ペアワイズ法

学習に使う配列の集合を S={s1, s2, …, sn } とする 各配列 x に対する特徴ベクトルを次のように定義

カーネルは、この内積をとり

Ssi isxSWx )),(()(SW

)()(),( SWSW yxyxK

x = ACGATTCG

s1 = CTGAAGG s2 = TTCGAA s3 = TACGATGCG

SW(x,s1)=80SW(x,s2)=25

SW(x,s3)=115

)115,25,80()(SW x

Page 47: 生命情報学基礎論 カーネル法

LA カーネル

SWアルゴリズムをそのままカーネルとして利用したい  ⇒ カーネルとならない

最適な1個のパスを考えただけではカーネルとならない

全部のパスの重み付き和を考えればカーネルとなる

Page 48: 生命情報学基礎論 カーネル法

LA カーネルの定義(1)

文字(残基)ペアのスコア : Kaβ (x,y)

ギャップのスコア: Kgβ (x,y)

otherwise)),(exp(

1||or 1||if0),(

yxs

yxyxKa

)1()(,0)0(

)|)(||)(|(exp),(

nedngg

ygxgyxK g

ただし、

Page 49: 生命情報学基礎論 カーネル法

LA カーネルの定義 (2)

カーネルの畳み込み (convolution)

アラインされる文字が n 個ある場合のスコア

LA カーネル

100

1

0)( ),(

Ka

n

gan KKKKKyxK ただし、

0

)( ),(),(i

iLA yxKyxK

yyyxxx

yxKyxKyxKK2121

2211,

2121 ),(),(),(

V F

Ka β

F L L D D R L - - V L L V - - E K L G A - -

T T

Kg β Kg β Kg β Ka β Ka β Ka β

n=7

Page 50: 生命情報学基礎論 カーネル法

LA カーネルと SW スコアの関係

),()),(ln(lim 1 yxSWyxKLA

π : ( ローカル ) アラインメント

s(x,y,π): x,y の  アラインメント

π の  スコア Π :可能なアライメントの集合

),(

)),,(exp(),(yx

LA yxsyxK

)),,(exp(maxln

),,(max),(

),(

1

),(

yxs

yxsyxSW

yx

yx

定理

Page 51: 生命情報学基礎論 カーネル法

LA カーネルと SW スコア

SW スコア:  1 個の最適なアラインメントのみを考慮 LA カーネル: すべての可能なアラインメントを考慮

AWGE A - GE

HAWGEG

AGEHV

配列 x

配列 y

SWスコア

LAカーネル

AWGE A - GE

AWGE AG - E

HAWGE A -G - E

HAWGE - G A -G EHV -

π 1

π 2

π 3

π 4

p(x,y,π )=0.003 

p(x,y,π )=0.001 

p(x,y,π )=0.0006 

p(x,y,π )=0.0001 s(x,y,π)=30

s(x,y,π1)=30

s(x,y,π2)=15

s(x,y,π3)= -35

s(x,y,π4)= -115

Page 52: 生命情報学基礎論 カーネル法

SVM-ペアワイズ法と LA カーネル

SVM-pairwise

(25, 40, 30, 50)

内積

x yx y

1640

入力配列

特徴ベクトル

カーネル値

(10,30,20,5)

LA kernel

2290

SW スコアデータ

ベース配列群

),(

)),,(exp(yx

yxs

Page 53: 生命情報学基礎論 カーネル法

対角優位性問題への対処

2つの配列 x と y について、 K(x,x) と K(x,y) のスケールが違う問題

この時サポートベクターマシンは正負の例を記憶するだけでうまく学習できない。

( 実際上の ) 回避法

1

1

),(~

),(~

),(~

),(ln),(~

yyKxxK

yxKK

yxKyxK

LALA

LAnorm

LALA

Page 54: 生命情報学基礎論 カーネル法

 正規化カーネル

K(x,y)  がカーネルなら以下もカーネル

),(),(

),(),(

yyKxxK

yxKyxKnorm

理由          とおくと       

  はカーネル

  よって、 Knorm はカーネル

),(

1)(

xxKxf

),(),(

1

yyKxxK

Page 55: 生命情報学基礎論 カーネル法

提案手法の評価法

SVMの 学習

54 SCOP Super Families

トレーニング データ

SVMによる 予測

評価 (ROC,ROC50)

テスト データ

Page 56: 生命情報学基礎論 カーネル法

ROC による性能評価

カーブが上にあるほど良い性能

Page 57: 生命情報学基礎論 カーネル法

mRFP による性能評価

カーブが上にあるほど良い性能

Page 58: 生命情報学基礎論 カーネル法

タンパク質相互作用の予測 (1)

相互作用するペア (x1,x2) を正例、

相互作用しないペア (x3,x4) を負例

x1 x2

(x1, x2)(x3, x4)

x3 x4

Page 59: 生命情報学基礎論 カーネル法

タンパク質相互作用の予測 (2)

手法1: Φ ( x1 ) と Φ ( x2 ) を並べたものを特徴ベクトルとする ))(),((),( 2121 xxxx

),(),(

))(),(())(),(()),(),,((

4231

43214321

xxKxxK

xxxxxxxxK

手法2: pairwise kernel

),(),(

),(),()),(),,((

3241

42314321

xxKxxK

xxKxxKxxxxK

Page 60: 生命情報学基礎論 カーネル法

化合物ータンパク質結合予測

(c1,p1) を化合物 c1 とタンパク質 p1 のペア 結合するペアを正例、結合しないペアを負例と

する),(),()),(),,(( 21212211 ppKccKpcpcK proteinmol

p1

c1

Page 61: 生命情報学基礎論 カーネル法

結論(タンパク配列に対するカーネル)

様々なカーネルが提案されている Spectrum カーネルでは単純に長さ k の各文字列

の出現頻度を特徴ベクトルとしている All substring カーネルでは動的計画法により効率

的にカーネル値を計算可能 ローカルアラインメントカーネルではすべてのロー

カルアラインメントを考慮することにより正定値性を確保

相互作用するペアを正例、しないペアを負例とすることにより、タンパク質相互作用予測、化合物ータンパク質結合予測に利用可能

Page 62: 生命情報学基礎論 カーネル法

内容

サポートベクターマシンとカーネル法 タンパク質配列分類のためのカーネル 化合物分類のためのグラフカーネル

Page 63: 生命情報学基礎論 カーネル法

カーネル法による化合物の分類・性質予測

Page 64: 生命情報学基礎論 カーネル法

周辺化グラフ・カーネル  (1)

Kashima らが 2003 年に提案

h: グラフ G1 におけるパス h’: グラフ G2 におけるパス l(h): パス h のラベル(原子名)の列 K’(x,y): ラベル列間のカーネル関数 (例:  K’(x,y)=1 if x=y, otherwise 0   )

))'(),((')'()(),(*2'*

1

21hlhlKhphpGGK

VhVh

Page 65: 生命情報学基礎論 カーネル法

周辺化グラフ・カーネル  (2)

C O

Cl

H u1  u2 

u3 

u4 

H

G1 

H C O H v1 

v4 

v3 

v2 H

v5  v6 

G2 

1))'(),(('

)OC,H,()'(),OC,H,()(

),,('),,,( 521321

hlhlK

hlhl

vvvhuuuh

0))'''(),''(('

)HC,O,C,H,()'''(

),,,,('''

)ClC,O,C,H,()''(

),,,,(''

12521

42321

hlhlK

hl

vvvvvh

hl

uuuuuh

Page 66: 生命情報学基礎論 カーネル法

周辺化グラフ・カーネル  (3)

C O

Cl

H

x 

φ (x)

H 0.03 (

C 0.03

N 0.0

HC 0.02

HO 0.0

CH 0.01

HC H

0.002 )

Page 67: 生命情報学基礎論 カーネル法

周辺化グラフ・カーネル  (4)

C

O

Cl

H v1  v2 

v3 

v4 

G1 

0.9

END

START

0.25

0.3

0.3

0.9

0.3

0.9 0.1 0.1

0.1

0.1

0.25 0.25

0.25

1.03.09.03.025.0

),,,(

1.03.09.025.0

),,(

3242

321

vvvvp

vvvp

3.0)|()1(

3/1)|(

9.0)|()1(

0.1)|(

1.0)(25.0)(

23

23

12

12

0

vvpp

vvp

vvpp

vvp

vpvp

aq

a

aq

a

iqi

Page 68: 生命情報学基礎論 カーネル法

周辺化グラフ・カーネル  (5)

n

iiitsn

qavq

qt

qs

vvpvpvvp

upvupp

vpvup

vpvpvp

2111

)(

0

)|()(),,(

)()|()(1

)|(

)()()(

Page 69: 生命情報学基礎論 カーネル法

周辺化グラフ・カーネル  (6)

Cl H u1  u2 G1 

G2 

O K v1  v3 v2 

H

G1× G2 

v3 u2 ( , )

H,K H,O H,H u1  v1 ( , ) ( , ) u1  v2  ( , ) u1  v3 

Cl,K Cl,O Cl,H ( , ) u2  v1  ( , ) u2  v2 

)),(|),((),()),(),)(,((

)|()|()),(|),((

)()(),(

211112211

1)2(

1)1(

11

1)2(

1)1(

11

n

iiiiitsnn

iitiitiiiit

sss

vuvuvuvuvuvu

vvpuupvuvu

vpupvu

Page 70: 生命情報学基礎論 カーネル法

周辺化グラフ・カーネル  (7))())'(),((')'()(),(

*)21(*2'*

1

21hhlhlKhphpGGK

VVhVhVh

VuVutt

VVVVvss

uu

v

,'

)21(

))|'((

))((

1

1

1

1

1||,*121

)(

)()(),(

ts

nts

nnhVhn

I

hGGK

)1/(11 2 xxx

1

1

||,

)()(*

nts

nhVh

h

周辺化グラフ・カーネル⇒逆行列の計算 無限次元の特徴ベクトルの内積⇒有限時間 (カーネルトリック)

Page 71: 生命情報学基礎論 カーネル法

周辺化グラフカーネルの問題点

パス(の集合)だけを用いて化学構造を表現 反応中心などの情報を十分に取り入れることが困難?

行列のサイズが大きく(数千× 数千)なるため、逆行列の計算に時間がかかる すべてのトレーニングデータのペア(化合物のペア)について、それぞれ、逆行列を計算することが必要

⇒  構造情報 (Morgan Index) との組み合わせ

Page 72: 生命情報学基礎論 カーネル法

Morgan インデックス

化学構造の一意名を計算機により計算するために1960 年代に考案 CAS(Chemical Abstract Service) で利用

等価な原子に同じ番号(整数値)が与えられるような、各原子への番号づけを計算

簡単な繰り返し計算による番号づけ 等価で無い原子にも同じ番号がつく可能性(でも、低

い)

⇒ Marginalized グラフカーネルにおいて、原子名とともに、モーガンインデックスを利用 原子名およびモーガンインデックスの両者が一致するパ

スのみを考慮⇒  部分構造に関する特徴も、ある程度、取り入れられる

Page 73: 生命情報学基礎論 カーネル法

Morgan インデックスの計算法

すべての原子に番号1を割り当てる すべての原子 x について以下を実行

x に結合している原子の番号を総和を、 x の番号とする

Page 74: 生命情報学基礎論 カーネル法

計算機実験 MUTAG データを利用

標準的ベンチマークテストの一つ 化合物のサルモネラ菌の変異性への影響データ 125個の正例、63個の負例を利用 各例 1 個のみをテストデータとし、他を学習

データとしたテストを繰り返した ソフトウェア

SVMソフトとして、 GIST (http://microarray.cpmc.columbia.edu/gist)

を利用 他は C++ で記述

Page 75: 生命情報学基礎論 カーネル法

結論(化合物に関するカーネル法)

周辺化グラフカーネル パスの出現頻度を特徴ベクトルとする 逆行列計算により、無限次元ベクトルの内積を

有限時間で計算可能(カーネルトリック) モーガンインデックスの利用により精度を保ち

つつ高速化可能

パスでなく部分木、もしくは、部分グラフを使う 従来のケモインフォマティクス分野で開発された

特徴ベクトル( descriptor )を利用 グラフ構造だけでなく、3次元構造データを利用

他のカーネル

Page 76: 生命情報学基礎論 カーネル法

参考文献 SVMおよびカーネル一般

N. Cristianini & J. Shawe-Taylor: An Introduction to Support Vector Machines and Other Kernel-based Learning Methods, Cambridge Univ. Press, 2000.

(日本語訳: 大北(訳)、サポートベクターマシン入門、共立出版 , 2005 )

J. Shawe-Taylor & N. Cristianini : Kernel Methods for Pattern Analysis, Cambridge Univ. Press, 2004.

赤穂: カーネル多変量解析 , 岩波書店 , 2008. バイオインフォマティクスにおけるカーネル

Kernel Methods in Computational Biology, MIT Press, 2004. 丸山、阿久津: バイオインフォマティクス –配列データ解析と構

造予測 , 朝倉書店 , 2007.