論⽂輪読:DIETNETWORKS:THINPARAMETERSFORFATGENOMICS(ICLR’17)

2017-3-17

2017/3/17 1

書誌情報• DietNetworks:ThinParametersforFatGenomics• AdrianaRomero,PierreLucCarrier,Akram Erraqabi,TristanSylvain,AlexAuvolat,EtienneDejoie,Marc-AndréLegault,Marie-PierreDubé,JulieG.Hussin,Yoshua Bengio• ICLR’17Accept(Poster)• Rating6,7,8

• https://openreview.net/forum?id=Sk-oDY9ge&noteId=Sk-oDY9ge

2017/3/17 2

概要•ときたい問題:⼊⼒の特徴量数d>>訓練例n• e.g.ゲノムデータ

• SingleNucleotidePolymorphisms(SNP):数百万次元• 単純なNNでは(1層⽬の)パラメータ数が⼤きくなりすぎる．

• 1層⽬のパラメータ数:(⼊⼒次元)×(隠れ層の次元)• 減らしたい• ただし，畳み込みの使⽤が適当とは限らない

•提案• 1層⽬のパラメータを出⼒するNNを別に⽤意して学習する

2017/3/17 3

提案モデル

2017/3/17 4

モデル (a):基本ネットワーク• X∈RN×Nd

• N:サンプル数(e.g.患者数)• Nd:特徴量数(N<<Nd,100倍以上)

• Xを⼊⼒として，クラス予測Y^を出⼒する•オプションとして，⾃⾝を再構成するものも学習(図の点線)

2017/3/17 5

モデル (a)のパラメータ数•最初の隠れ層hi(1) =f1(xiWe+be)

• Nd =300K,Nh(1) =100なら，

第⼀層⽬のパラメータ数は30M

•補助ネットワークを導⼊することでパラメータ数を減らす

2017/3/17 6

モデル (b,c):補助ネットワーク• (b):XTを⼊⼒として，We (第⼀層のパラメータ)を出⼒する• (c)は再構成⽤

• (We)j =φ(ej)• (We)j :Weのj番⽬の⾏• φ :⾮線形関数• ej :XTの埋め込み特徴量• (We)jはデータセット間 (e.g.患者間)の値と関連している

2017/3/17 7

モデル (b,c)のパラメータ数• Nf:埋め込み特徴量の次元(<N)(左図のEmb.)

• φ:RNf→RNh

•単⼀層MLPであれば，パラメータ数はNf×Nh

(1)

• Nd=300K,Nh(1)=100,Nf=500ならパラ

メータ数は50k(元の1/600)

2017/3/17 8

モデルの訓練•モデルは以下の⽬的関数を使ってend-to-endで訓練

• H:クロスエントロピー• γ :ハイパーパラメータ

2017/3/17 9

補助ネットワークの特徴量埋め込み•補助ネットワークの特徴量埋め込みは，事前に計算してものを利⽤しても，ネットワークの⼀部として⼀緒に訓練しても良い

•今回論⽂では4種類を試している• RandomProjection• PerClassHistogram• SNPtoVec

• Denoising Autocncoderを利⽤して学習• end-to-endでrawdataから学習

2017/3/17 10

実験•データ :The1000GenomesProject• 26のpopulations,5GeographicalRegionから集めた1000のゲノムデータ• 315345のgeneticvariablesを利⽤• 染⾊体は除き，周囲との相関が⼩さいもの(相関係数 <0.5)を利⽤

•ネットワーク構造• 基本構造:2層 +softmax• 隠れ層のユニット数:100

• 5-foldcrossvalidation

2017/3/17 11

実験結果

2017/3/17 12

実験結果

2017/3/17 13

まとめ•⼊⼒次元が⼤きい時に，モデルのパラメータ数を減らす⼿法を提案• 1層⽬のパラメータを出⼒する補助ネットワークを利⽤する

•従来⼿法(PCA)と⽐べ良い性能を達成

2017/3/17 14