NIPS2013読み会2014/1/23@Quasi_quant2010

NIPS2013読み会1

Similarity Component Analysis

著者：S.Changpinyo, etc

概要ー Metric Learningに関する一考察 ー▸ 研究背景

▸ アイディア

▸ グラフィカルモデルとモデルパラメータ推定法

▸ 評価実験

▸ まとめ

NIPS2013読み会2

研究背景：例①－何をもって似ているとすればよいか－▸ 突然ですが、以下の三物体は似ていますか？

→三角不等式を満たす類似度距離では不十分!

NIPS2013読み会3

研究背景：例①－何をもって似ているとすればよいか－▸ もし局所特徴量が上半身と下半身と分かっていれば

→各々の局所特徴量が含まれる程度を数値化して識別

NIPS2013読み会4

研究背景：例②－何をもって似ているとすればよいか－▸ 対象が複数の局所特徴量を持つ場合(社会ネットワーク)

– 性別– 年齢– 学校– 地域– 郵便番号– 趣味– 政治, etc

→三角不等式のような拘束を受けない類似表現はないかNIPS2013読み会5

アイディア－積モデル(Noisy OR)によるアグリゲーション－

NIPS2013読み会6

▸ 局所特徴量から確率を計算し、積和演算よりスコアを算出

1-{(1-0.9)*(1-0.1)}=0.91

1-{(1-0.1)*(1-0.9)}=0.91

1-{(1-0.1)*(1-0.1)}=0.19

アイディア－局所特徴量からどの様に確率を計算するか－

NIPS2013読み会7

▸ 一次変換した局所特徴量の内積をベルヌーイ変数に置換

u,v：データから抽出した局所特徴量ベクトルσ(・)：シグモイド関数

d_k：内積、b_k：バイアス項

P(s_k=1 | u,v)距離が近い程、類似度合が高まる

グラフィカルモデルー Step1:局所特徴量から確率を計算 ー▸ 二つの対称が与えられた時、

類似確率を計算

NIPS2013読み会8

S

u v

zk K(潜在変数)

zk

N*NN(識別対象数)

D(特徴量数) D(特徴量数)

グラフィカルモデルー Step2:確率を積和演算しスコアを計算ー▸ 積モデル(Noisy OR)

によるアグリゲーション

NIPS2013読み会9

S

u v

zk K(潜在変数)

z1z1 ,z2 ,zK

zK=1

N*NN(識別対象数)

D(特徴量数) D(特徴量数)

モデルパラメータ推定法ー 各確率変数の整理ー▸ zk|u,v ∼ ベルヌーイ確率

– p(zk=1|u,v) = pk(Mk , bk)– p(zk=1|u,v) = 1 - pk(Mk , bk)

▸ s | zk ∼ ベルヌーイ確率– p(s=1|zk=1) = 1 - θk, p(s=1|zk=0) = 0– p(s=0|zk=1) = 0, p(s=0|zk=0) = θk

▸ s | z ∼ Noisy OR– p(s=1|z) = 1 -

NIPS2013読み会10

zk

モデルパラメータMk , bk , θk

モデルパラメータ推定法ー 対数尤度の期待値よりEMアルゴリズムー▸ 計算したい量

– p(s|u,v)s:{0,1}、u,v:対象の局所特徴ベクトル

▸ p(s|u,v) = ∫dz p(s,z|u,v) = ∫dz p(z|u,v) * p(s|z) (∵グラフィカル表現)

= ∫dz p(zk|u,v) * p(s|z)

▸ I1 = { zk*p(zk=1|u,v) + (1-zk)*p(zk=0|u,v) }

▸ I2 = s*p(s=1|z) + (1-s)*p(s=0|z)

NIPS2013読み会11

モデルパラメータ推定法ー 一次変換と正則化についてー▸ 一次変換

– 筆者の経験によれば、一次変換の行列を非負要素を持つ対角行列すると、特徴量が高次元の場合でも上手くいくそうです

▸ 正則化

NIPS2013読み会12

評価実験ー 人工データ編：拘束を持つ距離との比較 ー▸ 見どころ

– 不等式制約を持った類似距離との性能比較● ITML : d(x,y) + 1 ≦ d(y,z)● LMNN : d(x,y) ≦ U, d(x,y) ≧ L, U,L∊R+

▸ 結果

▸ 不等式制約を持つ類似距離と比較し性能向上▸ 局所特徴量を増やすと性能が情報し、K=10で最大

NIPS2013読み会13

NIPS2013読み会13

K(局所特徴量)=6が正解

評価実験ー 人工データ編：パラメータ推定法の確認 ー▸ 見どころ

– 特徴量が非相関・相関する場合の性能– 推定パラメータの正確性

▸ 結果, K=5の場合

NIPS2013読み会14

評価実験ー リンク予測：複数局所特徴量を持つ場合 ー▸ 実験設定

– データ：1987~1999年に開催されたNIPSの論文から、1カンファレンス辺りランダムに80本を選択

– ネットワークを作成● ノード：論文● エッジ：類似していると判定された場合

– 論文の局所特徴量● Bag of Words：頻度カットあり● Topic：各文書のトピックベクトル(LDA)● Topic Words：推定した各トピックの単語ベクトルNIPS2013読み会15

評価実験ー リンク予測(NIPS投稿論文データセット) ー▸ 見どころ

– 複数の局所特徴量を持つ場合▸ 結果

▸ 局所特徴量：BoW以外はLDAにより前処理▸ 局所特徴量のアグリゲーション効果によりSCAは高性能▸ ただし、正則化効果は不明瞭

NIPS2013読み会16

赤：正則化あり、青：正則化なし

評価実験ー リンク予測(NIPS投稿論文データセット) ー

▸ 同一セッションの論文を最大で88%正しく分類出来た▸ LDAでは上手く分類できなかったものの、

SCAでは、1クラスタに類似した対象が分類されている→ LDAはIndexingとして使用するほうが吉?

NIPS2013読み会17

the t-SNE algorithmによる視覚化

上手く分類できている

分類が不十分

まとめー 積モデルの有効性ー▸ 貢献

– 不等式制約のない類似度をベルヌーイ確率で表現– 局所特徴量からベルヌーイ確率を計算し、計算した確

率を積和演算(複数要素に対応)によりスコアを算出– 特徴量生成に関する知識があれば、拡張しやすい

▸ 感想– 混合モデルと異なった積モデルコンセプトが面白かった– 正則化についての調査が望まれる– パラメータ推定がネックになりそう

NIPS2013読み会18