1

CV-ReadingAppearance-based Keypoint Clustering

伊原有仁

2

はじめに

Appearance-based Keypoint Clustering– F.J.Estrada, P.Fua, V.Lepetit, and S.Ausstrunk– CVPR2009

– キーポイントのクラスタリング• 特徴の類似度算出法• セグメンテーションの問題をキーポイントの

クラスタリングへ展開

3

Movie

4

提案手法の流れ

１：入力画像から特徴点検出２：特徴点を中心とした各パッチから色と

　テクスチャ特徴の抽出３：類似度の算出と空間射影 (spectral

embedding)４： Mean-shift によるクラスタリング

5

特徴量：色情報

カラーヒストグラム– RGB 色空間

6

特徴量：テクスチャ情報

共分散行列ベース

ここで

パッチ内のピクセル jに対する１次微分，２次微分：平均ベクトル：パッチ内のピクセル数

7

提案手法の流れ

１：入力画像から特徴点検出２：特徴点を中心とした各パッチから色と

　テクスチャ特徴の抽出３：類似度の算出と空間射影 (spectral

embedding)４： Mean-shift によるクラスタリング

8

類似度の算出

カラー情報の類似度算出

テクスチャ情報の類似度算出– パッチ間の固有値の和

：カラーヒストグラムの距離：平均ベクトル

9

類似度の評価

カラー情報とテクスチャ情報の組み合わせ

：パッチ間のユークリッド距離：重み

10

パラメータ設定

設定パラメータ– 重み σ:0.3– カラーヒストグラムのビン数 :15– パッチサイズ :11x11

F 値によって設定

Pは適合率， rは再現率F が最大となるパラメータ

11

クラスタリング

空間射影 (Spectral embedding) ＊付録参照

– 類似度 を使用しグラフを作成– 同じクラスタに属する要素の類似度を強調

• PCA のようなもの

Mean-shift

12

クラスタリング実験

Ncuts(Normalized cuts) との比較– グラフに基づいたクラスタリングアルゴリズム– Spectral embedding と関連

BSD(Berkely Segmentation Database)– 250 枚

13

クラスタリング結果 1 提案手法： 0.6613 の正解率 Ncuts ： 0.5279 の正解率

14

クラスタリング結果 2 正解率の差によってソート

提案手法では， 250 枚の画像に対し， 200 枚以上，正解率が高い

15

トラッキングへの展開 1 物体にキーポイントが少ない場合– (a):SIFT,(b): 提案手法を用いた SIFT

16

トラッキングへの展開 2 非剛体に対するトラッキング– (a):SIFT,(b): クラスタリング ,(c): 提案手法を用いた

SIFT

17

照明と視点変化

(a):SIFT,(b): 提案手法を用いた SIFT

18

おわりに

Appearance-based Keypoint Clustering– キーポイントの安定したクラスタリング

• 色とテクスチャを用いたパッチ間の類似度算出法• Spectral embedding と mean-shift

– 制約のない環境下における高精度なマッチング