関西CVPRML勉強会（特定物体認識） 2012.1.14

Bag-of-Featuresに基づく物体認識 (1) －特定物体認識－

Akisato Kimura @ NTT CS Labs. Twitter ID: @_akisato

特定物体認識とは？教科書によると画像内にある個別物体（＝インスタンス）を認識する処理

物体の「見え」から物体IDへの変換を意味する

…いや，これでは全然わかりません…

要するに ↓↓↓ と見なすタスクが特定物体認識

＝

2 関西CVPRML勉強会 2012.1.14

一般物体認識と何が違うの？一般物体認識：物体のクラスを認識する処理

特定物体認識：インスタンスを認識する処理

＝ ≠

＝＝


でも，区別は簡単ではない一般的には，どんな変動を吸収するか？で区別特定物体認識：アフィン変換（回転・拡大縮小）・オクルージョン・照明変動（に伴う見た目の色の変化）などを吸収

一般物体認識：物体インスタンスの多様性を吸収

とすると，これらはどっち？


何の役に立つのか？特殊なマーカを使わずに実世界とwebとをつなぐ


ある程度は既にできています Google goggle http://www.google.com/mobile/goggles/

Landmark Book

Artwork Logo


DB画像 DB画像

一般的な実現方法

関西CVPRML勉強会 2012.1.14

クエリ画像

DB画像

特徴量抽出

Visual word 設計

（特徴量量子化）

Visual words （量子化テーブル）

画像DB （構造化索引集合）

索引付け

出力

特徴量表現記述

照合・検証

7

DB画像 DB画像

実現における課題

関西CVPRML勉強会 2012.1.14

クエリ画像

DB画像

特徴量抽出

Visual word 設計

（特徴量量子化）

索引付け

出力

1M～ images

～100G Bytes

特徴量表現記述

照合・検証

8

画像DB （構造化索引集合）

Visual words （量子化テーブル）

10K～ words

1. 大規模データに対する高速処理 → 索引付け・照合で工夫

2. 各種変動に対する頑健処理 → 特徴抽出・特徴量表現で工夫

～1sec 回転・拡大縮小・隠れ・色変化

特徴量抽出どんな変動が起きても値が不変な特徴量が理想

大域特徴量 or 局所特徴量大域特徴量：計算簡単，でも各種変動に弱い

局所特徴量：計算大変，でも各種変動に強い

特定物体認識における主流は，局所特徴量．


大域特徴量（ex. 紫が多い）

局所特徴量（ex. 特徴的な黄色数字）

局所特徴量

関西CVPRML勉強会 2012.1.14 10

多くは（特徴点）検出＋（特徴量）記述で構成される

局所特徴量の提案の多くは，検出と記述がセット

実際に使われる際には，別々に検討することも多い

再現性も識別性も高い方が望ましい

再現性：各種変動が加わっても同じものを同じと見なせる

識別性：異なるものを異なると見なせる

特徴点検出各種変動に対して安定した特徴量が取れそうな箇所を特定

特徴量記述抽出した特徴点で各種変動に対して安定した特徴量を算出

局所特徴量の具体例

関西CVPRML勉強会 2012.1.14 11

原点 [Schmid+ 1997], [Lowe 1999]

検出の高精度化 Harris-Laplace [Mikolajczyk+ 2001], MSER [Matas+ 2002],

Harris-Affine [Mikolajczyk+ 2004]

大ブレイク SIFT [Lowe 2004], PCA-SIFT [Ke+ 2004]

処理高速化 SURF [Bay+ 2006], CARD [Ambai+ 2011] etc.

色情報の考慮 C-SIFT [Abdel-Hakim+ 2006] etc.

参考資料黄瀬，岩村 “3日で作る特定物体認識”，情報処理学会誌，Vol.49，No.9，pp.1082-1089，2008 http://imlab.jp/IPSJ_3days/

人工知能に関する断想録 http://d.hatena.ne.jp/aidiary/20091018/1255862734

藤吉，安倍 “局所勾配特徴抽出技術”，精密工学会誌，Vol.77, No.12, pp.1109-1116, 2011


Technology

関西CVPRML勉強会（特定物体認識） 2012.1.14