第 16回画像の認識・理解シンポジウム

Cascaded FASTとCARDによる高速な2画像間の対応付け

長谷川 昂宏1,a) 安倍 満2,b) 山内 悠嗣1,c) 吉田 悠一2,d) 藤吉 弘亘1,e)

1. はじめに2画像間のキーポイントの対応付けは特定物体認識やパノラマ画像生成，画像検索などのアプリケーションに用いられる．これらのアプリケーションでは，画像の回転，スケール変化，照明変化，視点変化などに関わらず，高精度なキーポイントの対応付けが必要とされる．また，アプリケーションの性質からリアルタイムに動作することも重要である．2画像間の対応付けは，(1)画像からキーポイント検出，(2)キーポイントに対して特徴量記述，(3)キーポイント間の距離計算の 3段階の処理で実現できる．本稿ではCascaded FASTとCARDによる高速な 2画像間の対応付けを提案する．Cascaded FAST[1]は機械学習により学習した 3つの決定木を用いることで，高速にキーポイントを検出することができる．そして，Compact And Real-

time Descriptors (CARD)[2]により高速に特徴量を記述する．CARDはルックアップテーブルを用いることで高速に勾配方向ヒストグラムに基づく局所特徴量を算出することができる．さらに，Supervised Sparse Hashingにより局所特徴量をバイナリコードに変換することでハミング距離により高速にキーポイントの対応付けが可能となる．

2. 高速な 2画像間の対応付け提案手法による 2画像間の対応付けはの流れは (1)Cas-

caded FASTによるキーポイント検出，(2)CARDによる特徴量の記述，(3)ハミング距離による距離計算である．提案手法の流れを図 1に示す．以下に各処理の詳細について述べる．2.1 Cascaded FASTによる高速なキーポイント検出

Cascaded FAST は周囲 {20, 16, 12}画素を参照する 3

本の決定木を用いたキーポイント検出法である．まず，周囲 {20, 16, 12} 画素を FAST[3] と同様に

1 中部大学 〒 487-8501 愛知県春日井市松本町 1200 番地2 株式会社デンソーアイティーラボラトリ 〒 150-0002 東京都渋谷区渋谷二丁目 15 番地 1 号 渋谷クロスタワー 28 階

a) tkhr@vision.cs.chubu.ac.jpb) manbai@d-itlab.co.jpc) yuu@vision.cs.chubu.ac.jpd) yyoshida@d-itlab.co.jpe) hf@cs.chubu.ac.jp

図 1 提案手法による 2 画像間の対応付けの流れ．

Brighter，Similar，Darkerに分類し，BrighterまたはDarker

が {11, 9, 6}画素以上連続する場合に注目画素をキーポイント候補点とする．そして，キーポイント候補点に対して周囲 {20, 16, 12}画素のオリエンテーションを算出する．周囲 {20, 16, 12}画素の連続する Brighterまたは Darker

の始点から終点までの角度を求め，その角度を 2等分する方向をオリエンテーションとする．周囲 {16, 12}画素のオリエンテーション間の角度と周囲 {20, 16}画素のオリエンテーション間の角度がそれぞれ閾値以下の場合，注目画素をキーポイントとする．

Cascaded FASTでは周囲 {20, 16, 12}画素を参照するため 3本の決定木を FASTと同様に学習し，カスケード状に並べる．この決定木をトラバーサルすることにより，FASTよりも多くの画素を参照するため，図 2のように不要な点の検出を抑制することができる．また，Cascaded FASTはキーポイントの座標に加え，オリエンテーションとスケールも同時に出力することができる．オリエンテーションは周囲 {20, 16, 12}画素の 3つのオリエンテーションのうち，分解能が最も高い周囲 20画素のオリエンテーションを出力する．また，スケールは画像ピラミッドからキーポイントを検出することで獲得できる．図 3にキーポイント (座標，オリエンテーション，スケール)の検出結果を示す．

図 2 FAST と Cascaded FAST の比較．

1

第 16回画像の認識・理解シンポジウム

図 3 キーポイントの検出結果．2.2 CARDによる高速な局所特徴量の記述

CARDは，高速に計算可能であり，128ビット程度のバイナリコードで表現される局所特徴量である．CARDはルックアップテーブルを用いた高速な局所特徴量抽出とSupervised Sparse Hashingによる高速なバイナリコード変換の 2段階から成る．まず，パッチのオリエンテーションを補正後，キーポイント周辺領域をセルに分割し，各セルから勾配方向ヒストグラムを抽出する．その際，パッチの各画素がどのセルに属するかをルックアップテーブルを用いて高速に求めることができる．そして，抽出された局所特徴量 d ∈ R136 を式 (1)によりバイナリコード b ∈ {0, 1}128 に変換する．

b = (sgn(WTd) + 1)/2 (1)

ここで，W ∈ R136×128 は変換行列であ．W は変換前の局所特徴量間の距離と，変換後のバイナリコード間の距離が一致するように最適化することにより元々の特徴量の記述能力を維持することができる．また，Wの各要素が {-1,0,1}のうちいずれかの値を取るという制約を入れることで高速に変換できる．さらに，Wの要素のうち 0が90%を占めるように最適化することで局所特徴量を高速にバイナリコードへ変換する．2.3 ハミング距離による 2画像間の高速な距離計算

CARDにより記述したバイナリコードを用いてキーポイントの対応付けをする．そのため，2枚の画像から得られるキーポイント間のハミング距離を計算する．ハミング距離はビット演算を用いることで高速に計算可能である．画像間のキーポイントの対応付けをするため，ハミング距離が 1番小さいペア d1 と 2番目に小さいペア d2 を比較し，式 (2)が成り立つ場合に対応点とする．

d1 < d2 × k (k < 1.0) (2)

3. 評価実験Cascaded FASTと CARDによる 2画像間の対応付けの有効性を確認するために評価実験をする．比較手法を表1に示す．CPUは Intel(R) Xeon(R) X5470 3.33GHzを使用する．

表 1 比較手法.

キーポイント検出 オリエンテーション算出 特徴量記述FAST[3] モーメント [4] ORB[4]

Cascaded FAST[1] Cascaded FAST[1] CARD[2]

図 4に提案手法による 2画像間の対応付けの例を示す．

図 4 Cascaded FAST と CARD による 2 画像間の対応付けの例．

図 4から画像の回転，スケール変化などに関わらず高精度に 2画像間を対応付けていることが確認できる．また，図5に各手法における 2画像間の対応付けの処理時間を示す．

図 5 2 画像間の対応付けの処理時間の内訳．FASTと ORBの組み合わせでは，コーナーを高速に検出できる一方，FASTはテクスチャが複雑な領域から多くのコーナーを検出するため距離計算に多くの時間を要する．提案手法である Cascaded FASTと CARDの組み合わせでは，2画像間の対応付けの計算コストを大幅に削減することができ，約 33[fps]でリアルタイム処理が可能である．以下にその理由を述べる．・Cascaded FASTによる不要なキーポイントの削減

2画像間のキーポイントの全ての組み合わせに対してハミング距離を計算する必要があるため，不要なキーポイントの検出を抑制することで計算コストを大幅に削減できる．・CARDにより生成されるバイナリコードのビット長

ORBでは 256ビットのバイナリコードで特徴量を表現するのに対し，CARDでは 128ビットのバイナリコードで特徴量が表現される．そのため，ORBに対して半分の処理時間で距離計算ができる．さらに，短いバイナリコードによる表現はメモリ消費量の削減に対しても寄与する．

4. おわりに本稿では不要なキーポイントの検出を抑制する Cas-

caded FSATと高速に特徴量を記述する CARDを組み合わせることで，高速な 2画像間の対応付けが可能となった．今後の課題として，提案手法の更なる効率化や性能の向上などが挙げられる．参考文献[1] 長谷川昂宏，山内悠嗣，藤吉弘亘，安倍満，吉田悠一，“Cascaded

FAST によるキーポイント検出”，SSII，2013.

[2] M. Ambai and Y. Yoshida,“CARD: Compact And Real-time

Descriptors”, ICCV, 2011.

[3] E. Rosten and R. Porter, T. Drummond,“Faster and Better:

A Machine Learning Approach To Corner Detection”, PAMI,

Vol. 32, No. 1, pp. 105 - 119, 2010.

[4] E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, “ORB

: An Efficient Alternative to SIFT or SURF”, ICCV, 2011.

2