エッジ輪郭マッチングによる 高精度テクスチャマーカーの認識と

その性能検証

○上瀧剛，福山翔平，内村圭一 （熊本大学）

白川 透 （JEYES）

DIA2014 [OS1-4] 3/6:10:40～

背景

AR（拡張現実）とは

現実世界にCGなどの情報を付加することで、

補足的な視覚情報を提示する技術

1

http://www.hitl.washington.edu/artoolkit/ http://www.sony.co.jp/SonyInfo/News/Press/201105/11-058/

背景

ARカタログ

• 実寸サイズではない（ユーザーが調整）

• CGが震える

本研究の目的

• 高精度かつ安定的なカメラ位置・姿勢推定法

• 姿勢推定精度の定量評価

2

カメラ位置・姿勢推定が不安定

従来手法

特徴点ベースのマッチング

3

テンプレート画像 照合

カメラ撮影画像

特徴点検出器

姿勢推定

従来手法 4

実際の例

・特徴点が出やすい顔の部分は、 精度よくマッチングできている

・背景の部分でズレが生じている

カメラ位置姿勢推定に 大きな影響を与える

提案手法：輪郭マッチングによる姿勢推定 5

Cannyエッジフィルタ

モデル登録

エッジマッチング 特徴点マッチングによる姿勢推定結果を 初期値として与える

撮影画像のエッジが 輪郭モデルと一致 するように微調整

輪郭モデル

提案手法：輪郭マッチングによる姿勢推定 6

Cannyエッジフィルタ

テンプレートエッジ

エッジの検出

テンプレート画像

入力画像

エッジの検出

特徴点マッチングによる初期推定H

入力画像エッジ

射影変換

テンプレート画像のエッジの近傍を探索し

入力画像の対応するエッジ点を求める

7

探索窓 STEP1 局所サーチ

<入力画像のエッジ> 対応エッジ画素p’i エッジ方向(Ix , Iy)

iyiyixixi dIdIDi

,,'

)'()'(max ppp

STEP0 初期化

<テンプレート画像のエッジ> 参照エッジ画素pi

エッジ方向di

p01 ⇔ p’1

p02 ⇔ p’2

p0N ⇔ p’N

…

対応関係

提案手法：輪郭マッチングによる姿勢推定

8

p01 ⇔ p’1

p02 ⇔ p’2

p0N ⇔ p’N

…

i

iiH2

0 ')(min pp

対応関係

STEP2

STEP3 反復試行

提案手法：輪郭マッチングによる姿勢推定

9 提案手法：輪郭マッチングによる姿勢推定

従来手法（補正なし） 提案手法（補正あり）

評価実験

3Dデジタイザによるカメラ位置・姿勢推定精度評価

• カメラを動かしながらマーカーを撮影

• 撮影画像100フレーム

• 真値（MicroScribe）と従来手法、提案手法の結果を比較

10

モデル MicroScribe-G2X5

測定範囲 1270mm

精度 0.23mm

インターフェイス RS-232/USB

接地面積 152mm×152mm

評価実験

3Dデジタイザによるカメラ位置・姿勢推定精度評価

• カメラを動かしながらマーカーを撮影

• 撮影画像100フレーム

• 真値（MicroScribe）と従来手法、提案手法の結果を比較

11

MicroScribe Webカメラ

３次元位置情報の取得

評価実験 12

キャリブレーション により求める

評価実験

実験環境

テンプレート:256x256のLennaの画像

マーカー:Lennaの画像を10cm角に印刷

13

項目 実験環境

CPU Intel Core i7 3.40GHz

メモリ 8.00GB

OS Windows 7 64bit

評価実験 14

評価実験 15

170

190

210

230

250

270

1 11 21 31 41 51 61 71 81 91 101

X座標値

[mm

]

フレーム数

リファレンス

提案手法

従来手法

-50

-40

-30

-20

-10

0

10

20

1 11 21 31 41 51 61 71 81 91 101

Ｙ座標値

[mm

]

フレーム数

リファレンス

提案手法

従来手法

180

190

200

210

220

230

240

250

1 11 21 31 41 51 61 71 81 91 101

Ｚ座標値

[mm

]

フレーム数

リファレンス

提案手法

従来手法

提案手法は従来手法に比べ 安定して高精度にカメラ位置・姿勢を 推定できている 真値との誤差は3mm程度

応用例

応用例 17

Oculus Rift

対角110度/水平90度の高視野角の

非透過型ヘッドマウントディスプレイ

ARに使用されるデバイス

ヘッドマウントディスプレイ

Google Glass Canon MREAL

スマートフォン・タブレット

iPhone Xperia Tablet S

応用例：iPadへの実装 18

応用例：ＨＭＤ 19

カメラの取付

応用例 20

動作確認

応用例 21

マーカーが小さすぎた場合（左上） や傾きすぎた場合（左下）認識されない

片カメラのみにマーカーが写った場合（右上） 片方のみにCGが描画される

縮小、傾きを行ったテンプレートを用意

認識に成功したカメラからもう片方の カメラ位置姿勢を推定

問題点

7. まとめ

• 輪郭マッチングによる高精度なカメラ位置姿勢推定

• ３Ｄデジタイザを用いた定量評価

• いくつかの応用例

今後の課題

• ハンドアイキャリブレーション

• 小さく映ったマーカーの認識

22