Camouflaging an object from many viewpoints

Camouflaging an Object from Many Viewpoints

Andrew Owens1, Connelly Barnes2, Alex Flint3, Hanumant Singh4, and William Freeman1

1MIT CSAIL, 2University of Virginia / Adobe, 3Flyby Media, 4Woods Hole Oceanographic Inst

Presenter: @miyabiarts

関東 CV 勉強会 CVPR 論文紹介 （ 26, July 2014 ）

Camouflage

Disruptive ColorationMasquerade

Optical CamouflageBackground matching

Motivation• 単一の視点に対して隠れることは比較的容易• 複数の視点は困難

Goal• 複数視点から 3D オブジェクトをカモフラージュ

Application: Public Art

http://joshuacallaghan.com/Tianmu.htm

Significance of camouflage research• カモフラージュとは物体検出の逆問題

• 物体検出：境界や注目領域に基づき検出• カモフラージュ：境界や注目領域を隠す

• 検出困難な物体とは何か？• より高精度な物体検出への知見を得る

CV Dazzle

http://cvdazzle.com/

Goal• 複数視点から 3D オブジェクトをカモフラージュ

Contribution• 3D オブジェクトのためのカモフラージュアルゴリズムの提案• 37 シーンへの適用と比較実験• 知覚実験によるカモフラージュ手法の比較

Algorithm• Background matching

• Two Stage Algorithm• Stage1: Capture images of object• Stage2: Camouflage object

Stage 1: Capture Images of Object• 複数視点（ 10-25 ）から撮影

• カモフラージュ対象の物体（背景・遮蔽なし）• 背景

Stage 1: Capture Images of Object• 撮影した物体を SfM で 3D モデル化

• テクスチャは除去• 背景に対するカメラ位置・姿勢を推定• Target: シンプルなものに限定

• 直方体• 影やライティングの影響を受けない

Stage2: Camouflage Object• 複数視点の画像からテクスチャを生成

Methods• Naïve model

• mean color• Projection from viewpoint

• Random/Greedy• MRF (Proposed)

• Interior/Boundary MRF

Naïve model: mean color• 視点ごとに背景をテクスチャ上に射影• テクセルの値を平均化

Viewpoint 1 Viewpoint 2

Naïve model: mean color• 全体的にぼける• 目立った領域となりやすい

Viewpoint 1 Viewpoint 2

Projection from viewpoint• 視点ごとに見えている面に射影• 全ての面が埋まるまで繰り返す

Viewpoint 1 Viewpoint 2

Random/Greedy• Random

• ランダムに視点の順番を選択• Greedy

Random• ある視点からはうまく隠される• 別の視点からはおかしなものとなる

Viewpoint 1 Viewpoint 2

Random• テクスチャの伸縮・歪みが大きい• 不連続な境界が発生

Viewpoint 1 Viewpoint 2

Random/Greedy• Random

• ランダムに視点の順番を選択• Greedy

• 面に対して正対する角度以下の視点を採用• 本論文では 70° 以下

Greedy• テクスチャの歪みが比較的小さい

Viewpoint 1 Viewpoint 2

Greedy• 不連続な境界が発生

Viewpoint 1 Viewpoint 2

MRF (Proposed)• エネルギー最小化によりテクスチャを生成

• 遮蔽・視点の安定性・内部の連続性をエネルギー化• テクスチャ座標上にグリッドを定義

MRF Formulation

Data Smoothing

MRF (Proposed)• Interior MRF

• 内部の連続性を重視• Boundary MRF

• 面ごとの連続性を重視• データコストは共通

Data cost term

Data

Occlusion Viewpoint Stability

Data cost term

Occlusion Viewpoint Stability

Interior MRF• Smoothing cost term

Interior MRF• 内部のテクスチャが連続• 全ての視点から平均的によく隠れる

Viewpoint 1 Viewpoint 2

Boundary MRF• 面ごとに同じラベルを割り当て

• ある視点から見たときの完成度を重視• Projection に近い結果となる

Boundary MRF• 面内部のテクスチャの伸縮・歪みが少ない• 面の境界で不連続なテクスチャが発生

Viewpoint 1 Viewpoint 2

Psychophysical study design• Amazon Mechanical Turk

• ディスプレイにカモフラージュされた物体を表示• 物体が存在するかどうか？• 画像内のどこにいるか？

• Work• http://camo-exp.appspot.com/game

Evaluation metrics• Confusion rate

• 存在するかどうかの判断時間 [s]

• Time to find• 画像内の場所を見つけ出すまでの時間 [s]

Experiment• 37 シーン（多視点撮影）を対象• カモフラージュする物体は直方体

Results

Results• MRF が優位に性能が高い

Greedy vs Boundary MRF

Interior MRF vs Boundary MRF

Results from multi viewpoints• Boundary MRF

https://www.youtube.com/watch?v=NNlE_hzqdss

Conclusion• 複数視点から 3D オブジェクトをカモフラージュする手法を提案• MRF の結果は良好• 色々なカモフラージュ方法を試してみたい