陰関数近似を用いた単眼カメラによる密な3次元復元

産業技術総合研究所 情報・人間工学領域ロボットイノベーション研究センター

大石 修士

3次元形状計測

物体のモデリングやロボットの視覚

高精度で密な計測

高コスト，低実時間性

比較的密でリアルタイム低価格で利用可

動作可能環境が限定的

リアルタイム屋内外・遠近問わず計測可能

画像間対応付けが必要

Purpose

単眼カメラによる低計算量での高密度な3次元復元手法の開発

GPU等の演算装置を

用いない

ピクセル毎の深度推定

Strategy確度の高い計測点とそれを基にした近似による3次元復元の高速化

顕著点の3次元復元

計測対象

追加計測点

i 高精度(で疎)な点群計測

ii 計測対象の概形推定

iii 追加計測点の復元

Strategy確度の高い計測点とそれを基にした近似による3次元復元の高速化

顕著点の3次元復元

計測対象

i 高精度(で疎)な点群計測

iii 追加計測点の復元

ii 計測対象の概形推定

i. 高精度(で疎)な3次元復元リファレンスフレームとその近傍フレームとのステレオ

Target object

Epipolar line

Reference frame Adjacent frames

eLeR

PL PR

P 各画素に対する深度推定

8x8パッチのNCCによる探索

対応付けの曖昧さ

推定結果の統合方法

近傍フレーム毎のステレオ

PTAM*による位置姿勢の取得

* Parallel Tracking and Mapping for Small AR Workspaces [Klein et al., 2007]

i. 高精度(で疎)な3次元復元対応付けの容易な点(コーナー，エッジ)に限定高精度な復元

Reference frame Sobel filter + Thresholding

対応付けの曖昧さ

i. 高精度(で疎)な3次元復元 Bayesian filter*を用いた推定深度の統合

Normal distribution

Uniform distribution

Reference frame refI Adjacent frame adjI

maxd

mind

d̂

Epipolar line8 x 8 patch

p q

* George Vogiatzis and Carlos Hernandez, “Videobased, real-time multi-view stereo”, Image and Vision Computing, Vol. 29, No. 7, pp. 434–441, 2011

Inlier は真値を中心としたGauss分布に,Outlier は一様分布に従う*

n回のステレオ計測結果を統合

推定結果の統合方法

i. 高精度(で疎)な3次元復元 Bayesian filter*を用いた推定深度の統合

Normal distribution

Uniform distribution

Reference frame refI Adjacent frame adjI

maxd

mind

d̂

Epipolar line8 x 8 patch

p q

* George Vogiatzis and Carlos Hernandez, “Videobased, real-time multi-view stereo”, Image and Vision Computing, Vol. 29, No. 7, pp. 434–441, 2011

n回のステレオ計測結果を統合

推定結果の統合方法

についてのGauss分布とについてのBeta分布の積で近似

i. 高精度(で疎)な3次元復元 Bayesian filter*を用いた推定深度の統合

* George Vogiatzis and Carlos Hernandez, “Videobased, real-time multi-view stereo”, Image and Vision Computing, Vol. 29, No. 7, pp. 434–441, 2011

推定結果の統合方法

正規分布の分散が十分小さいか

収束

分布が十分正規分布に従っているか

Strategy確度の高い計測点とそれを基にした近似による3次元復元の高速化

顕著点の3次元復元

計測対象

i 高精度(で疎)な点群計測

iii 追加計測点の復元

ii 計測対象の概形推定

ii. 計測対象の概形推定点群の関数近似

計測対象全体の概形推定

多様な形状の表現

Converged points

小さなノイズの平滑化

ii. 計測対象の概形推定Multi-Scale Compactly Supported RBF (MSCSRBF)* による形状近似

( )∑∈

−+=Pp

iiii

pgf ||)(||)()( xxx σφλ

Local shape function and shift amount(Quadric function)

Compactly supported radial basis (blending) function **

<+−

=(else 0

1 if 1)(4r)1()

4 rrrφ

* A Multi-scale Approach to 3D Scattered Data Interpolation with Compactly Supported Basis Functions [Ohtake et al., 2003]

** Piecewise polynomial, positive definite and compactly supported radial basis functions of minimal degree. [H.Wendland., 1995]

22),( vcuvbuavuh ++=0),()( =−= vuhwg x

ii. 計測対象の概形推定Multi-Scale Compactly Supported RBF (MSCSRBF)* による形状近似*

( )∑∈

−+=Pp

iiii

pgf ||)(||)()( xxx σφλ

* A Multi-scale Approach to 3D Scattered Data Interpolation with Compactly Supported Basis Functions [Ohtake et al., 2003]

ii. 計測対象の概形推定Multi-Scale Compactly Supported RBF (MSCSRBF)* Octreeを用いた階層的な近似による点群の疎密差への対処

* A Multi-scale Approach to 3D Scattered Data Interpolation with Compactly Supported Basis Functions [Ohtake et al., 2003]

Strategy確度の高い計測点とそれを基にした近似による3次元復元の高速化

追加計測点

i 高精度(で疎)な点群計測

iii 追加計測点の復元

ii 計測対象の概形推定

iii. 追加計測点の復元計測点の追加

収束した (近似に用いた) 画素周辺の未計測領域から選定

tConverged pixelsHigh-priority pixels

iii. 追加計測点の復元計測点の追加

収束した (近似に用いた) 画素周辺の未計測領域から選定 色の似た近傍画素は同様の深度を持つと仮定

Converged points

Reference frame

Reference frame

Spatial Color (Intensity)

Certainty map

iii. 追加計測点の復元計測点の追加

収束した (近似に用いた) 画素周辺の未計測領域から選定色の似た近傍画素は同様の深度を持つと仮定

Certainty map

未計測画素

収束画素

iii. 追加計測点の復元近似結果を用いた未計測画素の初期深度推定

Approximated model

Reference image

推定値周りを仮定

エッジの強度に応じてNCCを加味

Overview

顕著点 (エッジやコーナー) の復元

近似モデルの生成/更新

対象画素の初期深度推定

Short-range ステレオマッチング

Certainty mapの更新

となった画素の復元開始

収束

>

実験環境とカメラシステム

Experiment Scene 1単純な環境下での復元

120

33

75

Reference frame

Camera : FL3-U3-20E4C/M-C(Point Grey Research)

Lens : LM4NC1M(Kowa Optical Products)

CPU : i7-4790K(Intel)

提案手法による3次元復元結果

Experiment Scene 1単純な環境下での復元

Reference frame Proposed method

提案手法による3次元復元結果

Experiment Scene 1単純な環境下での復元

LSD-SLAM* Proposed method* LSD-SLAM: Large-Scale Direct Monocular SLAM [Engel et al., 2014]

実験環境と復元結果

Experiment Scene 2複雑な環境下での復元

Reference frame Proposed method

実験環境と復元結果

Experiment Scene 2複雑な環境下での復元

LSD-SLAM* Proposed method* LSD-SLAM: Large-Scale Direct Monocular SLAM [Engel et al., 2014]

実験環境と復元結果

Experiment Scene 2複雑な環境下での復元

LSD-SLAM* Proposed method* LSD-SLAM: Large-Scale Direct Monocular SLAM [Engel et al., 2014]

Conclusion GPU等の追加の演算装置を必要としない単眼カメラによる

高密度な3次元復元手法を提案した

エッジやコーナー等の復元の容易な画素を優先して計測することで，対象物体全体の深度計測の高速化を図った

近似手法の高速化やSupport pointsの選定については要検討

パラメータ数の削減および計測精度の定量評価に取り組む