Upload
tomoaki0705
View
821
Download
2
Embed Size (px)
Citation preview
HyperDepth: Learning Depth from Structured Light Without Matching
Sean Ryan Fanello, Christoph Rhemann, Vladimir Tankovich, Adarsh Kowdle, Sergio Orts Escolano, David Kim, Shahram Izadi
@tomoaki_teshima2016.Jul.17
I AM NOT THE AUTHER OF THIS PAPER
発表の概要• Kinectみたいな 3次元計測システム• 3次元計測のおさらいをします
•マッチングしないので高速• 提案手法を説明します
•精度も良いよ!• 実験結果を紹介します
ステレオカメラの原則•単純化するために、 Rectifyを考える• 3次元形状復元に必要なのは、視差 dを求めること
カメラ カメラ[1] http://perso.lcpc.fr/tarel.jean-philippe/syntim/paires.html
アクティブ計測•カメラ 2台の代わりにプロジェクタ+カメラでも OK•原理は同じだが、パターンによって特性が変わる
カメラ プロジェクタ
コード化パターン光投影の pro/con•位置特定がピクセルごとに独立で行える• マッチングが不要で、形状の精度が高い
•複数枚撮影が必要なので、動体には向かない
アクティブ計測(赤外パターン光投影)•いわゆる Kinect• Kinectのマッチングはパッチ同士のマッチング
カメラ 赤外線プロジェクタ
アクティブ計測(赤外パターン光投影)の pro/con
•マッチングのために画素へのランダムアクセスが頻発• Kinectはそこら辺頑張ったけれども、最高で 20パッチ /pixelの比較が必要• つまり計算が重い
• Depthが動画のように撮影できる
古典的なステレオ計測の計算量
•パッチによるマッチングが大変•通常、 depthを復元した後に、後段の整形パスがある(=完全な並列化は無理)
マッチングを使わない 3次元計測
•対応点は同じライン上に乗っている•基準となる赤外パターンの中から対応点を見つけ出す•座標をクラスとみなした、 classification問題
アプローチまとめ精度 動物体 計算量
コード化パターン投影
A NG A
Kinect(点群投影) B OK C
HyperDepth A+ OK A+
視差 dを求める•視差 dが求まれば Depthがわかる• Rectifyされていて、対応点同士は同じライン上にある状況を考える(同じ y座標上に対応点がある)•ある点 pの対応座標が欲しい•入力画像 1280x1024の場合、点 pを 1280個のグループに classificationする問題だと考えられる
Random Forest (Random Tree)
𝑓 (p ;𝜃 )={L if 𝐼 (p+u )− 𝐼 (p+v )<𝜃R otherwise
:
Random Forestを使うメリット
•投影パターン画像との比較が一切発生しない•撮影された画像と Random Forest だけで良い•各点独立に視差を求められる=並列性が高い!
サブピクセル精度
•視差を求めた後に、 0.05ピクセル単位まで同じアプローチを繰り返す• Classificationとは別に、 6段の Random Forestを使う
複数の tree(=forest)を使う
•複数の Treeの結果が近い視差 (<0.2)に収束した場合、重み付きで平均し、確率を統合する•一番確率の高い結果を採用する
Invalidなマッチング• Signal check: τ<500 以下• 意訳:あまりにも暗かった嘘くさい
• Probability check: クラスの信頼度 pが 0.6以下• 意訳:正しく収束しなかったら嘘くさい
• Winners check: 複数のクラスの結果• 意訳: Treeごとに結果がバラバラだったら嘘くさい
• Disparity check: disparityが負の場合などを棄却• 意訳:嘘くさかったら嘘くさい
学習フェーズ• Kinectを使って赤外光の画像を撮影• Patch Matchを元に、 Depthを作成•得られた Depth画像をもとに Random Forestを生成• Patch Matchによる計測結果を学習データにしているのに、最終的な計測結果が Patch Matchを凌駕しているのは興味深い
Random Forestの深さと数と誤差
レンジによる誤差特性
Random Forestの深さと数と所要時間
他の手法との比較 (レンジと誤差 )
他の手法との比較 (距離とばらつき )
他の手法との比較 (量子化誤差 )
オンラインでのデモが可能( 375Hzで稼働
まとめ• Kinectライクな 3次元計測アプローチだが、パターンマッチングに Random Forestを利用•計算量も減って、精度も上がった