高速な三次元再構成のための最適化アプローチ

高速な三次元再構成のための最適化アプローチ

CS 専攻博士前期 2 年システム数理研究室

正木俊行

指導教官 : 久野誉人

2012/06/14 CS セミナー 1

はじめに

(1) 3 次元再構成とは(2) 本研究であつかう問題(3) 研究の目的(4) 俯瞰

2012/06/14 CS セミナー 2

(1) 3 次元再構成とは

2012/06/14 CS セミナー

3 次元再構成 2 次元の画像情報から 3 次元構造を復元

応用モーションキャプチャー ( 光学式・画像式 ) 3D カメラ

映画の撮影モバイル機器

AR ( 拡張現実感 ) ロボット工学

など多数の応用が考えられる

3

3D カメラ

http://www.smartkeitai.com/sprint-htc-evo-3d-review/htc-evo-3d-dual-3d-camera/

http://japan.internet.com/webtech/20100107/3.html

http://www.smartkeitai.com/sprint-htc-evo-3d-review/htc-evo-3d-dual-3d-camera/

http://japan.internet.com/webtech/20100107/3.html

(2) 本研究で扱う問題

2012/06/14 CS セミナー

Structure and Motion Problems シーンの 3 次元構造 (and/or)

カメラの方向位置･ ( 軌道 ) を求める問題の総称

何を求めるかによって

のように呼び分けられる4

Triangulation Camera Resectioning Homography Estimation Known Rotation (Orientation)

2012/06/14 CS セミナー

目的 : 大規模な Structure and Motion 問題を高速に解きたい

手法 : 定式化の工夫により

扱いやすいクラスの最適化問題に帰着させる

⇒ 既存の高速なソルバーや専用のハードウェアを利用できる

5

(3) 研究の目的

2012/06/14 CS セミナー 6

(4) 俯瞰

実世界

三次元再構成

カメラモデル

最適化問題

ピンホールカメラモデル

① モデル化

アルゴリズムソルバー

③ 解決

目的関数制約

② 定式化

2012/06/14 CS セミナー 7

(4) 俯瞰

実世界

三次元再構成

カメラモデル

最適化問題

ピンホールカメラモデル

① モデル化

アルゴリズムソルバー

③ 解決

目的関数制約

② 定式化

ここがポイント！

問題の複雑さを

抑える工夫

これがうれしい！

大幅な高速化

モデル化

(1) ピンホールカメラモデルとは(2) ピンホールカメラによる射影

2012/06/14 CS セミナー 8

2012/06/14 CS セミナー

ピンホールカメラモデル :

カメラの機能を表現するための数理モデル

画像面と光学中心とで構成される

9

(1) ピンホールカメラモデルとは

光学中心

画像面

被写体 ( オブジェクト )

画像面

像 ( イメージ )カメラ

2012/06/14 CS セミナー 10

(2) ピンホールカメラによる射影

3x 1x

2x

O

グローバルな座標系

2012/06/14 CS セミナー 11


3x 1x

2x

O


・・・・・・・・・・・・

2012/06/14 CS セミナー 12


・・・・・・・・・・・・


3x 1x

2x

O

O

13


原点 : 光学中心画像面–原点間の距離 : 1

となる座標系

2012/06/14 CS セミナー

O

14



となる座標系

2012/06/14 CS セミナー

15

O 1


2012/06/14 CS セミナー


となる座標系

16

O 1


2012/06/14 CS セミナー


となる座標系

17

O 1


2012/06/14 CS セミナー


となる座標系

18


2012/06/14 CS セミナー

まとめ

被写体：

カメラ行列：

像：

定式化

(1) Structure and Motion Problems(2) 従来の定式化と解法

2012/06/14 CS セミナー 19

Triangulation ー被写体の 3 次元座標の推定

既知： ,

未知：

20

(1) Structure and Motion Problems

2012/06/14 CS セミナー

？？？

三次元空間


既知： ,

未知：

21


2012/06/14 CS セミナー

三次元空間

？

？

？？？？

Camera Resectioning ーカメラの姿勢を推定

既知： ,

未知：

22


2012/06/14 CS セミナー

三次元空間

？？？


既知： ,

未知：

23


2012/06/14 CS セミナー

？

三次元空間

？？？


既知： ,

未知：

24


2012/06/14 CS セミナー

？？

？

三次元空間

？？？


既知： ,

未知：

25


2012/06/14 CS セミナー

？？

？

三次元空間

？？？

Known Rotation (Orientation) ー被写体カメラの･ 3 次元座標を推定

既知： ,

未知： ,

26


2012/06/14 CS セミナー

三次元空間

？？？

カメラの“ 方向”のみ既知


既知： ,

未知： ,

27


2012/06/14 CS セミナー

三次元空間

？？？


？


既知： ,

未知： ,

28


2012/06/14 CS セミナー

三次元空間

？？？


？


既知： ,

未知： ,

29


2012/06/14 CS セミナー

三次元空間

？？？


？

？


既知： ,

未知：


既知： ,

未知：


既知： ,

未知： ,

※

30


2012/06/14 CS セミナー

・・・・・・・・・・・・

：回転行列 ( カメラの向

き )

：並進ベクトル ( カメラ

の位置 )


既知： ,

未知：


既知： ,

未知：


既知： ,

未知： ,

※

31


2012/06/14 CS セミナー

・・・・・・・・・・・・

：回転行列 ( カメラの向

き )

：並進ベクトル ( カメラ

の位置 )

センサー類による取得が容易

Triangulation

既知： ,

未知：

Camera Resectioning

既知： ,

未知：

Known Rotation (Orientation)

既知： ,

未知： ,

32


2012/06/14 CS セミナー

共通：が未知数について線形

[F.Kahl, R.Hartley 2008]

33

(2) 従来の定式化と解法

2012/06/14 CS セミナー



34


2012/06/14 CS セミナー


残差：


35


2012/06/14 CS セミナー


残差：


36


2012/06/14 CS セミナー


残差：


37


2012/06/14 CS セミナー


残差：


38


2012/06/14 CS セミナー


残差：

総残差


39


2012/06/14 CS セミナー


残差：

総残差

非線形


40


2012/06/14 CS セミナー


残差：

総残差

∞

2


41


2012/06/14 CS セミナー


∞

2


2- ノルムの内側が非線形なので，解きにくい．

が定数であれば二次錐計画問題 (SOCP) になるので，

二分法探索を行い，実行可能な最小のを見つける．

42


2012/06/14 CS セミナー


∞

2

提案モデル

(1) 線形な残差(2) 最適化問題への帰着(3) 無制約 QP と最小二乗法 ← New!!

(4) 従来モデルとの比較(5) ふたつのモデルの関係

2012/06/14 CS セミナー 43

442012/06/14 CS セミナー

残差：

(1) 線形な残差

452012/06/14 CS セミナー

残差：

(1) 線形な残差

46

(1) 線形な残差

2012/06/14 CS セミナー

残差：

残差：

47

(1) 線形な残差

2012/06/14 CS セミナー

残差：

残差：

48

(1) 線形な残差

2012/06/14 CS セミナー

残差：

線形

残差：

49

(1) 線形な残差

2012/06/14 CS セミナー

残差：

残差：

O 1 線形

50

(2) 最適化問題への帰着

2012/06/14 CS セミナー

51


2012/06/14 CS セミナー

p=2, q=∞

二次錐計画問題 (SOCP)

52


2012/06/14 CS セミナー

p=2, q=2

二次計画問題 (QP)

53


2012/06/14 CS セミナー

表 . p,q の組み合わせ

LP:QP:

SOCP:

線形計画問題二次計画問題二次錐計画問題

p, q

54

(3) 無制約 QP と最小二乗法

2012/06/14 CS セミナー

二次計画問題 (p =q=2)

55


2012/06/14 CS セミナー


線形

56


2012/06/14 CS セミナー


最小二乗法 Least Square Method

線形

57


2012/06/14 CS セミナー


最小二乗法 Least Square Method

線形

MATLAB の場合

58

最適化問題のクラスとその解法

2012/06/14 CS セミナー

MATLABMATLAB

Optimization Toolbox

外部ソルバ

SOCP × ×(?) ◯

QP × ◯ ◯

LP × ◯ ◯

LSM ◯ ◯ ◯

MATLAB の場合

59

最適化問題のクラスとその解法

2012/06/14 CS セミナー

MATLABMATLAB

Optimization Toolbox

外部ソルバ

SOCP × ×(?) ◯

QP × ◯ ◯

LP × ◯ ◯

LSM ◯ ◯ ◯

>> A b

60

(4) 従来手法との比較

2012/06/14 CS セミナー

従来モデル：

ノルムの内側が非線形

二分探索による反復解法

q=∞ の場合しか解けない(※ 手頃な最適化問題としては )

提案モデル：

ノルムの内側が線形

ソルバーで直接解ける

q=1,2,∞ の全てで解ける

2012/06/14 CS セミナー 61

(5) ふたつのモデルの関係

2012/06/14 CS セミナー 62

最適解 :

目的関数 :

最適解 :

目的関数 :


2012/06/14 CS セミナー 63

最適解 :

目的関数 :

最適解 :

目的関数 :


2012/06/14 CS セミナー 64

最適解 :

目的関数 :

最適解 :

目的関数 :


2012/06/14 CS セミナー 65

最適解 :

目的関数 :

最適解 :

目的関数 :


2012/06/14 CS セミナー 66

最適解 :

目的関数 :

最適解 :

目的関数 :


2012/06/14 CS セミナー 67

最適解 :

目的関数 :

最適解 :

目的関数 :


1.

2. のいずれかが成り立つ

3.

2012/06/14 CS セミナー 68


O

数値実験

(1) ベンチマーク(2) 実験結果(3) まとめと課題

2012/06/14 CS セミナー 69

Known Rotation Problem

被写体 n=60カメラ m=30

CPU: Intel Core2 Duo 2.66GHzメモリ : 2GB

MATLAB(R2009b) で実装 LP ソルバ : GLPK QP ソルバ : quadprog(Optimization Toolbox)

SOCP ソルバ : SeDuMi LSM ソルバ (?): >> A b

，を生成

2012/06/14 CS セミナー 70

(1) ベンチマーク

誤差を評価

Known Rotation Problem

被写体 n=60カメラ m=30

CPU: Intel Core2 Duo 2.66GHzメモリ : 2GB

MATLAB(R2009b) で実装 LP ソルバ : GLPK QP ソルバ : quadprog(Optimization Toolbox)

SOCP ソルバ : SeDuMi LSM ソルバ (?): >> A b

2012/06/14 CS セミナー 71

(1) ベンチマーク

配置イメージ

10

100

200

2012/06/14 CS セミナー 72

(2) 実験結果

精度と計算時間 :n=60, m=30 (3 回の平均値 )

残差モデル p q 解法誤差 CPU (s)時間

γ 2 ∞ SOCP+反復 0.000528 81.10

2 ∞ SOCP 0.000564 2.62

1 ∞ LP 0.001429 1.62

1 1 LP 0.000747 8.82

2 2 LSM 0.000519 0.29

δ

2012/06/14 CS セミナー 73

(2) 実験結果

精度と計算時間 :n=60, m=30 (3 回の平均値 )

LSM で解いた p=2, q=2 の δ モデルが優秀速度は従来手法の 280倍，精度は同等

残差モデル p q 解法誤差 CPU (s)時間

γ 2 ∞ SOCP+反復 0.000528 81.10

2 ∞ SOCP 0.000564 2.62

1 ∞ LP 0.001429 1.62

1 1 LP 0.000747 8.82

2 2 LSM 0.000519 0.29

δ

誤差比速度比

1.00 1

1.07 31

2.71 50

1.41 9

0.98 280

2012/06/14 CS セミナー 74

(2) 実験結果

上界値 L の検証 :p=2q=∞ ⇒

0 1 2 3 4 5 6 7 8 9 100

1

2

3

4

5

6

7

8

9

10

実測値

理論上の上界

2012/06/14 CS セミナー 75

(3) まとめと方針

まとめ線形な残差式を用いた新たなモデルを提案従来のモデルとの関係式が得られた精度を保ったまま大幅な高速化を実現

方針提案手法が応用できる問題が他にないか

コンピュータビジョンや射影幾何では分数式がよく出てくる線形に置き換えてみる

実際のカメラを用いた実験レンズの歪みやブレなどがどう影響するか

おわりご清聴ありがとうございました

2012/06/14 CS セミナー 76

Documents

高速な三次元再構成のための 最適化アプローチ

高速な三次元再構成のための最適化アプローチ