6
画像の平行移動・回転・拡大縮小変位を特徴量に用いるビジュアルサーボと その検出手法に関する基礎検討 李 尭希 * ,藤本 博志(東京大学) Proposal for Detecting Methods of Image TranslationRotation and Scaling Parameters and Its Application to Visual Servo Yoshi Ri * , Hiroshi Fujimoto (The University of Tokyo) Abstract In visual servo, the determination of the control parameters and its detection method is very important. Since it is difficult to get and match feature points from sets of natural image. This paper proposes to use image displacement parameters from template as control parameters, and construct a new control theory based on the conventional image based visual servo theory. We also suggest to use POC(Phase-Only-Correlation) which is mainly used in the field of computer vision, SIFT and ORB feature to extract the control parameters, and then experimentally evaluate these methods. キーワード:ビジュアルサーボ,画像処理,位相限定相関,SIFTORB (Visual ServoImageProcessingPhaseOnlyCorrelationSIFTORB ) 1. 研究背景 画像処理を始めとするコンピュータビジョン技術や CPU の性能の向上,イメージセンサの普及等に伴って画像情報 を元にロボットを制御するビジュアルサーボの技術は重要 性を増している。ビジュアルサーボを分類すると,画像か 3 次元再構成を行って指令値をつくる位置ベースの手法, 画像から検出した 2 次元のパラメータをそのまま制御に用 いるイメージベースの手法,両者の手法を合わせた 2-1/2D ビジュアルサーボの手法の 3 つに大別される。 (1) (2) (3) (4) (5) 単眼のカメラを用いてロボットに高精度な位置制御を行 う場合,キャリブレーション誤差等の影響で,一般に精度 の良い 3 次元再構成は困難なため,3 次元再構成を伴わな いイメージベースの手法が適切である。 従来,特徴点の座標をフィードバックするイメージベー スの手法は安定性をはじめとして,様々な議論がなされて きたが, (1) (12) これらは全て特徴点が安定に抽出されてきち んと対応づけられていることを前提としている。 実際問題として複雑なテクスチャを持つような画像に対し て特徴点をきちんと抽出して対応付ける事は困難で,比較的 ロバストに特徴点を抽出・対応づけることができる SIFT (6) などの手法も存在するが,常に安定して特徴点を抽出・対 応させるには至らない。 そこで,過去の研究ではこの問題を解決するために特徴 点ではなく相互情報量といった画像全体の情報を用いるよ うなアプローチや (7) ,個々の特徴点ではなく特徴点群から 画像の変位に関するパラメータを抽出して制御に用いるア プローチ (8) などが提案されてきた。 本稿もより現実環境に近い複雑な画像でのビジュアルサー ボを目指し,画像から比較的ロバストに抽出できる回転・ 1 ビジュアルサーボ系のブロック線図 拡大縮小・並進の変位を特徴量にとったイメージベースの ビジュアルサーボの制御則を提案し,シミュレーションと 実験において高精度位置決めの実現を検証した。 提案する制御則においては,イメージベースの手法にお ける変換行列であるイメージヤコビアンを時不変かつ各々 のパラメータ間で独立にすることができる。これによりイ メージベースの手法において課題となっていたイメージヤ コビアンの推定問題を解決し,特徴点を用いた手法におけ る回転や距離方向と並進の干渉による軌道の不安定化も避 けられることを示した。 また,回転・拡大縮小・並進のパラメータの検出手法に ついても,画像全体の情報を用いてマッチングする位相限 定相関法 (POC) (9) SIFT (6) ORB 特徴量 (10) を用いて 抽出した特徴点群から推定する手法の 2 通りについて実験 を行い,性能の評価を行った。 2. イメージベースビジュアルサーボ イメージベースの手法におけるビジュアルサーボのブロッ ク線図を図 1 に示す。カメラのキャリブレーション誤差の 影響を避けるために 2 次元画像の特徴量をそのままフィー ドバックして指令値にし,座標変換行列であるイメージヤ 1/6

画像の平行移動・回転・拡大縮小変位を特徴量に用 …hflab.k.u-tokyo.ac.jp/papers/2015/PSS2015_ri.pdf画像の平行移動・回転・拡大縮小変位を特徴量に用いるビジュアルサーボと

  • Upload
    others

  • View
    3

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 画像の平行移動・回転・拡大縮小変位を特徴量に用 …hflab.k.u-tokyo.ac.jp/papers/2015/PSS2015_ri.pdf画像の平行移動・回転・拡大縮小変位を特徴量に用いるビジュアルサーボと

画像の平行移動・回転・拡大縮小変位を特徴量に用いるビジュアルサーボと

その検出手法に関する基礎検討

李 尭希∗,藤本 博志(東京大学)

Proposal for Detecting Methods of Image Translation,Rotation and Scaling Parameters and Its Application to

Visual Servo

Yoshi Ri∗, Hiroshi Fujimoto (The University of Tokyo)

Abstract

In visual servo, the determination of the control parameters and its detection method is very important. Since it is

difficult to get and match feature points from sets of natural image. This paper proposes to use image displacement

parameters from template as control parameters, and construct a new control theory based on the conventional image

based visual servo theory. We also suggest to use POC(Phase-Only-Correlation) which is mainly used in the field of

computer vision, SIFT and ORB feature to extract the control parameters, and then experimentally evaluate these

methods.

キーワード:ビジュアルサーボ,画像処理,位相限定相関,SIFT,ORB

(Visual Servo,ImageProcessing,PhaseOnlyCorrelation,SIFT,ORB )

1. 研究背景

画像処理を始めとするコンピュータビジョン技術や CPU

の性能の向上,イメージセンサの普及等に伴って画像情報を元にロボットを制御するビジュアルサーボの技術は重要性を増している。ビジュアルサーボを分類すると,画像から 3次元再構成を行って指令値をつくる位置ベースの手法,画像から検出した 2次元のパラメータをそのまま制御に用いるイメージベースの手法,両者の手法を合わせた 2-1/2D

ビジュアルサーボの手法の 3つに大別される。(1) (2) (3) (4) (5)

単眼のカメラを用いてロボットに高精度な位置制御を行う場合,キャリブレーション誤差等の影響で,一般に精度の良い 3次元再構成は困難なため,3次元再構成を伴わないイメージベースの手法が適切である。従来,特徴点の座標をフィードバックするイメージベー

スの手法は安定性をはじめとして,様々な議論がなされてきたが,(1) (12)これらは全て特徴点が安定に抽出されてきちんと対応づけられていることを前提としている。実際問題として複雑なテクスチャを持つような画像に対し

て特徴点をきちんと抽出して対応付ける事は困難で,比較的ロバストに特徴点を抽出・対応づけることができる SIFT (6)

などの手法も存在するが,常に安定して特徴点を抽出・対応させるには至らない。そこで,過去の研究ではこの問題を解決するために特徴

点ではなく相互情報量といった画像全体の情報を用いるようなアプローチや (7),個々の特徴点ではなく特徴点群から画像の変位に関するパラメータを抽出して制御に用いるアプローチ (8) などが提案されてきた。本稿もより現実環境に近い複雑な画像でのビジュアルサー

ボを目指し,画像から比較的ロバストに抽出できる回転・

�����

������

�����

��

�∗�∗��� �������

����

������

�������� �

������

� �

����������������� ���

������ ������������� ��

図 1 ビジュアルサーボ系のブロック線図

拡大縮小・並進の変位を特徴量にとったイメージベースのビジュアルサーボの制御則を提案し,シミュレーションと実験において高精度位置決めの実現を検証した。提案する制御則においては,イメージベースの手法にお

ける変換行列であるイメージヤコビアンを時不変かつ各々のパラメータ間で独立にすることができる。これによりイメージベースの手法において課題となっていたイメージヤコビアンの推定問題を解決し,特徴点を用いた手法における回転や距離方向と並進の干渉による軌道の不安定化も避けられることを示した。また,回転・拡大縮小・並進のパラメータの検出手法に

ついても,画像全体の情報を用いてマッチングする位相限定相関法 (POC) (9) と SIFT (6),ORB特徴量 (10) を用いて抽出した特徴点群から推定する手法の 2通りについて実験を行い,性能の評価を行った。

2. イメージベースビジュアルサーボ

イメージベースの手法におけるビジュアルサーボのブロック線図を図 1に示す。カメラのキャリブレーション誤差の影響を避けるために 2次元画像の特徴量をそのままフィードバックして指令値にし,座標変換行列であるイメージヤ

1/6

Page 2: 画像の平行移動・回転・拡大縮小変位を特徴量に用 …hflab.k.u-tokyo.ac.jp/papers/2015/PSS2015_ri.pdf画像の平行移動・回転・拡大縮小変位を特徴量に用いるビジュアルサーボと

コビアンを通してロボットの速度指令を生成する。例えば,画像の特徴点の座標 ξi = [xi, yi]

T (i = 1, 2, 3..., n) から 6

自由度のカメラの速度 v = [vx vy vz ωx ωy ωz]T までの変

換行列 Lxi は以下のようになることが知られている。(1) (5)

ξi = Lxiv · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · (1)

Lxi =

[−1Zi

0 xiZi

xiyi −(1 + xi2) yi

0 −1Zi

yiZi

1 + yi2 −xiyi −xi

](2)

ここで Zi はカメラから各々の画像上の点までの距離である。イメージヤコビアンはこれらを特徴点の数だけ統合したL = [Lx1 ,Lx2 , ...,Lxn ]

T で表され,これの擬似逆行列を用いて画像内速度指令からカメラの速度指令を生成する。一般にはこの距離 Zi はカメラから直接観測出来ない値

であり,通常イメージヤコビアンはこれをある固定値で代替して計算される (5) (11)。しかし,その場合初期位置と目標位置の関係によっては不適切な軌道によりカメラが目標を見失うなどして目標位置に収束しない場合がある (4)。また,特徴点の座標を特徴量に取るビジュアルサーボに

おける課題として,回転による軌道の不安定化が挙げられる。この問題はカメラ後退問題として知られている。(3) (5)

この場合回転量と並進量とを別々に制御するようなイメージヤコビアンを用いること解決策が示されたが (3),依然としてイメージヤコビアンは時変で推定を必要とする。

3. 画像の変形パラメータを用いたビジュアルサーボ本稿では画像における回転・拡大縮小・並進 2方向の合

わせて 4つの変数 (以降,画像の変形パラメータと呼ぶ)を直接制御量に用いてロボットを制御することを考える。これらの変形パラメータはそれぞれ図 2に示すようなロボットから見た対象面に垂直な軸の回転・対象面への距離方向・対象面に平行な面方向の動きに対応する。また,これらのパラメータによる変形は 2次元アフィン

変換の特殊な場合と見ることができる。アフィン変換のパラメータを用いた制御則は式 (2)に似た形で過去に提案されているが (12),本章で提案する制御則においては適切な変換パラメータの設定によってイメージヤコビアンを完全に時不変に出来ることを示す。〈3・1〉 画像の変形パラメータの定義 本稿で使用する並進量・回転・拡大縮小・をそれぞれ (θ, κ, ξx, ξy) とおく。参照するテンプレート画像の座標 xt = (xt, yt)

T が今比較する画像の座標 x = (x, y)T と対応する時,変形パラメータ (θ, κ, ξx, ξy)を次のように定義する。

x=A(xt + b) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · (3)

A = κ

(cos θ − sin θ

sin θ cos θ

), b =

(ξx

ξy

)なお,ここでは回転中心は画像の中心としている。今,これらの 4つの変形パラメータが検出できたものとして 3次元のロボットを制御することを考える。

図 2 4 自由度マニピュレータの例

〈3・2〉 イメージヤコビアンの導出 式 (3)で設定した画像の変形パラメータを特徴量にとった場合のイメージヤコビアンを導出する。カメラが図 2 に示すような X = (X,Y, Z,Θ) の 4 自

由度を持つロボットマニピュレータに搭載されるして,ロボットの動きと POCを用いて検出できる画像上での変位ξ = (ξx, ξy, κ, θ)の対応を求める。参照する画像におけるロボットの位置,すなわち目標位

置を (X0, Y0, Z0,Θ0)T とおき,現在のロボットの位置 を

(X,Y, Z,Θ)T とする。変形パラメータのうち,回転・拡大縮小変位はそれぞれがロボットの回転と距離に次のような式で 1対 1対応する。

θ = Θ0 −Θ · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · (4)

κ =Z0

Z· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · (5)

次に,平行移動量とロボットの並進量の対応を図 3に示す。式 (3) で定義した変形パラメータの並進量 (ξx, ξy) は参照画像におけるカメラ座標に則っているため,ロボット座標からみた並進量は参照画像におけるカメラ位置 Θ0 の分だけ回転する。それに加えてピンホールカメラモデルにおける透視変換 (5)を考慮にいれることで並進同士の対応は以下のようになる。(

ξx

ξy

)=

f

Z0R(−Θ0)

(X −X0

Y − Y0

)· · · · · · · · · (6)

ここで,R(θ)は θ の回転行列である。Θ0, Z0 は目標値における値で,未知な値であるため両辺時間微分を行ってまとめることにより次のようになる。

ξx

ξy˙( 1κ)

θ

= Jconst

X

Y

Z

Θ

· · · · · · · · · · · · · · · · · · · · · (7)

拡大縮小量 κはその逆数を制御量に用いることで時変である距離 Z の影響を排除することが出来る。ここでの Jconst

が本稿で示すイメージヤコビアンであり,次のような形になっている。

2/6

Page 3: 画像の平行移動・回転・拡大縮小変位を特徴量に用 …hflab.k.u-tokyo.ac.jp/papers/2015/PSS2015_ri.pdf画像の平行移動・回転・拡大縮小変位を特徴量に用いるビジュアルサーボと

図 3 距離方向から見た 3 次元のカメラのフレーム位置と2 次元の平行移動量の関係

Jconst =

f

Z0cosΘ0

f

Z0sinΘ0 0 0

− f

Z0sinΘ0

f

Z0cosΘ0 0 0

0 01

Z00

0 0 0 −1

(8)

式 (8)に示すイメージヤコビアンは時変のパラメータを含まず,時不変となる。また,式 (8)の形より,回転・距離・並進成分は対角化されており,それぞれのパラメータを独立に操作できることを示す。従って式 (2)に示されるヤコビアンは時変であり,提案したイメージヤコビアンが時不変で成分毎に独立であることは制御においてとても大きな利点になる。ただし,Z0 と Θ0 は予め知り得ない値であるため,何ら

かの手法を用いて推定する必要がある。ロボットの速度指令 V ref は現在の変形パラメータの偏

差 ξdiff よりイメージヤコビアンの逆行列を用いて次のように導出する。

V ref = J−1const ξdiff · · · · · · · · · · · · · · · · · · · · · · · · · · · (9)

今回の実験プログラムにおいては J−1const の計算に際し,

Θ0 を初期位置の Θと θから式 (4)より計算し,Z0 に関してはある程度の誤差を許容して推定値を用いた。

4. シミュレーション3 章で導いた画像の変形パラメータを用いた制御則と 2

章で述べた特徴点の座標を用いた制御則をシミュレーションによって比較する。式 (2)を元にした特徴点を用いたイメージベースの手法

を従来法として比較対象とする。表 1に示す周期と初期位置,目標位置を与えて,MAT-

LAB上でロボットにの動きをシミュレートを行った。初期位置と目標位置の回転変位が小さい場合をケース 1,大きい場合をケース 2とする。従来法と提案法の 3次元軌道や時間応答図 4で比較する。

ケース 1 における提案法の時間応答図 4(a) と従来法の時間応答の図??はあまり差がないが,収束軌道の比較の図??

表 1 シミュレーション変数

サンプリング時間 500ms

目標姿勢 (X0, Y0, Z0,Θ0) (0,0,15,0)

ケース 1 の初期姿勢 (X1, Y1, Z1,Θ1) (600,-400,20,30)

ケース 2 の初期姿勢 (X1, Y1, Z1,Θ1) (600,-400,20,120)

画像パラメータの指令(ξxref , ξyref , (1/κ)ref , θref ) (0,0,1,0)

コントローラ (Kp,Ki,Kd) (0.6, 0.001, 0.3)

0 5 10 15−40

−20

0

20

40

60

Time[s]

Positio

n[m

m]

Theta

X

Y

Z

(a) ケース1におけるロボットの位置の時間応答 (提案法)

0 5 10 15−50

0

50

100

150

Time[s]

Positio

n[m

m]

Theta

X

Y

Z

(b) ケース2におけるロボットの位置の時間応答 (提案法)

0 5 10 15−40

−20

0

20

40

60

Time[s]

Positio

n[m

m]

Theta

X

Y

Z

(c) ケース1におけるロボットの位置の時間応答 (従来法)

0 5 10 15−100

−50

0

50

100

150

Time[s]

Positio

n[m

m]

Theta

X

Y

Z

(d) ケース2におけるロボットの位置の時間応答 (従来法)

−20 0 20 40 60−40

−30

−20

−10

0

10

X [m]

Y [m

]

camera trajectory (conventional)

camera trajectory (proposal)

(e) Z 方向から見たケース1における提案法 (赤破線)と従来法(青点線)の距離方向から見た移動経路の比較

−20 0 20 40 60 80−100

−80

−60

−40

−20

0

20

X [m]

Y [m

]

camera trajectory (conventional)

camera trajectory (proposal)

(f) Z 方向から見たケース2における提案法 (赤破線)と従来法(青点線)の距離方向から見た移動経路の比較

図 4 左側の図群 (a)(c)(e)は回転差が小さいケース1について、右の図群 (b)(d)(f) は回転変異が多いケース2につ

いてのシミュレーションを表す。

において提案法がきちんと最短軌道をとれていることがわかる。次にケース 2においては提案法の時間応答は従来法の時

間応答の図??は図 4(b)に比べて乱れていることがわかり,軌道の比較の図??からも提案法のほうが安定に制御可能であることが示された。

5. 画像の変形パラメータの検出手法

参照画像と比較画像の間の変形パラメータを検出する問題は,コンピュータビジョンの分野で盛んに研究されており,いくつかの手法が存在する。ここではパターンマッチングの一種である位相限定相関法 (POC)を用いて推定する方法と対応付けられた特徴点群の座標を用いて推定する

3/6

Page 4: 画像の平行移動・回転・拡大縮小変位を特徴量に用 …hflab.k.u-tokyo.ac.jp/papers/2015/PSS2015_ri.pdf画像の平行移動・回転・拡大縮小変位を特徴量に用いるビジュアルサーボと

方法の 2つを考える。〈5・1〉 位相限定相関法 (POC) (9) 位相限定相関法

(Phase-Only Correlation,以降 POC)は画像の 2次元フーリエ変換を主に用いて,2つの画像間の平行移動量や拡大縮小量,回転量を高精度に検出する手法である。対象とする領域全体の情報を用いるため隠れや輝度変化

といった局所的な画像の変化に強く,精度も高いことが知られている。また,探索といった手順を必要としないため,計算時間にばらつきが少ないことも知られている。紙面の都合上,アルゴリズムの原理やプログラムの詳細については参考文献に譲り,本章では POCに基づく平行移動量,回転,拡大縮小量の推定の概要について述べる。大きさが等しい 2つの画像をそれぞれ f, gとする。これ

らの画像を 2 次元離散フーリエ変換したものを F,G とおくとそれらを掛けあわせて得られる合成位相スペクトル R

は次のように定義される。

R =FG

|FG| (G:Gの複素共役)· · · · · · · · · · · · · · · (10)

POC関数 r は Rを 2次元離散フーリエ逆変換することにより計算でき,2 つの画像が図 5(a) と図 5(b) に示すように類似している場合,図 5(c)のように rはデルタ関数に近い極めて鋭いピーク値を持つ。相関のピークの中心からの座標変位は 2つの画像間の平行移動量に対応する。この平行移動量は窓関数とそれに合わせた関数フィッティ

ングを用いることでサブピクセル精度に拡張することができる。また,周波数領域での振幅成分に着目し,これに対数極

座標変換などの処理を行うと回転や拡大縮小量も変換した座標における並進量として扱うことが出来,式 (10)の手順で検出することができる。〈5・2〉 特徴点群の座標を用いる手法 何らかの手法で 抽出して対応させた特徴点の座標をそれぞれ xti と xi

とする (i = 0, 1, 2, ...) と,式 (3) における A, b の推定値[A∗|b∗]は次のように最小二乗的に決定される。

[A∗|b∗] = arg min[A|b]

∑i

||xi −A(xti +Ab)||2 (11)

ここで用いる特徴量抽出手法はスケールや回転に不変でかつ検出精度の良いものが好ましい。本検討においてはロバストな特徴量として広く用いられ

る SIFT (6) と,SIFT の代替として提案される SIFT に比べて数倍も高速な ORB (10) を用いた場合について実験を行う。各々の特徴量の抽出と記述,マッチングにはOpenCV2.0

のライブラリ関数を用いて実装を行った。POCとの比較として図 6に POCで用いた画像 f, g 同士のマッチングの結果の一部を示す。画像 gは f からカメラを右方向に動かして撮ったもので

あり,特徴点を対応付ける線は理想的には水平方向に伸びるはずである。特徴量にはクロスマッチングを行い,しき

(a) 画像 f

(b) 画像 g (c) POC 関数 r

図 5 対象となる基盤を水平方向にずらした位置で撮った画像 f, g と POC 関数の形状

図 6 図 5(a) の参照画像 (左) と図 5(b) の比較画像 (右)

を ORB特徴点 (色のついた点で表示)を用いて対応付けた結果。水平方向の移動に対していくつか斜めの対応線があ

ることから誤対応があることが確認できる

図 7 東京大学柏キャンパス付近の航空写真 (GoogleMap

より印刷)

い値以下の対応も省いているがそれでも図 6には誤った対応のために線が斜めに交わっているのが見て取れる。この中から安定して抽出できる特徴点を選び,ビジュア

ルサーボの指令値とするのは少々工夫が必要になるだろう。実際には図 6に示すよりも多くの特徴点が対応しており,

それらの対応点の座標を式 (11)にもとづいて計算することでそういった外れ点の影響を軽減できる。予備実験において検証した結果,POCを用いて検出した時と同じ画像においてピクセル単位で同等の精度を得た。

4/6

Page 5: 画像の平行移動・回転・拡大縮小変位を特徴量に用 …hflab.k.u-tokyo.ac.jp/papers/2015/PSS2015_ri.pdf画像の平行移動・回転・拡大縮小変位を特徴量に用いるビジュアルサーボと

(a) 目標画像

(b) 初期画像 (ケース 1)

(c) 初期画像 (ケース 2)

2010

X [mm]

0-10-10

0

Y [mm]

10

0

5

10

15

20

Z [m

m]

SIFTORBPOCStartGoal

(d) ケース1における各手法でのロボットの軌道

20

X [mm]

10

00

Y [mm]

10

20

60

40

0

-2020

Z [m

m]

SIFT

ORB

POC

Start

Goal

(e) ケース2における各種法でのロボットの軌道

POC SIFT ORB

Final Error in Case 1 D [mm] 1.2 0.1 0.1

(∆X,∆Y,∆Z,∆Θ) [mm],[deg] ( 0.1, 0.1, 1.2, 0.0) ( 0.0, 0.0, 0.1, 0.0) ( 0.0, 0.1, 0.1, 0.0)

Final Error in Case 2 D [mm] 2.1 0.1 0.3

(∆X,∆Y,∆Z,∆Θ) [mm],[deg] ( 0.1, 0.1, 2.1, 0.0) ( 0.0, 0.0, 0.1, 0.0) ( 0.0, 0.0, 0.3, 0.0)

Calculation Time [ms] 110±10 ms 120-200ms 45-90ms

図 8 各ケースの目標位置と初期位置におけるカメラの画像と,手法毎の収束軌道と最終収束誤差の表

6. 実 験実験を通して提案法の有効性を確認した。〈6・1〉 実験設備 実験装置として安川電機製の 6 自由度ロボットアームを,カメラは Logicool製のWebカメラを用いた。画像処理は別に用意したWindows の PC 上で行っており,結果はソケット通信を用いて送っている。カメラは簡素にキャリブレーションを行っており,取得

した画像は推定された光軸の位置を中心に 256ピクセル四方に切り取られ,歪みを補正された後に各々の手法で画像の変形パラメータを抽出される。今回は対象として図 7に示すような東京大学柏キャンパ

ス付近の写真を用いた。〈6・2〉 実験結果 POC,SIFT特徴量,ORB特徴量をそれぞれ用いて検出した変形パラメータから速度指令値を生成してロボットを駆動した。シミュレーションと同様に,回転変位が小さい場合をケース1,大きい場合をケース2とする。また,手法の精度の評価の為にロボットの座標における

最終位置誤差D =√∆X2 +∆Y 2 +∆Z2 を用いる。

図 8(d),図 8(e) に各ケースにおける初期位置からのロボットの位置の変位が収束する様子を 3次元的に示す。図8(d),図 8(e),図 8の表より,位置誤差追従性能,途中の軌道の安定性の面で最も優れていたのは SIFTを用いた場合であった。

ORB特徴量は画像の回転変位が大きくなった時に誤対応が多くなり,結果不安定な軌道を生成する結果となった。

X [mm]

-10 -5 0 5 10 15

Y [

mm

]

-10

-5

0

5

10

15 case1-SIFT

case2-SIFT

case1-POC

case2-POC

Start

Goal

図 9 距離方向から見た並進量の軌跡

POCは目標値への収束は確認されたものの途中の軌道が大きく曲げられてしまっている。次に,SIFTと POCを用いた時の 3次元軌跡を距離方向

から見た図をシミュレーションと同様に図 9に示す。ケース 1と 2における SIFTの軌跡において,並進量が初期の回転角に大きく依存すること無く直線的に収束していることから,提案手法の特徴の 1つである回転運動に対する独立性が確認できる。図 9における並進量が若干回転量に影響される理由とし

5/6

Page 6: 画像の平行移動・回転・拡大縮小変位を特徴量に用 …hflab.k.u-tokyo.ac.jp/papers/2015/PSS2015_ri.pdf画像の平行移動・回転・拡大縮小変位を特徴量に用いるビジュアルサーボと

て,画像の中心となるカメラの光軸とロボットの回転軸の不一致が考えられる。今回の様に光軸と回転軸のずれが比較的に少ない場合,軌道全体で見た時の影響はあまり致命的ではないと思われる。〈6・3〉 各々の手法の評価と比較 POCも特徴点を用いる両手法も,動きが発散した時以外は 1mm前後の精度で目標値に収束できることを確認した。

POCを用いた画像全体のマッチングは SIFT特徴点を用いた手法に比べて,画像のノイズや画像のブレに弱いことが確認される。ただ,パラメータをうまく検出できなかった場合,図 5(c)の様なピークは生じないため,誤対応を検出することができる。また,処理ルーティンに探索などの要素が無いため比較的一定時間で処理し終えることが出来るという利点もある。

SIFTやORBの特徴点を用いてマッチングする場合は特徴点の抽出と対応付けがロバストに行われていないと影響を受けることがわかる。また,図 8の表より例えば SIFT

の計算時間に 120ms 200msといった 2倍前後の開きが確認されるが,これは抽出した特徴点をマッチングする際に最も特徴が近い点を全探索しているためだと予想される。

7. まとめ・今後の展望ビジュアルサーボをより現実的な環境下で実現する際に

問題となる特徴点の抽出や対応の問題を解決するために画像の回転・拡大縮小・並進の変位を特徴量に取るビジュアルサーボを提案した。次に,イメージベースの手法に基づいた制御則を提案し,

x軸 y軸方向の回転がない場合には画像の変形パラメータをうまく選択することによってイメージヤコビアンを時不変化することができることを示した。画像の変形パラメータの検出手法としてパターンマッチ

ングの分野で用いられる POC と,SIFT,ORB 特徴点群を用いた最小二乗推定の 2つを提案し,実機の実験において性能や特徴を評価した。今回の設定では SIFT特徴点群を用いて検証したものが

最も精度,収束軌道とも安定して良く出来たが,一方で計算時間にばらつきが出るといった問題点も見られた。POC

を用いた場合は画像のノイズによって結果にバラつきが出て軌道が不安定になる一方で,計算時間が一定というメリットもあることも実験に基づいて示した。

参考文献(1) F. Chaumette and S. Hutchinson.: ”Visual servo con-

trol. Part 1: Basic Approaches.” IEEE Robot. Au-

tom.Magazine pp.82-90,(2006)

(2) S. Hutchinson, G. D. Hager and P. I. Corke.:” A tu-

torial on visual servo control.” IEEE Transactions on

Robotics and Automation, 12(5), pp.651-670.(1996)

(3) E. Malis, F. Chaumette and S. Boudet.: ”2-1/2 D vi-

sual servoing,”IEEE Transactions on Robotics and Au-

tomation.(1999)

(4) F. Chaumette, D. Kriegman, G. Hager, S. Morse.:” Po-

tential problems of stability and convergence in image-

based and position-based visual servoing”. The Con-

fluence of Vision and Control, LNCIS Series, No 237,

Springer-Verlag, pp.66-78, (1998).

(5) 橋本浩一:”ビジュアルフィードバック制御と今後” 日本ロボット学会誌,Vol.27, No.4, pp.400-404, (2009)

(6) D. Lowe:”Distinctive image features from scale-

invariant keypoints,” Int. J. Comput. Vis., vol. 60, no.

2, pp. 91-110, 2004.

(7) Dame, A. and Marchand, E.:”Mutual Information-

Based Visual Servoing” IEEE Transactions on

Robotics, 27(5), pp.958-969. (2011)

(8) F. Hoffmann, T. Nierobisch, T. Seyffarth, and G.

Rudolph,:“Visual servoing with moments of SIFT fea-

tures,” in Conference Proceedings - IEEE Interna-

tional Conference on Systems, Man and Cybernetics,

(2007), vol. 5, pp. 42624267.

(9) K. Takita, T. Aoki, Y. Sasaki, T. Higuchi and K.

Kobayashi. :”High-Accuracy Subpixel Image Registra-

tion Based on Phase-Only Correlation,” IEICE Trans-

actions on Fundamentals of Electronics, Communica-

tions and Computer Sciences Vol. E86-A, pp. 1925-

1934. (2003)

(10) E.Rublee, V.Rabaud, K.Konolige,G.Bradski:”ORB: an

efficient alternative to SIFT or SURF” IEEE Intl.

Conf. on Computer Vision (ICCV), volume 13, (2011).

(11) A. Goto, H. Fujimoto:”Proposal of 6 DOF Visual Ser-

voing for Moving Object Based on Real-Time Distance

Identification,”SICE Annual Conference 2008, Aug.

20-22 (2008)

(12) N. R. Gans and S. A. Hutchinson,:“A switching ap-

proach to visual servo control,”Proc. IEEE Internati-

nal Symp. Intell. Control,(2002).

6/6