表皮視覚認識と凹凸形状へのなじみ動作に基づく野菜皮むき行動のヒューマノイドによる実現

Peeling Operation of Humanoid Based on Recognition and Adaptation to

Vegetable Surface condition

渡辺 義明（東京大学） 長濱 虎太郎（東京大学）◯正 山崎 公俊（東京大学） 岡田 慧（東京大学）正 稲葉 雅幸（東京大学）

Yoshiaki WATANABE,The University of Tokyo,watanabe@jsk.t.u-tokyo.ac.jpKotaro NAGAHAMA,The University of Tokyo,*Kimitoshi YAMAZAKI,The University of Tokyo,Kei OKADA,The University of Tokyo,Masayuki INABA,The University of Tokyo

This paper describes recognition and operation system for humanoid’s peeling operation．Vegetablesurfaces are uneven and untypical．To stop peeling , it is necessary to know surface condition．So, inthe case of peeling, it is important to apapt and recognize the vegetable surface condition．In this paper,we show that impedance cobntrol is useful to peel vegetable surface．And we also indicate backgroundsubtraction method is good to recognize surface condition．

Key Words: Humanoid,Recognition,Peeler manipulation

1 研究の背景・目的

近年道具を用いたロボットの研究例として，生活支援をテーマとした様々なものが行われている．本稿ではその中で調理に注目し，調理を行う上で欠かせない基本操作の一つである皮むき操作を取り上げる．本研究の目的は，ヒューマノイドロボットに市販の調理道具を扱わせ，野菜の皮むき行動を実現することである．なお，野菜の発見から剥き終わりの判定までをロボットに自動で行わせる．皮むきを行う上では，1．操作対象の表面形状への対応，

2．皮むきを止めるタイミングの確認（以降皮むき認識と呼ぶ），という二つの課題がある．1は，野菜の表面は，種類によってはもちろん，同じ種類の野菜であっても個々で異なるため，野菜の表面に馴染みつつ皮をむくために必要である．2は，皮むきを行う際，皮のむき過ぎや残し過ぎなどといった状態は好ましくないので，操作の停止・継続を判断するために必要である．本研究では，1については位置指令型のインピーダンス制御を，2については画像差分を用いた認識処理を，それぞれ行う．以降では，皮むき操作を行う上での課題とした二つに対する提案手法の内容と，それらを用いて行った皮むき操作実験の結果を示す．

2 皮むき操作に必要な機能

皮むき操作において必要な認識・行動機能の一部を，図1に示す．図下は，図上で述べたような機能を組み合わせ，前章で述べた 1を適用しつつピーラーを使い皮をむいている様子を，本研究で実装した手法を用いて前章で述べた 2の様子を，それぞれ示している．皮むきを行う上で，図 1

上に示す機能はそれぞれ重要であるが，本章ではこれら二つについて述べる．

Fig. 1: Peeling functions

2.1 インピーダンス制御を用いた皮むき動作

皮むきを行う際，凹凸を無視してピーラーを動かしてしまうと，野菜表面の凹凸により，皮が均一にむけない，ピーラーの刃が野菜表面から離れてしまう，そして野菜に刃が引っ掛かるなどの問題が生じる．そのため，皮むきを行う際，操作対象の表面形状に馴染むことは重要である．イン

ピーダンス制御 [1]は，接触力が一定になるように制御をかけることができる．そのため本研究では，接触力を一定にするように制御を行う，位置指令型のインピーダンス制御を用いた．ロボットの単腕における目標インピーダンス式は下式のように与える．

Mx + D(x − xd) + K(x − xd) = P (fact − fref ) (1)

M , D, Kはそれぞれ六次元の仮想慣性行列，仮想粘性行列，仮想剛性行列であり．いずれも正定値対角行列である．また，六次元射影行列 P により，力・モーメントの運動への影響を制御する．

xはロボットの手先位置姿勢をあらわす六次元ベクトル，fact, fref はそれぞれ手先の力・モーメントの六次元ベクトルの計測値と目標値である．手先位置制御型のインピーダンス制御では，factが fref

に近づくように手先を動かし，そして逆運動学計算から各関節角の値を計算することで，ロボットに制御指令を送っている．また，目標手先座標は下式のように決定する．

x(t) =dtDx(t − dt)] (2)

+[M + dtD + dt2K]−1[M [2x(t − dt) − x(t − 2dt)]+[M + dtD + dt2K]−1[dt2Kxd(t) + dt2P (fact − fref )]

実験時には，以下のような係数で実験を行った．なお数値は経験的に決定した．

M = diag(Mpos,Mpos,Mpos,Mrot,Mrot,Mrot)D = diag(Dpos, Dpos, Dpos, Drot, Drot, Drot)K = diag(Kpos, Kpos,Kpos,Krot,Krot, Krot)

(3)

ここで，制御周期は dt = 0.005[s] であり，Mpos =0.005[0.001 ∗ kg]，Mrot = 0.00025[kgm2]，Dpos =0.1[0.001∗kg]，Drot = 0.005[kgm2]，Kpos = 0.2[0.001∗kg]，Krot = 0.01[kgm2]である．なお単位表記に関しては，各パラメータを実装上の値で表現するために上記の様に表記した．

2.2 野菜表面色情報・画像差分を用いた皮むき認識

皮むきを行う際，一章で述べたように，操作の過不足を防ぐため，野菜表面の状態を確認することが必要である．本研究では，皮むき前後の画像の差分をとり，その変化を読み取ることで認識を行う．なお皮むき認識を行うために，ロボットの頬部分に取り付けられた PointGrey社製の高解像度カメラ Flea−HICOL(以下 Flea)を使い，皮むき前後の野菜画像を取得した．その際，レンズは焦点距離 12mmのものを使用した．本研究で用いた皮むき認識のフローを，図2に示す．図 2中の赤枠内は，後述の皮むき終了確認のフローを表している．皮むき認識は，1．皮がどの程度むけているのかの大まか

な確認，2．皮むきをやめるタイミングの確認（皮むき終了

Fig. 2: Surface state recognition flow

確認）の二つで構成されている．1を行う理由は，2は表面の変化を見ているため，皮がむけていない段階で何らかの理由から皮をむくことができなかった際，誤認識を防ぐためである．

1では，Fleaを用いて取得した画像に注目領域を設定し，皮領域の色情報を用いて，注目領域内で野菜の皮がどの程度むけているか，非皮領域の皮領域に対する割合の確認を行う．なお，皮領域の判別に用いる値は，全く皮をむいていない状態で取得した皮むき前画像の参照領域中から，野菜表面の画素値の平均を計算することで求めた．そして皮むき後画像の参照領域中で，求めた閾値外の画素を皮がむかれた領域 (以降非皮領域と呼ぶ)として判断した．

2では，1である程度の領域がむけていると判断した場合，Fleaから取得した皮むき前後の画像の差分を行い，皮むき操作前後で表面に変化があるかを見ている．2を行う際，まず取得画像それぞれにガボールフィルタをかけエッジ検出を行う．次にフィルタリング画像内の注目領域中の野菜輪郭が合致するよう，画像を平行移動・回転させる．本研究で用いた皮むき認識では，この操作が重要である．この操作を行うことで，皮むき前後で画像内の野菜位置が変化し

たとしても，位置を合わせることができるため，画像差分を用いて表面の変化をとらえることができる．変形後，画像の差分をとり，かつ差分結果に閾値処理をかけ，閾値を超える画素数を求めることで評価を行う．評価の結果，あまり変化がないと判断した場合，終了カウントがプラスされる．そして終了カウントが閾値を超えると，ロボットは皮むき操作をやめる．皮むき認識に色抽出ではなく差分を用いた理由は，ノイ

ズの影響を減らすためである．色抽出を行うと，照明条件や個体差などにより，皮・非皮領域を誤差無く見分けることは難しい．そのため差分を用いることで，そうした見え方の違いに依らず，野菜表面の変化を確認することができると考え，本研究では差分を用いて判断することにした．

3 皮むき操作実験

本章では前章までに述べた機能を用い，実際に皮むき操作を行った際の結果について述べる．図 3に，本研究で皮むき操作実験を行った際のフローを示す．

Fig. 3: Peeling operation flow

にんじんとさつまいもを対象とした皮むき操作実験の結果を図 3右上，図 4，図 5にそれぞれ示す．図 3右上の画像は，皮むき動作の様子とさつまいもの皮むきを行った際の結果を示している．図 4，図 5は，にんじんとさつまいもそれぞれに皮むき判定を適用した際の様子を示している．なお図 4，図 5中の左側が前章で述べた 1の様子を，右側が 2の様子を示している．左中の四角で囲まれた領域は参照領域を表わしており，青が非皮領域，緑が皮領域として認識した画素を表している．右側 P，S はそれぞれ皮むき前，後の画像であり，ref の付いたものはそれぞれの参照領域画像を，resultは差分結果を表したものである．本研究で用いた皮むき認識は，野菜に依らず皮むき前後

の変化を捉えることを目的とした．しかし図 4から，にん

じんは皮と中身が同じような色をしているため，皮・非皮領域の区別はできたが，画像差分を用いて変化を読み取ることはできなかった．しかし図 5のように，さつまいものような皮と中身の色が異なる野菜の場合，領域の区別はもちろん，画像差分によって変化を読み取ることができた．その結果，十八回皮をむき，皮をむこうとした範囲を目測で七割程度むくことができた．本研究で用いたロボットは，グリッパ型のハンドが取り付けられているため，野菜の回転角度を制御することができない．その結果，既にむけているところを再度むいてしまうなどしてしまうため，皮を完全に取り去ることができない状態で，皮むき認識が終了と判断してしまった．

Fig. 4: Peeling condition ppcheck(carrot)

Fig. 5: Peeling condition check(sweetpotato)

本研究ではさらに，にんじんの変化を認識するためには，必要な箇所をより細かく見ることができれば今回用いた手法を使って認識できるのではないかと考え，[2]の広視野・高視力を持つヒューマノイドHRP2-VZを用いてにんじんの皮むき前後画像を取得し，皮むき認識処理を行った．HRP2-VZを用いた皮むき認識実験の様子を，図 7に示す．また，実験結果を図 6に示す．なお使用したカメラは SONY社製ののアナログカメラ FCB-IX11A(以降ズームカメラと呼ぶ)であり，ズーム倍率は 9.5倍として画像を取得した．図 6に示したように，皮むき認識の 1，2の処理でそれぞれ皮・非皮領域を区別することができなかった．

Fig. 8: The sequence of peeling operation

Fig. 6: Peeling condition check(carrot,scale:9.5)

Fig. 7: HRP2VZ-watching carrot

4 結論・今後の課題

本稿では調理の中の基本操作の一つである皮むき操作を取り上げた．そして今回用いたインピーダンス制御，皮むき認識手法を用いた皮むき操作を行った結果，皮と中身の色が異なる野菜であれば皮をむき，かつ皮がむけた場合自律的に操作を終了することができることを示した．ただし野菜は皮と中身の色が異なるものだけでなく，にんじんの

ように色が似た野菜も多い．今回は変化を見る際，画像中の野菜の位置合わせを行うのみで，変化を際立たせるような処理は行っていない．そのためにんじんのように皮と中身で色が変わらない野菜の場合，画像の前処理などを行う必要が考えれられる．今後の課題としては，どのような野菜に対しても皮むき認識が可能になるよう，画像の前処理を検討することが挙げられる．また今回はむけているかどうかを確認しているが，できるだけ野菜を無駄にしないよう，むけている領域をむいていると認識して，皮がない領域をこれ以上むかないというような判断も考えられる．

参考文献[1] 小菅一弘. 力制御法の分類と制御システムの設計法. 日本ロボット学会誌, Vol. 9,

No. 6, pp. 751–759, 1991.

[2] 白山翔太, 植木竜佑, 小島光晴, 得津覚, 吉海智晃, 岡田慧, 稲葉雅幸. 広視野・高視力ヒューマノイド hrp2-vz の開発と柔軟な注視制御の実現. 第 27 回ロボット学会学術講演会予稿集, pp. 1S3–08, 2009.