ロボットミドルウェアにおける物体認識・操作のためのフレームワーク：機械学習を用いた物体検出器を含む提案手法の実装例開発

Robot Middleware Framework for Object Recognition and Manipulation:Implementation with Object Detector Using Machine Learning

1W130097-0 太田博己 指導教員 尾形 哲也 教授

OTA Hiroki Prof. OGATA Tetsuya

概要: 本研究では，ロボットミドルウェアを用いたロボットシステムにおける，物体認識と把持操作のためのフレームワークを提案す

る．自律ロボットによる物品の把持操作を可能にする要素技術として，物体認識やマニピュレーションの研究および技術開発が進んで

いる．しかし，各要素技術を系統的に統合し，継続して利用できるシステム開発を行うためのフレームワークが未整備である．そこで

本研究では，物体認識とマニピュレーションの系統的な統合を実現するために，再利用性・可換性・拡張性が高く，プラットフォーム

独立なフレームワークを提案する．このフレームワークは，システムにおける要求を分析し，各機能をロボットミドルウェアにおいて

適切な粒度のコンポーネント単位に分け，そのインターフェースを定義し，モデル化をすることによって策定した．実装例として，機

械学習を利用した物体検出コンポーネントを含む物品棚ピッキングシステムの開発を行い，提案フレームワークの有効性を確認した．

キーワード: ロボットミドルウェア，フレームワーク，物体認識, マニピュレーション，機械学習

Keywords: robot middleware, framework, object recognition, manipulation, machine learning

1. 序論

近年，自律的に作業を行うロボットの活用が幅広い分野

で期待されている．物体を認識し，把持操作するシステム

は特に注目されており，研究および開発が進んでいる [1]．

また動的な実環境での作業において，自律ロボットに対す

る機械学習の活用が成果を上げている．これらの成果は，

公開されないクローズなものである場合や再利用性が考慮

されていない場合が多い．

ロボットシステムにおける機能要素の再利用性に関する

問題に対して，ロボットミドルウェアの普及が進められて

いる．ロボットに必要な各要素技術をコンポーネント単位

に部品化し，組み合わせることでロボットシステムを構築

するソフトウェア基盤である．これにより，技術の相互運

用性が高まり，効率の良い研究・開発が可能となる．

このような中，物体認識やマニピュレーションの既存の

各要素技術は，ロボットミドルウェアを用いた研究・開発

に適した形として系統的に統合されていない．系統的な統

合の条件は，次の 2点とした．

1. プラットフォーム独立である．

2. 再利用・入換・拡張が容易である．

そこで本研究は，ロボットミドルウェアを用いたロボッ

トシステムにおける物体認識からのマニピュレーション

動作，とくにリーチング動作に着目し，プラットフォーム

独立かつ再利用性・可換性・拡張性が高いフレームワーク

を，オープンなものとして提案する．このフレームワーク

は，システムにおける要求を分析し，適切な粒度の機能に

分け，インターフェースを定義し，モデル化することに

よって策定した．

また本研究では，本成果の実装例として，機械学習を利

用した物体検出コンポーネントを含む物品棚ピッキングシ

ステムの開発を行い，提案手法の有効性を確認した．

2. 物体認識・操作のためのフレームワーク

既存のマニピュレーションフレームワークのうちオー

プンソースであるものとしてOpenRAVE[2]やMoveIt[3]

というフレームワークがある．これらはプラグインベース

のフレームワークであり，新たに機能追加を行った場合，

作成したモジュールが環境に大きく依存するため，再利用

性・可換性・拡張性に欠ける．一方コンポーネントベース

のフレームワークとして，物体認識と把持操作を統合する

モデルも提案されている [4]．このフレームワークは，特

定の OSやミドルウェアに依存しないプラットフォーム独

立なモデルであるが，動作生成部分のインターフェースが

定義されておらず，ロボットとの結合部のインターフェー

スの取り決めに言及していないことから，課題を残したま

まであるといえる．

本研究では，プラットフォーム独立かつ再利用性・可換

性・拡張性が高いフレームワークの策定を，以下の手法に

より行った．システムにおける要求を分析し，各機能要件

をロボットミドルウェアにおいて適切な粒度のコンポーネ

ント単位に分け，そのインターフェースを定義し，モデル

化をすることによって策定した.

3. フレームワークの提案

本研究で提案するフレームワークの策定にあたり，物体

認識・把持操作システムの要求分析を行った．まずシステ

ムの機能要件は，指定された操作対象物を把持し，望みの

位置や方向へ動かすことであり，これは物体認識部と把持

操作部の二つに大きく分けられる．把持操作に要求され

る機能として，最終的な把持姿勢（手先の位置姿勢）がわ

かること・把持姿勢から把持の際のアーム姿勢（各関節角

度）がわかること・現在のアーム姿勢から目標アーム姿勢

1

へ障害物を回避しながら移動する軌道（関節角度列）を計

画できること・軌道をロボットに送信できることに分解し

た．把持操作部への入力は把持の際の手先位置姿勢である

から，物体認識部の出力にもこの手先位置姿勢が求められ

る．そのため，認識部の機能として，物体を識別し対象と

する物体の位置姿勢を出力できること，および物体の位置

姿勢から把持可能な手先位置姿勢に変換することに分解し

た．加えてこれらの動作シーケンスを管理する作業管理部

が必要である．

以上の要求を実現するため，要求に沿った粒度のもと各

機能を分割した．ロボットミドルウェアにおける機能単位

であるコンポーネントを定義し，各コンポーネント間にお

いて受け渡されるデータの型と手続き名を定めることで，

インターフェースを定義した．

本フレームワークをプラットフォーム独立なモデルとす

るため，定義したコンポーネントおよびインターフェース

をシステムモデリング言語によって記述した（図 1）．本

フレームワークでの動作を以下に記述する． 1⃝作業管理部から物体検出部に検出開始の要求が送られ，物体検出部

で物体の位置姿勢を検出し，物体のラベルと位置姿勢が管

理部に返される． 2⃝把持方法決定部は，管理部より物体の位置姿勢を受け取り，把持できる手先位置姿勢を決定し，

管理部に姿勢を返す． 3⃝姿勢決定部は，管理部より把持姿勢を受け取り，目標把持姿勢におけるアームの関節角度算

出し，管理部に渡す． 4⃝軌道計画部は，管理部より渡された目標アーム姿勢まで至る，各関節のコンフィグレーショ

ン空間での軌道を計画し，管理部に返す． 5⃝動作生成部は，管理部より渡された軌道の各点を通る動作コマンドを

生成し，ロボットに送信して動作を実行する．

本フレームワークでは，各部の動作シーケンスと入出力

データ型，手続きの名前を明確に決めており，このモデル

をプラットフォームにマッピングすることで実装時の設計

工程を大幅に削減できる．

4. 実装

提案フレームワークを，ロボットアームによる物品棚の

ピッキング作業システムに実装した（図 2）．ハードウェア

は，単腕ロボットアームと，カラー画像および深さデータを

取得できるセンサで構成される．実装に用いるロボットミ

ドルウェアは，標準化された規格である RT-Middleware

とした．軌道計画には OMPL（Open Motion Planning

Library）を用いた．また物体検出には，機械学習による

メソッドである YOLO を，機械学習ライブラリである

TensorFlowを利用して適用した．

以上の構成で物品棚のピッキング作業を行い，提案フ

レームワークの実装例である本システムの適切な動作が確

認された．本システムでは規格化がされているロボット

アーム制御機能共通インターフェースを用いており，ハー

ドウェアの可換性が保証されている．また物体検出に機械

学習を適用しており，実環境下での多様な物体に対して，

学習による柔軟な認識を行うことが可能である．

図 2 実装システム

5. 結論

本研究では，ロボットミドルウェアを用いたシステムに

おいて，プラットフォーム独立かつ再利用性・可換性・拡

張性が高い物体認識・把持操作フレームワークを提案し，

実装によって有効性を確認した．

今後は，異なるミドルウェアでの実装と，機械学習の適

用を進める．センサ系の入力を起点とするデータの流れに

おける階層性，およびロボットがとる行動の複雑さにおけ

る包摂的な階層構造を示すことによって，機械学習を異な

る粒度で柔軟に適用できるフレームワークへと拡張する．

参考文献[1] Nikolaus Correll, Kostas E. Bekris, Dmitry Berenson, Oliver

Brock, Albert Causo, Kris Hauser, Kei Okada, Alberto Ro-

driguez, Joseph M. Romano, and Peter R. Wurman. Analysis

and Observations from the First Amazon Picking Challenge.

IEEE Transactions on Automation Science and Engineering,

Vol. PP, No. 99, pp. 1–17, 2016.

[2] Rosen Diankov and James Kuffner. OpenRAVE : A Plan-

ning Architecture for Autonomous Robotics. Technical Re-

port CMU-RI-TR-08-34, Robotics Institute, 2008.

[3] Ioan A Sucan and Sachin Chitta. MoveIt. Available at:

http://moveit.ros.org. Accessed: 2017/2/1.

[4] K. Ohara, K. Iwane, T. Takubo, Y. Mae, and T. Arai.

Component-based robot software design for pick-and-place

task described by SysML. In 2011 8th International Confer-

ence on Ubiquitous Robots and Ambient Intelligence (URAI),

pp. 124–127. IEEE, 2011.

図 1 提案フレームワーク

2