• ロボットは、GPSを使わずに、指示した場所まで効率的に移動できると良い。
• ロボットへの教示は、人が居る環境で、人を案内するように連れて歩くだけで済ませたい。
• 天井にセンサをつけたり、床にラインを引くなどの、手間や経費をかけたくない。
• 以上を実現し、清掃、警備、案内ロボット等に実用レベルで使いたい。
目標:人の身近で活動するロボットを創りたい
電動車椅子にも使いたい
• GPSが利用できない地下や屋内の人混みで、電動車
椅子を自律制御したい。これにより、搭乗者、歩行者、双方の安全・安心を確保したい。
• 移動のための地図は、高齢者を含む誰もが簡単に作成可能としたい。
3
• 通常、人は日頃利用する駅の、改札前の様子を思い出すことができる。
• しかし、今日、改札の前にいた人を、思い出すのは困難。
• つまり、人間は、非常に優れた画像情報処理をしており、そこにたまたま居た人のことは覚えず、改札付近の情景だけを的確に選び出して覚えている。
人は環境をどう見ているのか?
人は、覚えるべきものと、覚えなくて良いものを
瞬時に判別している。(大岡山駅前の例)
人は、覚えるべきものと、覚えなくて良いものを
瞬時に判別している。(大岡山駅前の例)
覚える 覚える
覚える
覚えない 覚えない
覚えない
この機能は、実環境で人と共存するロボットには不可欠。
以下は、移動ロボット分野における性能評価のための世界標準データの一つ。
移動ロボットが以下の情景の中をループ状に2回周回する。2周目には、1周目のどの情景と一致するかを当てる。
1周目に居た、人や車が居なくなっても当たるか?
これを画像処理で実現したい!
長谷川研の独自手法の導入
PIRF
8
PIRF Position Invariant Robust Features
動くカメラの映像中から止まっているもののみを取り出す技術
9
Aram Kawewong, Sirinart Tangruamsub and Osamu Hasegawa, "Position-invariant Robust
Features for Long-term Recognition of Dynamic Outdoor Scenes," IEICE Transactions on
Information and Systems, Vol.E93-D, No.9, pp.2587-2601, (2010)
PIRF:動いているカメラから、止まっている
ものと、動いているものを見分ける技術
SIFT : 普通に処理すると、あらゆるところから画像特徴が出る。
PIRF: 提案手法の処理結果例
10
たまたま通りかかった人。 PIRFは出て いない。
PIRF: algorithm
11
Current image
過去の画像を参照し、 共通するSIFT特徴を 抽出して、その位置の 特徴表現とする。
12
PIRF は下記の上下が同じ場所で あることを認識出来る。
学内駐車場: 上は休日、下は平日。
上は昼、下は同じ場所の夜。
PIRF-Nav, PIRF-Nav2.0 PIRF based Navigation
PIRF を用いた、日常生活空間に
おける自己位置推定手法
(PIRF-Nav2 は改良高速版)
13
A.Kawewong, N.Tongprasit, S.Tangruamsub, O.Hasegawa,: "Online and
Incremental Appearance-based SLAM in Highly Dynamic Environments",
International Journal of Robotics Research (IJRR), 2010
OXFORD大から公開されているデータセット OXFORD大周辺の景観
New College
14
独自に整備したデータセット 東工大すずかけキャンパス周辺を全方位カメラで撮影
Suzukakedai
15
比較実験タスク(再掲)
移動ロボットが以下の情景の中をループ状に2回周回する。2周目には、1周目のどの情景と一致するかを当てる。
1周目に居た、人や車が居なくなっても当たるか?
赤い点が多い方が優れた手法
さらに、提案手法は完全オンライン学習手法
FAB-MAP (Oxford Univ.) 提案手法
認識率 43.32%
東工大の情景データに対する実験結果
(提案法の優位が歴然)
18
FAB-MAPは辞書を事前にバッチ学習。ゆえに新規なデータには対応困難。
PIRF-Nav 2.0 Fast and Online Incremental Appearance-Based
Loop-Closure Detection in an Indoor Environment
Aram Kawewong, Tongprasit Noppharit and Osamu
Hasegawa, Elsevier Robotics and Autonomous Systems,
2011. (To Appear)
20
さらなる実験
東工大学食での実験
エキストラでない不特定多数の人が利用
• 認識率:86.65%(FAB-MAP:17.80%)
• 平均処理時間:264ms / 枚(同:577ms/枚)
21
全方位カメラの画像のため,同位置の画像でも 撮影時のカメラの向きによって見え方が異なります
混雑した学食での実験
入力(テスト)画像 同位置と推定された学習画像
食堂での実験結果
22
提案手法 圧倒的に優れる
提案手法は、完全オンラインで、その場で学習・識別していることに注意
Oxford
FAB-MAP
PIRF,PIRF-NAV,PIRF-NAV2.0から
3D-PIRF へ • PIRF
↓ 自己位置同定技術に拡張
• PIRF-NAV, PIRF-NAV2.0
↓ 3次元地図の構築技術に拡張
• 3D-PIRF
3D-PIRF
PIRF を用いた、3次元地図の学習・構築手法。
これにより、移動ロボットは混雑環境中でも環境地図を
即座に学習し、任意の地点に移動できる。
24
Vision-based Mobile Robot's SLAM and
Navigation in Crowded Environments
Hiroshi Morioka, Yi Sangkyu, Osamu Hasegawa
IEEE/RSJ International Conference on Intelligent Robots and Systems, (IROS 2011)
長谷川研ホームページにデモビデオ有り 25
認知地図(cognitive map)の獲得と利用 ー この技術を、自律移動ロボットに搭載して実験 -
→ 場所の情景と、行動とを複合的にオンライン学習 • 私たち人間も、同じように地図獲得をしている。例えば、すずかけ台駅改札の情景から、左に曲がり、少し進むと、石の階段がある、など。
• ロボットは学習後、獲得した地図上で探索し、任意の地点間を移動できる。
左旋回
前進
左旋回
右旋回して前進
前進
人を案内するように、ロボットを連れて歩くと、ロボットは
入力映像中の人の影響を極力排除し、情景だけを覚え、
任意の地点間を自律移動できる。
本研究で構築する「ハイブリッド地図」のイメージ
28
00.5
11.5
22.5
x 104-2000
-1000
0
1000
2000
3000
4000
5000
-101
x 104
z
FeatureNum: 1460
x
y
特徴点
ハイブリッド地図
観測データ
全方位カメラ エンコーダ
局所地図
グラフ構造を持つため,経路計画がしやすい
距離情報も持つため,最短経路探索が可能
…
軌跡
特徴点の3次元位置の計算とハイブリッド地図の構築
29
オドメトリ
3D-PIRF
観測
(特徴点の計測方向)
ロボットの姿勢
特徴点の3次元へのマッピング方法
30
最大化
事後確率
(ロボットの姿勢)・ (特徴点の位置)が求まる
ロボットの姿勢
特徴点の位置
入力
から見た の観測値
(相対座標)
ハイブリッド地図
局所地図
ナビゲーションフェーズ
31
ナビゲーションフェーズ : 学習フェーズで学習した軌跡に自律追従
学習した地図と現在の地図とのノード間の距離・局所マップを比較し,自己位置を推定する
学習した軌跡に追従するように経路計画を行う
スタート
ゴール
: 学習した局所地図
: 現在の局所地図
ナビゲーションフェーズ
32
局所マップの比較による自己位置推定のための情報取得
1. Loop-Closing検出を行う
2. 学習した地図と現在の地図との局所マップを比較(特徴点のマッチングを取る)
3. 8点アルゴリズムなどで学習時と現在の姿勢との相対姿勢を求める
局所マップ中の特徴点の数 : 平均20~30個程度
相対姿勢の誤差 : 平均20[cm]以内
相対姿勢
過去の
局所マップ
現在の
局所マップ
提案システム全体
33
連続画像
3D-PIRF抽出
相対位置計算
Loop-Closing
の検出,
軌跡の修正
オドメトリ
ハイブリッド地図
…
軌跡
局所メトリカル地図
3D-PIRF
相対位置
学習フェーズで学習したハイブリッド地図
…
軌跡
経路計画
局所メトリカル地図
ナビゲーションフェーズのみ
実験結果 : 学習フェーズ(人が操縦)
34
オドメトリのみの場合,軌跡を正しく計算できない
提案手法では,カメラから安定した特徴点を抽出して,その情報を用いることで軌跡が正しく計算できている
: Loop-Closing検出位置
提案手法 オドメトリのみ
実験結果 : ナビゲーションフェーズ(自律移動)
35 ゴールまで自律的に到達できている
動いている人の周辺からは抽出されていない
3D-PIRF
この技術は移動支援IRTへの活用を検討中
• 屋外だけでなく、GPSが利用できない地下や屋内の人混みでも自律移動
• 搭乗者、歩行者、双方の安全・安心の実現
• 移動のための地図は、患者や高齢者を含む誰もが簡単に作成可能(従来法は膨大な手間)
• まず、電動車椅子への搭載を検討。人の生活環境で活動するロボット全般に利用可能。
36
ルンバとの違い?
ルンバはランダムに
移動するのみ。
地図を学習せず、指定した場所まで移動、といったことはできない。
テスト画像 手持ちのiPhone4
のカメラで撮影
学習画像 手持ちの家庭用
ビデオカメラ
で撮影
この技術は、携帯カメラでも稼働する
下が学習画像で、上がテスト画像。人が居ても、人の影響を受けずに上下は同位置と正しく判定している。 テスト画像にはiPhone4の画像を使用。
GPSの使えない屋内や地下でも利用可能 38