深層学習による空撮画像からのSLAMに関する研究

神戸市立工業高等専門学校

電子工学科

尾山 匡浩

人工知能研究振興財団 助成事業発表会

背景

ドローンが様々な場面で活躍

• 荷物の配送サービス• 高所・狭所での点検作業• 農業分野における活用 etc…

ドローンに搭載されているセンサ：GPS、地磁気、距離センサ、RGBカメラ など

センサから得られる情報を用いて飛行制御を実現

初心者でも練習すれば操作することが可能

しかし・・・利用拡大に伴って墜落などの事故も増加していくことが予想される

SLAM

高機能なドローン：自動でホームポジションに帰還する機能が実装

• GPSの届かない屋内やビルの合間などで事故や不具合が発生する可能性

• どのような場所においても安定した自律飛行を行える機能が必要

SLAM（Simultaneous Localization and Mapping）：

•周囲の環境状況を取得し，自己位置の推定と地図の生成

•深度カメラ(RGB-Dカメラ)やレーザーレンジファインダ(LiDAR)を利用

•Visual SLAM : RGBカメラで撮影された画像からSLAMを実行

ロボットや自動車において，自動運転・自律移動に関する研究開発が盛ん

ドローン映像を用いた SLAMドローン自律飛行のためのSLAMに関する研究は少ない

• 深度カメラやレーザーレンジファインダの搭載が難しい

• センサの増加に伴う機体重量の増加

• 飛行可能時間の減少や飛行の不安定化

既存のセンサ（単眼RGBカメラ）のみでVisual SLAMが実現できることが望ましい

ドローンで撮影された室内の空撮映像からSLAM（単眼カメラによるVisual SLAM）

LSD-SLAM: Large-Scale Direct Monocular SLAM

https://vision.in.tum.de/research/vslam/lsdslam

単眼カメラによるVISUAL SLAM

SLAMを実現するために … 単一のRGB画像から深度画像(距離画像)を生成する必要

LSD-SLAM[1] やORB-SLAM[2]

大規模なSLAMをリアルタイムに実現

[1] Jakob Engel et. al., “LSD-SLAM: Large-Scale Direct Monocular SLAM”, ECCV2014[2] Mur-Artal, Raul, et. al., "ORB-SLAM: a versatile and accurate monocular SLAM system." IEEE Trans. on Robotics 31.5 pp.1147-1163, 2015[3] Keisuke Tateno et. al., “CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction”, CVPR2017

CNN-SLAM[3]

• 深層学習の一つであるCNNを用いたSLAM• RGB画像から深度推定(深度画像生成)を

行った後、SLAMを実行

RGB画像からの深度画像生成

GANの派生手法であるDCGANを応用して，RGB画像から深度画像を生成するネットワークモデルを提案

本研究では、深度画像の生成に関して新しい手法を導入

GAN（Generative Adversarial Networks）[4] が提案され，画像生成が盛んに研究

GANによる画像の生成結果[4]

[4] Ian J. Goodfellow et. al., “Generative Adversarial Networks”, arXiv:1406.2661

ドローンから得られる画像に適用することで，SLAMを試みる

提案手法による現状の結果

RGB画像 推定距離 実際の距離

室内で撮影されたデータセット画像による深度推定結果 実施予定：

• 提案手法の詳細な評価と改良

• ドローンや自律移動ロボットで撮影された

屋内画像に対する適用

• 生成した深度画像を用いたSLAM

複数のRGB画像 複数の深度画像 SLAM

研究によって期待される効果

本研究では，RGB単眼画像から深度画像を生成する手法を提案し，それをもとにドローンによるSLAMの実現を目的としている。これらの技術を実現することにより，以下の事柄に関して役立つことが期待される。

ドローンはの墜落事故の危険性を減らすことに寄与できる。

ドローンの小型化のためには，軽量化のためにできるだけセンサを少なくしたほうが良いと言える。単眼カメラでSLAMができればセンサ数を削減することが可能となる。

GANによる深度画像生成モデルが確立できれば，ドローンだけではなく，それ以外の分野（例えば，自動車の自動運転やロボットの自律制御）にも適用することができる可能性