y ßdrone.sjtu.edu.cn/dpzou/teaching/course/lecture01-intro.pdf · 2017. 11. 17. · ° v ° v y ( ñ ß = ñ %² _ « ° , + £ 0gsky 0 -ohyut d z w ] } v } ( z s ] µ o t } o *levrq

视觉定位与感知Visual Localization & Perception

邹丹平助理研究员

[email protected]://drone.sjtu.edu.cn/dpzou

导航与感知所

Danping Zou @Shanghai Jiao Tong University

自我介绍• 邹丹平

– 助理研究员– 信息技术与电气研究院 ( 感知与导航研究所)– 微电子楼309– Email:[email protected]

• 主要研究方向：– 图像处理和三维重构方法– 计算机视觉定位技术– 无人机智能控制技术


视觉定位与环境感知

计算机视觉

测绘

导航

机器人

课程简介

• Localization - 定位问题• Perception - 感知问题：场景地图构建、三维重建、场景理

解与分割）• Vision – 以摄像头作为主要传感器，通过计算机视觉算法，

完成定位和环境感知的问题


• 应用场景：– 无人机– 地面机器人– 辅助/自动驾驶

课程内容安排


概要

图像处理基础

多视角几何基础相机模型、单目几何、双目几何

光流、特征抽取/匹配、直方图均衡

数学基础几何变换、奇异值分解、最小二乘问题

三维重建3D Reconstruction

基于双目图像的深度恢复

同步定位与地图构建（SLAM)

课程成绩• 平时分：30% （作业）• 期中大作业：35% （小组报告，答辩）• 期末考试：35% （闭卷）

• 助教：姚若晨，刘玮琪• 办公室：微电子楼309


参考书目• Richard Hartley & Andrew Zisserman, Multiple View

Geometry in Computer Vision• David Forsyth, Jean Ponce, Computer Vision – A

Modern Approach

• 其他：– Richard Szeliski, Computer Vision – Algorithms and

Applications– 高翔博士：《视觉SLAM十四讲》


视觉定位与感知技术导览

8

概要

• 光流• 基于图像匹配的视觉定位• 同步定位与建模（SLAM）

• 视觉SLAM• 基于其他传感器的

SLAM• 多传感器融合

• 双目深度匹配(Binocular stereo)

• 基于图像的多视角3D重构 (Multi-view stereo)

• 基于深度神经网络的场景3D预测

定位感知

光流• 光流：观察者感知到的一种场景相对运动图案

James J. Gibson

(1904-1979)

The Perception of the Visual World

Gibson is one of the most important 20th century psychologists in the field of visual perception.

Optical flow is first introduced by James J.Gibson in 1940s

相对速度估算• 计算机视觉中的光流：

一种计算两帧图像间的相对运动的算法。• 有两种经典的算法：

Lucas-Kanade 算法（稀疏法）Horn-Shunk 算法（密集法）

稀疏光流密集光流（每像素）

基于图像匹配的定位• 纯图像匹配定位方法：使用图像检索的方法得到位置信息

Query image

database of geo-tagged images

?

image retrieval

基于点云匹配的定位利用3D-2D的特征点匹配得到自身位置与姿态：• 使用三维重建的方法获取三维点云• 从查询的图像中抽取特征点，将它们与三维点云匹配

Query image

3D point cloud from internet photos

feature matching

基于匹配的定位方法存在的挑战：图像匹配是一个非常困难的问题：

不同视角不同光照运动物体相似结构计算量巨大

导航与感知研究所

同步定位与建模-SLAM

• SLAM:– Simultaneous (同步)– Localization (定位)– And (与)– Mapping (建模)


• 我在哪？

• 周围地形？

定位

建模

同步定位与建模-SLAM


SLAM的应用背景• 机器人自主导航


• 自动驾驶

SLAM的应用背景

DARPA Grand Challenge 2004

Mojave Desert

$1 million 150 miles No one finished Sandstorm from the Robotics Institute of Carnegie Mellon University drove 7.36 miles


Google 无人驾驶车• Google X lab• 安全行驶48万公里


三维空间的SLAM• 无人机精准控制


视觉同步定位与建模( Visual SLAM)• Visual SLAM

– 使用摄像头作为环境感知的传感器

• 优点：– 造价低，重量轻，能耗低– 被动工作方式– 信息丰富（图像信息）


视觉定位几何知识• 透视投影模型(Perspective camera)

光心

图像平面

三维点

成像点


视觉定位几何知识• 基于视差原理的三位重构（3D Reconstruction)

已知:• 相机各角度的姿态(朝向+位置)• 有足够的视差• 各角度图像中的对应点

输出: 场景点的三位坐标

建模(Mapping)


视觉定位几何知识• 相机自身姿态估算

已知:• 场景点的三位坐标• 三位点与图像上特征点的对应关系

输出: 相机自身的姿态(朝向+位置)

定位(Localization)


图像中特征点的检测与匹配

• SIFT• SURF• KLT


Visual SLAM的整体流程

不时地优化点的三位坐标和相机姿态

相机当前姿态估算

初始化生成

种子点云图像特征点匹

配

利用当前姿态重构出新的三

维点


单目Visual SLAM• 仅使用一个摄像头来对自身定位和场景重建

C6D = (R, t)T

L2 = (x2, y2 ,z2)T

地标(Landmark)

L1 = (x1, y1 ,z1)T


单目Visual SLAM– MonoSLAM

Davision et al.EKF – based SLAM

MonoSLAM - ICCV 2003

Andrew Davison,Professor

Robot Vision Research Group

Imperial College London


MonoSLAM

源代码: http://www.doc.ic.ac.uk/~ajd/software.html


单目Visual SLAM• PTAM (Parallel Tracking And Mapping)

Klein et al.PTAM – ISMAR 2007

PTAM Demo

Source code: http://www.robots.ox.ac.uk/~gk/PTAM/


单相机Visual SLAM的缺点• 视差不够的情况下，容易失败。

侧移旋转前行


单相机Visual SLAM的缺点



初始化生成


配


维点


单相机Visual SLAM的缺点



初始化生成


配


维点


单相机Visual SLAM的缺点• 尺度不确定性

？

相机之间的距离与场景进行整体缩放


双目相机(Stereo)• 使用固定的两个摄像头

Point grey’s Bumblebee

C6D = (R, t)T L = (x, y, z)T

• 无视差问题，• 无耻度不确定性，• 可以进行密集重构（dense reconstruction)


双目相机(Stereo)• 视觉里程计 ( Visual Odemetry)

2010 , Intelligent Vehicles Symposium – Visual Odometry based on Stereo Image Sequences with RASAC-based Outlier Rejection Scheme

Demo


多相机的Visual SLAM• 使用多相机固定装置

Kaess, M., & Dellaert, F. (2006). Visual slam with a multi-camera rig.


多相机的Visual SLAM• 轻量级的多相机SLAM系统

• 轨迹估算• 路标识别• 避撞• 可行走空间路径规划

Nguyen, V., Harati, A., Martinelli, A., Siegwart, R., & Tomatis, N. (2006, October). Orthogonal SLAM: a step toward lightweight indoor autonomous navigation. In Intelligent Robots and Systems, 2006 IEEE/RSJ International Conference on (pp. 5007-5012). IEEE.


基于其他传感器的SLAM方法-主动方法• 激光深度扫描仪

通过激光束的折返时间来计算场景深度


基于其他传感器的SLAM方法• 2D激光深度扫描仪


基于其他传感器的SLAM方法• 2D激光深度扫描仪


基于其他传感器的SLAM方法• RGB-D相机 (图像+深度)

IR projector IR CameraRGB camera

Microsoft Kinect


Kinect深度测距原理

• Method and system for object reconstruction(WO2007/043036)

• Distance-varying illumination and imaging techniques for depth mapping (US2010/0290698)

• Three-dimensional using speckle patterns(WO2007/105205)


Kinect深度测距原理• 用红外激光投影出伪随机点状图案对场景表面进行标识编码

78


Kinect深度测距原理• 三角化求深度 (Triangulation)


Kinect深度测距原理

• 运用散光将图案和深度联系起来：不同深度，椭圆点的朝向不一样


其他传感器• LIDAR3D激光扫描 • Time of Flight Camera


相关应用• 互联网图片场景重构

M. Goesele, N. Snavely, B. Curless, H. Hoppe, S. Seitz, Multi-View Stereo for Community Photo Collections, ICCV 2007


相关应用• 图片观光系统

N.Snavely, S.Seitz, Phto Tourism: Exploring Photo Collections in 3D, SigGraph 2006.


相关应用• 无人机(UAV)自主导航

无人机在室内按照预设轨迹飞行

真实飞行轨迹


相关应用

无人机相关应用(会飞的摄像头）

相关应用• AR/VR 运动跟踪

• 得到相机的精准姿态• 将虚拟物体放置在场景

中



发展趋势: 视觉 + X 融合定位导航

GNSS 惯性导航 Wifi 无线电地图

• 更高的定位精度• 更快的定位速度


室外

室内

发展趋势:场景理解

视觉SLAM近十年大致发展历程

MonoSLAM2003

MonoSLAM with Straight lines2006

PTAM2007

2010 Large scale Monocular SLAM

One-point RANSAC MonoSLAM2009

2014

ORB-SLAM

CoSLAM*2013

2015 StructSLAM*

Filter-based Key frame based

2011 DTAM

LSD-SLAM

Dense

Semi - Dense

Visual Odometry2004

Monocular

Binocular

Camera team


视觉SLAM开源软件

– PTAM(http://www.robots.ox.ac.uk/~gk/PTAM/)– ORBSLAM(http://webdiis.unizar.es/~raulmur/orbslam/)– MonoSLAM(http://webdiis.unizar.es/~jcivera/code/1p-

ransac-ekf-monoslam.html)– VisualSFM (http://ccwu.me/vsfm/)– CoSLAM (https://github.com/danping/CoSLAM)




Real system – Multi-Robot vSLAMRui Huang. J.M.Perron, etc. Orbiting a Moving Target with Multi-Robot

Collaborative Visual SLAM, RSS-MVIGRO, 2015

Onboard Visual SLAM /UAV

Active Image Modeling


Active Image Modeling


R. Wang, D. Zou etc, A Robust Aerodynamics-Aided State estimator for Multi-rotor UAVs, IROS, 2017

Dark scenes

R. Wang, D. Zou etc, An Aerodynamics Model-Aided State estimator for Multi-rotor UAVs, IROS, 2017

Low texture + dark scenes

SJTU UAV competition

http://drone.sjtu.edu.cn/contest/

招生信息

• 外校考研：学科-信息与通信工程（04电子工程系）• 博士：

– 上海交通大学电子系夏令营• 本校保送：

– 申请电子工程系“雏鹰”计划，接受跨院系保送• Abroad: “The Belt and Road” Satellite Navigation and

Remote Sensing Program (Master with A-grade National Scholarship )


http://aitee.sjtu.edu.cn/感知与导航研究所

Documents

y ßdrone.sjtu.edu.cn/dpzou/teaching/course/lecture01-intro.pdf · 2017. 11. 17. · ° v ° v y ( ñ ß = ñ %² _ « ° , + £ 0gsky 0 -ohyut d z w ] } v } ( z s ] µ o t } o *levrq