22
Inertial and vision-based Simultaneous Localization and Mapping ,I- vSLAM Source 工工工 工工工工工工工工工 Authors 工工工 工工工工 工工工工 工工工 、、、 ( 工工工工工工 工工工工工工工工 ) Speaker 工工工 Advisor 工工工 工工 Date 99.12.14 1

Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

  • View
    244

  • Download
    5

Embed Size (px)

Citation preview

Page 1: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

Inertial and vision-based Simultaneous Localization and Mapping ,I-vSLAMSource : 工研院 智慧機器人技術專輯Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 ( 工研院機械所 智慧機器人技術組 )Speaker :余俊瑩Advisor :洪國寶 老師Date : 99.12.14

1

Page 2: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

2

OUTLINE一、 Introduction

二、 I-vSLAM system

三、 3D inertial sensor model

四、 EKF I-vSLAM model

五、 Experiment

六、 Conclusions

Page 3: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

3

一、 INTRODUCTION 機器人自主移動研發主要核心技術包含兩大層面 : Scene Understanding and Localization

當環境資訊是未知的或環境中的參考點不可用時,最常使用 SLAM(Simultaneous Localization And Mapping)

- 透過 Sensors 進行環境感知,藉由機器人接收 sequential 外部資訊使

用 Probabilistic 達到同步自行定位及環境地圖建置 .

利 用 MonoSLAM 並 結 合 EKF(Enhance Kalman Filter) 或 PF(Particle Filter) ,整合 inertial sensors 進行機器人移動的預測及修正程序

Page 4: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

4

OUTLINE一、 Introduction

二、 I-vSLAM system

三、 3D inertial sensor model

四、 EKF I-vSLAM model

五、 Experiment

六、 Conclusions

Page 5: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

5

二、 I-VSLAM SYSTEM 機器人移動與旋轉位移量的 Motion Prediction 透

過慣性感測模組提供-Accelerometer: 偵測機器人在空間中三軸的位移及 角度資訊-Gyroscope : 可測角速度-Digital Compass: 計算機器人相對地球磁場的角度

直接整合於機器人上進行量測,不需要額外的外部感測環境,既使外部環境有所變化,仍然可以達成位置估測目的

Page 6: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

6

二、 I-VSLAM SYSTEM 除了透過慣性融合技術降低機器人移動位置估測

的環境干擾,也透過整合單一攝影機所擷取的影像資訊,進行 Motion Correction

Page 7: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

7

二、 I-VSLAM SYSTEM

Page 8: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

8

OUTLINE一、 Introduction

二、 I-vSLAM system

三、 3D inertial sensor model

四、 EKF I-vSLAM model

五、 Experiment

六、 Conclusions

Page 9: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

9

三、 3D INERTIAL SENSOR MODEL Accelerometer 及 Gyroscope 可感受機器人高速的

動態平移資訊與轉動資訊,但經過長時間的積分計算,會造成無法消除的累積誤差

Digital Compass 易受外界電磁波干擾

以每種 sensors 的優點來彌補其他 sensors 的缺點,進而估測出正確的機器人姿態與加速度,以提供更準確的 3D 角度與位移量的估測

Page 10: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

10

三、 3D INERTIAL SENSOR MODEL

Page 11: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

11

三、 3D INERTIAL SENSOR MODEL

陀螺儀偵測機器人三軸角速度

Page 12: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

12

OUTLINE一、 Introduction

二、 I-vSLAM system

三、 3D inertial sensor model

四、 EKF I-vSLAM model

五、 Experiment

六、 Conclusions

Page 13: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

13

四、 EKF I-VSLAM MODEL 利用 EKF 來建構 I-vSLAM 的 Motion Model 及

Measurement Model

Motion Model 藉由機器人的運動,預測 (Prediction) 其狀態 使用 IMU 的加速度以及角度資訊,計算其預測之位置與朝向角

Measurement Model 藉由感測器量測之環境資訊,修正 (Correction) 其預測之狀態

Page 14: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

14

Page 15: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

15

四、 EKF I-VSLAM MODEL

0 1 1...t

c nX x y y y

, | 1

1( )( , , ) 2

( , )

( , )

x

c t t v

new new

x v a t tf x v a

x f v a v a t

f

( )tcx x v

0( )tiy x m

系統狀態 (camera and feature)Camera 在空間中位置

Camera 預估線性速度

Camera 在空間各軸角度

Inertial 感測到載體在空間各軸角度

Camera 第一次看到特徵點 i 的世界座標特徵點 i 相對於 camera 的深度倒數

camera 相對於世界座標的方向向量

Page 16: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

16

四、 EKF I-VSLAM MODEL

相對於相機的座標為特徵點為相機廣角扭曲係數

為像素長寬左上為為畫面中心座標

izyx

vu

x

zv

x

yu

x

z

v

v

x

y

u

u

id

idi

yhhh

kk

kk

vu

rkrkh

hFv

rkrkh

hFu

rkrkh

h

k

fv

rkrkh

h

k

fu

v

u

ˆ),,(

,

),(

))0,0(( ),(

)1)((

)1)((

)1)((

)1)((

21

00

42

210

42

210

42

210

42

210

,

,

z

Page 17: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

17

四、 EKF I-VSLAM MODEL

Page 18: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

18

OUTLINE一、 Introduction

二、 I-vSLAM system

三、 3D inertial sensor model

四、 EKF I-vSLAM model

五、 Experiment

六、 Conclusions

Page 19: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

19

OUTLINE一、 Introduction

二、 I-vSLAM system

三、 3D inertial sensor model

四、 EKF I-vSLAM model

五、 Experiment

六、 Conclusions

Page 20: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

20

六、 CONCLUSION藉由低成本之慣性融合演算法的開發,提升機器人移動資訊預測的準確性- 可降低機器人單純靠視覺感測器定位易造成的空間迷向

進而透過單一攝影機的影像資量的分析比對,達到環境地圖的建構及機器人移動資訊

提升機器人對於 Scene Understanding and Localization準確度

Page 21: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

21

Q&A

Thanks for your attention

Page 22: Inertial and vision-based Simultaneous Localization and Mapping,I-vSLAM Source : 工研院 智慧機器人技術專輯 Authors : 謝祥文、張彥中、蔡雨坤、鄭明育 (

22

OUTLINE一、 Introduction

二、 I-vSLAM system

三、 3D inertial sensor model

四、 EKF I-vSLAM model

五、 Experiment

六、 Conclusions