เรียบเรียงโดย น.ต. วัช รพงษ์ เข็ม...

เรยบเรยงโดย

น.ต. วชรพงษ เขมเพชร

รองหวหนาแผนกจดดำาเนนงาน กองซอมบรภณฑ กรมชางอากาศ

OPTIC FLOW-BASED NAVIGATION SYSTEM FOR UNMANNED AIR VEHICLE

ระบบการนำารองดวยวธ OPTICAL FLOW-BASED สำาหรบอากาศยานไรคนขบ

โครงสรางของ UAV โดยทวไป

Flight Controller

GPS

IMU

RADAR

Pt-St

UAVDynamic

s

Feedback Control

ทศทาง

ตำาแหนง

สงกดขวาง

เรว+สง

ขอจำากดของการใช INS + GPS + Radar มขนาดใหญ นำ*าหนกมาก ไมสามารถใชกบ UAV ขนาด

เลกได จะใชพลงงานไฟฟามาก GPS ไมสามารถใชงานไดเมออยภายในอาคาร หรอพ*นทอบสญญาณ

ขอดของ Visual Based Navigation Passive Sensor(camera) นำ*าหนกเบา ใหขอมลทสามารถนำาไปประยกตใชงานอนๆได สามารถไปไดทกท

Type of Visual NavigationMap-based Navigation Systems : เรมตนจากการใหหนยนตศกษาเสนทางและสถานทสำาคญ

โดยขอมลทไดจากถกนำามาสรางภาพ 2D จากน*นผใชจงกำาหนดเปาหมายทจะไป

Map-building Navigation Systems : วธการเดยวกบวธการขางตนแตขอมลทไดมาสรางเปน

ภาพ 3DMapless Navigation Systems : วธการน*ไมจำาเปนตองศกษาเสนทางกอนเพยงแตใชเทคนคทาง

คณตศาสตรและ 3D ในการคำานวณหาภาพถดไป สวน ใหญใชวธ Optical Flow-Based ในการคำานวณภาพ

จดกำาเนดของ Optical Flow

โครงสรางของ Optical Flow-Based UAV

Vision Module Control Module

Vision Module Optical Flow Computation ทำาหนาทในการ

แปลงภาพ 2 มตมาสรางใหเปนภาพ 3 มตทสมพนธกบสภาวะจรง

Optical Flow Interpretation ทำาหนาทในการนำา ภาพทไดจาก ข*นตอนแรกไปปรบปรงใชงานจากการ

หมนของภาพทได เทยบกบอตราเรวเชงมม(Angular Rate) ของภาพกอนหนา และการปรบขอบของภาพใหเขากน

Predictation-based Optical Flow with Adaptive Path

Structure From Motion(SFM) 3D motion estimation and obstacles

detection

•Geometrical Transformation

Perspective-central Projection

•Geometrical Transformation

•Optical Flow Differential

สวนประกอบของฮารดแวร

WiFi Antenna

GPS Antenna

Microcontroller

Vision System

Navigation Sensor

X-3D-BL

Hardware Achitecture

การบนทดสอบ Velocity Control

OF-based Velocity as accurate as GPS data ( )วดโอ

การบนทดสอบ Position Control

OF-based Position Height and Horizontal more accurate than GPS

Indoor Experiment

ในการทดสอบน*ไดทำาการทดสอบในงานแสดงนานาชาต Tokyo Big Sight

(วดโ)อ

Experiment Result : IndoorPosition and Height

Auto Flight มความ stable มากกวา Manual Flight

Autonomous Flight

Applications Object Tracking Automatic Vertical Take-off and Landing(VTOL) อปกรณสบคนในโรงงานไฟฟานวเคลยร การจบรถถง หรอยานพาหนะ

University of Technology of Compiegne, France Chiba University, Japan Massachusetts Institute of Technology, USA

University

คำาถามและขอเสนอแนะ

?

Video vision-based precise auto-landing:

http://www.youtube.com/watch?v=rbmsivw5luk optic flow based autonomous indoor flight:

http://www.youtube.com/watch?v=Zt2WisDjUY0 Visual Servoing

of a Miniature Rotorcraft UAV for Moving Ground Target Tracking: http://www.youtube.com/watch?v=-IpbOd-UuG4

velocity trajectory tracking using optic flow: http://www.youtube.com/watch?v=Zp12GjZzjt4

moving target tracking: http://www.youtube.com/watch?v=6obHavVvJyk

vision-based hovering: http://www.youtube.com/watch?v=9I8BXtbrDQM

Fully autonomous flight of a rotorcraft MAV using optic flow: http://www.youtube.com/watch?v=6U0IhPlYXKw

spiral trajectory tracking by an autonomous quadrotor micro air vehicle: http://www.youtube.com/watch?v=r4eOUDA3JJo

waypoint navigation of a small rotorcraft micro air vehicle: http://www.youtube.com/watch?v=Lo9qJz69uuQ

บรรณานกรม Farid Kendoul, Isabelle Fantoni, Kenzo Nonami."Optic Flow-Based Vision

System for Autonomous 3D Localization and Control of Small Aerial Vehicles".University of Technology of Compiegne, 60200 Compigne, France.

Terry Cornall, Greg Egan.”Optical Flow methods applied to unmanned air vehicles”.Monash University, Clayton 3800 Victoria, Australia.

Francisco Jes´us Bonin Font. “An Inverse-Perspective-based Approach to Monocular Mobile Robot Navigation”. Universitat de les Illes Balears, 2012

Francisco Bonin-Font, Alberto Ortiz and Gabriel Oliver. “Visual Navigation for Mobile Robots: a Survey”. Department of Mathematics and Computer Science, University of the Balearic Islands,Palma de Mallorca, Spain.

Jiangjian Xiao, Changjiang Yang, Feng Han, and Hui Cheng."Vehicle and Person Tracking in UAV Videos".Sarnoff Corporation.

Randolf Menzel, Karl GeiGer, Lars Chittka, JasDan Joerges, Jan Kunze and Uli Muller.”The Knowlwdge Base of Bee Navigation”. Berlin, Germany.

Dacke, M. and Srinivasan, M. V. (2007). Honeybee navigation: distance estimation in the third dimension. J. Exp. Biol. 210, 845-853.

“FastAppearance Based Mapping”.www.robots.ox.ac.uk /~mobile/wikisite/pmwiki/pmwiki.php?n=Main.FABMAP

การบนทดสอบPosition Control

Optical Flow and Image Displacement

การบนทดสอบ Position Control

ภาพทเกดจาก Integrate Displacement

ภาพจากกลองวดโอเมอทดสอบPosition Control

ภาพทเกดจาก integrate displacement สำาหรบ position feedback

Poor image quality and textureless environment

3 Nested Kalman Filters(3NKF)

1St KF ปรบปรงคณภาพ และความเขมแสงของภาพ เพอสรางภาพ 3 มต

2Nd KF ปรบปรงการหมนของภาพ 3Rd KF ปรบปรงการเปลยนแปลงของภาพจาก ความเรวของภาพทเปลยนไป

Block Matching Technique Sum of Absolute Difference(SAD)

Nominal Displacement

Shape of Path Transformation

Differential Algorithm Observed Brightness

State Vector of X by brownian process

Optical Flow Mapless Method

Optical flow คอ vector field ซงแสดงถงทศทางและขนาดของการเปลยนแปลงความเขม(intensity) จากภาพหนงกบภาพอนๆ เพอเทยบ

เคยงกนถงแมจะมมมของภาพ หรอแสงทตางกน brightness constant constraint(BCC) and

smoothness constraint

(u,v) = optical flow vector(Ix,Iy)=image intensity gradientIt=temporal change

Perspective Projection Model

Translation velocityRotation

ObjectImage coordinate of P

Optical Patterns

Fig.3 Motion Z axisDistinct max magnitude of divergenceDivergence and curl plot hotter colors=greater magnitude

Fig.4 pitching motion

Fig.5 Rotational Field an CurlCurl=max at rotation axis

Fig.6 Combine rotation and translation

Ground Control Station Display Flight Send Navigation Command take-off, landing,

hovering GPS and INS = Position and Velocity AHRS = Attitude Vision-based

คำานวณหา ความเรว, ความสง และตำาแหนง จากภาพ เทยบกบ IMU ความเรว, ความสง, ตำาแหนง ทคำานวณไดจาก Vision-

based และจาก GPS/INS จะถกนำามาเปรยบเทยบกนทGround Control Station เพอทดสอบความแมนยำา

ผลการทดสอบ Velocity Control ความสามารถการ hovering flight และ velocity

trajectory tracking(forward, backward, sideward) เพอทดสอบการ sfm algorithm ( ความเรว สง)

Take off->hover->trajectory ผลการทดสอบ ความเรว การนำาทางโดย vision และ

gps ตรงกน

ทดสอบความสามารถของtrajectory(position,height, velocity, orientation)

Take off->hovering->auto landing

ไดทำาการแสดงในงาน Tokyo big sight international exhibition