ĐẠI HỌC THÁI NGUYÊN ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

BÁO CÁO TÓM TẮT

ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP ĐẠI HỌC

NGHIÊN CỨU MỘT SỐ THUẬT TOÁN ĐIỀU KHIỂN ROBOT DI ĐỘNG

SỬ DỤNG THÔNG TIN HÌNH ẢNH

Mã số: ĐH2014-TN08-02

Chủ nhiệm đề tài: ThS. Lê Văn Chung

Thái Nguyên, tháng 5 năm 2017

1

ĐẠI HỌC THÁI NGUYÊN

TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

THÔNG TIN VÀ TRUYỀN THÔNG

DANH SÁCH THÀNH VIÊN THỰC HIỆN ĐỀ TÀI

ĐƠN VỊ PHỐI HỢP CHÍNH

TT Tên đơn vị

trong và ngoài nƣớc

Nội dung phối hợp nghiên

cứu

Họ và tên

ngƣời đại diện đơn vị Ghi chú

1

Viện Công nghệ thông tin –

Viện Hàn lâm khoa học Việt

Nam

Phối hợp nghiên cứu, trao

đổi chuyên môn

PGS.TSKH Phạm Thƣợng

Cát

TT Họ và tên Đơn vị công tác và

lĩnh vực chuyên môn

Nội dung nghiên cứu

cụ thể đƣợc giao Ghi chú

1 NCS. Lê Văn Chung

Đơn vị công tác: Khoa Công

nghệ tự động hóa, trƣờng Đại

học Công nghệ thông tin và

Truyền thông

Chuyên môn: Điều khiển và tự

động hóa.

Chủ nhiệm đề tài, thực

hiện các nội dung

nghiên cứu liên quan

đến đề tài

2 ThS. Vƣơng Thị Yến

Đơn vị công tác: Phòng KH-

CN&HTQT, trƣờng Đại học

Công nghệ Thông tin và

Truyền thông

Chuyên môn: Toán

Thƣ ký hành chính đề

tài

2

MỤC LỤC

ĐẠI HỌC THÁI NGUYÊN ..................................................................................................................... 1

MỞ ĐẦU.................................................................................................................................................. 9

TÓM TẮT NỘI DUNG ĐỀ TÀI ........................................................... Error! Bookmark not defined.

CHƢƠNG 1. GIỚI THIỆU CHUNG VỀ ROBOT DI ĐỘNG, CAMERA XỬ LÝ ẢNH VÀ

ROBOT PAN TILT ............................................................................................................................... 13

1.1 Giới thiệu camera Eye RIS 2.1. .................................................................................................... 13

1.2. Giới thiệu robot Pan tilt PTU - D48E ......................................................................................... 13

CHƢƠNG 2. XÂY DỰNG MÔ HÌNH ĐỘNG HỌC VÀ MÔ HÌNH.................................................. 15

ĐỘNG LỰC HỌC CHO HỆ THỐNG ................................................................................................... 15

2.1. Mô hình động học hệ robot pan/tilt stereo camera. ..................................................................... 15

2.2. Xây dụng mô hình động học và động lực học hệ robot di động – bệ pan/tilt stereo camera ...... 16

2.2.1 Mô hình động học.................................................................................................................. 16

2.2.2. Xây dụng mô hình động lực học .......................................................................................... 16

CHƢƠNG 3. THIẾT KẾ THUẬT TOÁN ĐIỀU KHIỂN VÀ MÔ PHỎNG HỆ THỐNG ................... 18

3.1 Thiết kế thuật toán điều khiển hệ pan/tilt stereo camera và mô phỏng ........................................ 18

3.1.1. Thiết kế thuật toán điều khiển động học hệ pan/tilt bám mục tiêu di động. ....................... 18

3.1.2 Mô phỏng minh họa trên PC ................................................................................................. 18

3.2 Thiết kế thuật toán điều khiển hệ robot di động – pan tilt – stereo camera và mô phỏng. ........... 18

ĐÁNH GIÁ MỨC ĐỘ HOÀN THÀNH ............................................... Error! Bookmark not defined.

Hiệu quả đạt đƣợc của đề tài: ................................................................. Error! Bookmark not defined.

3

DANH MỤC CHỮ VIẾT TẮT VÀ KÝ HIỆU

Ký hiệu Đơn vị Ý nghĩa

f pixel Tiêu cự camera

K m Khoảng cách 2 camera

m Pixel Véc tơ đặc trƣng ảnh

Jimag Ma trận Jacobi ảnh

Jrobot Ma trận Jacobi robot

J Ma trận Jacobi tổng hợp

Tx Ty Tz m/s Vận tốc dài của tay nắm camera

x y z m/s Vận tốc góc của tay nắm camera

x Véc tơ mô tả vị trí và hƣớng của camera.

W Ma trận trọng số của mạng nơ ron

U, V Pixel Tọa độ ảnh của đối tƣợng

4

DANH MỤC HÌNH VẼ

Hình 1.1. Camera Eye-RIS v2.1 ........................................................ Error! Bookmark not defined.

Hình 1.2. Cấu trúc tiến trình xử lý trong Eye-RIS 2.1 ....................... Error! Bookmark not defined.

Hình 1.3. Robot di động Pioneer 3DX .............................................. Error! Bookmark not defined.

Hình 1.4. Một số chế độ hoạt động của robot Pioneer 3DX .............. Error! Bookmark not defined.

Hình 1.5. Cấu trúc hệ thống thƣ viện C++ của ARIA. ...................... Error! Bookmark not defined.

Hình 1.6. Bệ pan/tilt PTU-D48E-Series ............................................ Error! Bookmark not defined.

Hình 1.7. Ứng dụng của bệ Pan/Tilt PTU D48E ............................... Error! Bookmark not defined.

Hình 2.1. Hệ tọa độ của hệ thống ...................................................... Error! Bookmark not defined.

Hình 2.2. Mô hình hệ thống camera .................................................. Error! Bookmark not defined.

Hình 2.3. Ảnh theo 2 trục Z, Y .......................................................... Error! Bookmark not defined.

Hình 2.4. Ảnh theo 2 trục X, Y ......................................................... Error! Bookmark not defined.

Hình 2.5. Hệ robot di động – pan tilt – stereo camera ....................... Error! Bookmark not defined.

Hình 2.6. Mô hình hệ thống stereo camera ........................................ Error! Bookmark not defined.

Hình 2.7. Ảnh theo hai trục X, Z (trái) và Y, Z (phải). ..................... Error! Bookmark not defined.

Hình 2.8. Vị trí và hƣớng mong muốn của robot di động. ................ Error! Bookmark not defined.

Hình 3.1. Mạng RBF xấp xỉ hàm f .................................................. Error! Bookmark not defined.

Hình 3.2. Cấu trúc của hệ visual servoing điều khiển camera bám mục tiêu di động có nhiều

tham số bất định ..................................................................................... Error! Bookmark not defined.

Hình 3.3. Sai lệch tọa độ ảnh mục tiêu (pixel). ................................. Error! Bookmark not defined.

Hình 3.4. Sai lệch tọa độ ảnh mục tiêu (pixel) khi bộ điều khiển không có mạng nơ ron bù (,

1u = 0 ). Error! Bookmark not defined.

Hình 3.5. Sai lệch bám tọa độ khi mục tiêu di chuyển theo đƣờng thẳng.Error! Bookmark not defined.

Hình 3.6. Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đƣờng thẳngError! Bookmark not defined.

Hình 3.7. Sai lệch bám tọa độ khi mục tiêu di chuyển theo đƣờng thẳng với bộ điều khiển không

có mạng nơ ron bù ( ,

1u = 0 ). ................................................................... Error! Bookmark not defined.

Hình 3.8. Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đƣờng thẳng với bộ điều khiển không

có mạng nơ ron bù .................................................................................. Error! Bookmark not defined.

Hình 3.9. Sai lệch bám quỹ đạo khi mục tiêu cơ động theo cung trònError! Bookmark not defined.

Hình 3.10. Sai lệch tọa độ ảnh khi mục tiêu cơ động theo cung tròn .. Error! Bookmark not defined.

Hình 3.11. Sai lệch bám quỹ đạo với mục tiêu cơ động theo cung tròn khi bộ điều khiển không có

mạng nơ ron bù Error! Bookmark not defined.

Hình 3.12. Sai lệch tọa độ ảnh với mục tiêu cơ động theo cung tròn khi bộ điều khiển không có

mạng nơ ron bù ( ,

1u = 0 ). ....................................................................... Error! Bookmark not defined.

Hình 3.13. Sai lệch bám quỹ đạo khi mục tiêu di chuyển với vận tốc thay đổi.Error! Bookmark not defined.

Hình 3.14. Sai lệch tọa độ ảnh khi mục tiêu di chuyển với vận tốc thay đổi.Error! Bookmark not defined.

Hình 3.15. Sơ đồ khối hệ thống. .......................................................... Error! Bookmark not defined.

Hình 3.16. Bám tọa độ ảnh nhìn trong hệ tọa độ gốc. ......................... Error! Bookmark not defined.

Hình 3.17. Robot di động bám theo mục tiêu trên mặt phẳng x-y nhìn trong hệ tọa độ gốc. .......... Error! Bookmark not defined.

Hình 3.18. Sai số e giữa vận tốc mong muốn và vận tốc thực ............ Error! Bookmark not defined.

5

ĐẠI HỌC THÁI NGUYÊN

TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

THÔNG TIN VÀ TRUYỀN THÔNG

THÔNG TIN KẾT QUẢ NGHIÊN CỨU

1. Thông tin chung

- Tên đề tài: Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh.

- Mã số: ĐH2014 –TN08-02

- Chủ nhiệm đề tài: ThS. Lê Văn Chung

- Tổ chức chủ trì: Trƣờng đại học Công nghệ Thông tin và Truyền thông.

- Thời gian thực hiện: Từ tháng 1 năm 2014 đến tháng 12 năm 2015 (gia hạn thời gian thực

hiện đến tháng 6 năm 2016).

2. Mục tiêu

Mục tiêu của đề tài này là nghiên cứu phát triển một số thuật toán điều khiển rô bốt di

chuyển bằng bánh xe trên cơ sở thông tin hình ảnh từ 2 camera. Thuật toán phải đảm bảo có tính

bền vững với các tham số bất định và khả năng kháng nhiễu với tốc độ xử lý cao.

3. Tính mới và sáng tạo

Các nghiên cứu về hệ robot di động sử dụng camera ở Việt Nam hiện chỉ dùng 1 camera để xử

lý ảnh, còn việc tính khoảng cách thì sử dụng các sensor khác. Đề tài nghiên cứu sử dụng 2 camera để

vừa thu nhận ảnh, vừa tính toán khoảng cách tới mục tiêu.

4. Kết quả nghiên cứu

Kết quả nghiên cứu của đề tài mới dừng lại ở việc mô phỏng và thử nghiệm thuật toán trên

matlab simulink, chƣa cài đặt đƣợc lên robot. Tuy nhiên các kết quả cũng đã phần nào cho thấy các

thuật toán đƣa ra có độ đáp ứng tốt, có tính bền vững với các tham số bất định, tối ƣu đƣợc năng

lƣợng tiêu hao và sai lệch.

5. Sản phẩm

5.1. Sản phẩm khoa học

1. Lê Văn Chung (2014), “Phát triển hệ pan/tilt – nhiều camera bám mục tiêu di động”,

Tạp chí KHCN Đại học Thái Nguyên, 116(02), tr. 41-46.

2. Lê Văn Chung, Ma Thị Hồng Thu (2016), Thiết kế bộ điều khiển port controller

hamilton để điều khiển hệ pan tilt – stereo camera bám mục tiêu di động", Tạp chí

KHCN Đại học Thái Nguyên, 155(10), tr. 105-111.

3. Le Van Chung, Pham Thuong Cat (2014), “Robust visual tracking control of pan tilt

– stereo camera system”, VCM conference, pp.167-173.

4. Le Van Chung, Pham Thuong Cat (2016), “Optimal tracking a moving target for

integrated mobile robot – pan tilt – stereo camera”, Advanced Intelligent Mechatronics

AIM IEEE Conference, pp. 530 - 535.

5. Le Van Chung, Pham Thuong Cat (2015), “A new control method for stereo visual

servoing system with pan tilt platform”, Journal of Computer Science and Cybernetics,

31 (2), pp. 107 – 122.

6. Le Van Chung, Duong Chinh Cuong (2016), “Design Adaptive-CTC Controller for

Tracking Target used Mobile Robot-pan tilt-stereo camera system”, International

Conference on Advances in Information and Communication Technology, pp. 217 – 227.

6

5.2. Sản phẩm đào tạo

Nguyễn Thành Công, "Xây dựng chương trình nhận dạng khuôn mặt sử dụng thư viện

EmguCV", Đề tài KH&CN cấp Sinh viên năm 2015.

6. Phương thức chuyển giao, địa chỉ ứng dụng, tác động và lợi ích mang lại của kết quả nghiên cứu

Phƣơng thức chuyển giao: Các kết quả của đề tài ở dạng lý thuyết nên phƣơng thức chuyển

giao là mô tả chi tiết các phƣơng pháp và thuật toán điều khiển, thuật toán xử lý ảnh.

Địa chỉ ứng dụng: Viện công nghệ thông tin – Viện Hàn lâm Khoa học và Công nghệ Việt Nam.

Lợi ích của đề tài là hỗ trợ đào tạo nghiên cứu sinh và đƣa ra một số thuật toán điều khiển

cho robot di động sử dụng 2 camera có thể nghiên cứu tiếp và cài đặt lên robot thực.

Tổ chức chủ trì

(ký, họ và tên, đóng dấu)

Ngày……. tháng …… năm 2017

Chủ nhiệm đề tài

(ký, họ và tên)

7

INFORMATION ON RESEARCH RESULTS

1. General information

Project title: Research some algorithms to control mobile robot using visual information.

Code number: ĐH2014 –TN08-02.

Coordinator: ThS. Le Van Chung.

Implementing institution: Thai Nguyen University of Information and Communication

Technology.

Duration: from 1/2014 to 12/2015.

2. Objective(s)

The objective of this project is researched and developed some control algorithms robots

that moved by wheels based on information from images obtained from two cameras. The control

algorithms ensure sustainability with parameters uncertainty and resistance to interference with

high processing speed.

3. Creativeness and innovativeness

The research on mobile robot using camera in Vietnam only used one camera for image

processing, and other sensors for detecting distances. This research projects using 2 cameras for

both image processing and calculate the distance to the target.

4. Research results

Research results of the project have just stopped at the simulation and test the algorithm on

Matlab Simulink, not installed on the real robot. But the results showed that the algorithm also has

a good response, sustainability with uncertain parameters, optimize energy consumption and error

5. Products

5.1. Scientific Products

1. Le Van Chung (2014), “Developing pan/tilt - stereo camera to track a moving target”,

Jounal of Science and Technology Thai Nguyen University, 116(02), pp. 41-46.

2. Le Van Chung, Ma Thi Hong Thu (2016), "Design Port Controller Hamilton to

Control pan tilt – stereo camera system track a moving target", Jounal of Science and

Technology Thai Nguyen University, 155(10), pp. 105-111.

3. Le Van Chung, Pham Thuong Cat (2014), “Robust visual tracking control of pan tilt

– stereo camera system” VCM conference, pp.167-173.

4. Le Van Chung, Pham Thuong Cat (2016), “Optimal tracking a moving target for

integrated mobile robot – pan tilt – stereo camera”, Advanced Intelligent Mechatronics

AIM IEEE Conference, pp. 530 - 535.

5. Le Van Chung, Pham Thuong Cat (2015), “A new control method for stereo visual

servoing system with pan tilt platform”, Journal of Computer Science and Cybernetics,

31 (2), pp. 107 – 122.

6. Le Van Chung, Duong Chinh Cuong (2016), “Design Adaptive-CTC Controller for

Tracking Target used Mobile Robot-pan tilt-stereo camera system”, International

Conference on Advances in Information and Communication Technology, pp. 217 –

227.

5.2. Student research

Nguyen Thanh Cong, "Construct a program to facial recognition uses EmguCV

libraries", Scientific and technological topics of student 2015.

8

6. Transfer alternatives, application institutions, impacts and benefits of results

Transfer alternatives: The results of the research are theoretical methods, then the transfer

method is described in detail the methods, control algorithms and image processing algorithms.

Application institutions: Information Technology Institute of Vietnam - Vietnam Academy

of Science and Technology.

Impacts and benefits of results: support for a graduate student and given some control

algorithms to control mobile robot using 2 cameras. It can be developed and installed on the robot.

9

MỞ ĐẦU

Cùng với sự phát triển mạnh mẽ của các hệ thống tự động hóa, rô bốt di động ngày một

đƣợc hoàn thiện và càng cho thấy lợi ích của nó trong công nghiệp và sinh hoạt. Một vấn đề rất

đƣợc quan tâm khi nghiên cứu về rô bốt di động là khả năng nhìn và xử lý thông tin hình ảnh để rô

bốt biết đƣợc vị trí nó đang đứng trong môi trƣờng phi cấu trúc và có thể di chuyển tới một vị trí

xác định, đồng thời có thể tự động tránh đƣợc các chƣớng ngại vật trên đƣờng đi.

Hiện nay, có nhiều nhóm nghiên cứu trên thế giới đã đạt đƣợc những thành tựu đáng kể về

điều khiển rô bốt di động. Nhóm tác giả Widodo Budiharto, Ari Santoso, Djoko Purwanto, Achmad

Jazidie của đại học BINUS và viện công nghệ Indonesia đã nghiên cứu hệ thống điều khiển chuyển

động cho rô bốt dùng nhiều camera cùng với bộ lọc Kalman để loại bỏ nhiễu ảnh thu từ camera cho

độ tin cậy cao. Rô bôt dựa trên hệ thống này có tên là Srikandi III [2] cho tốc độ chuyển động

nhanh, độ chính xác cao trong phòng thí nghiệm. Cũng dùng 2 camera tốc độ cao nhóm tác giả

Masaaki Shibata, Hideki Eto, Masahide Ito ở phòng nghiên cứu trƣờng đại học Seikei Nhật Bản đã

phát triển hệ thống tìm đƣờng đi cho rô bốt tốc độ cao [3]. Camera hữu dụng trong tìm đƣờng

nhƣng nó cũng rất hữu dụng trong việc theo dõi chuyển động của các đối tƣợng, nhóm tác giả

HiroyukiUkida, MasayukiKawanami and YasuhiroTerama của trƣờng đại học Waseda – Tokyo –

Nhật bản đã phát triển hệ thống theo dõi chuyển động của đối tƣợng 3D. Hệ thống dựa trên sự so

sánh các ảnh thu đƣợc và dùng phƣơng pháp lọc phần tử để phát hiện sự chuyển động của đối

tƣợng [5]. Trong các đối tƣợng rô bốt di động thì rô bốt tự hành cũng là một thành phần, nhóm tác

giả Tae-Il Kim, Wook Bahn, Changhun Lee, Tae-jae Lee, Muhammad Muneeb Shaikh and

Kwang-soo Kim của Hàn Quốc đã phát triển hệ thống tìm đƣờng tới mục tiêu cho rô bốt tự hành

dựa trên hệ thống stereo camera, hệ thống này luôn hƣớng tới mục tiêu cùng với đó hệ thống sẽ

tính toán các góc, độ nghiêng từ đó đƣa ra đƣợc vị trí thực tế của mục tiêu trên hệ tọa độ để tìm

đƣợc đƣờng đi tới đích[8].

[1] Eng Swee Kheng , Anwar Hasni Abu Hassan , Ali Ranjbaran , Ting Shyue Siong (2011),

“Range Estimation for Robot arm Applications using Image Segmentation and Curve Fitting

Tool”, International conference on electrical, control and computer engineering, pp. 154 –

159.

[2] Widodo Budiharto , Ari Santoso, Djoko Purwanto, Achmad Jazidie (2011), “A Navigation

System for Service Robot using Stereo Vision and Kalman Filtering”, International

Conference on Control, Automation and Systems, pp. 720 – 725.

[3] Masaaki Shibata, Hideki Eto, Masahide Ito (2011), “Visual tracking control for stereo vision

robot with high gain controller and high speed cameras", International Symposium on Access

Spaces (ISAS), pp. 384-389.

[4] Michel antunes and João P. Barreto (2011), “Sterio estimation of depth along virtual cut planes”, IEEE

International Conferenceon Computer Vision Workshops, pp. 126 - 131.

[5] Hiroyuki Ukida Masayuki Kawanami and Yasuhiro Terama (2011), “3Dobject Tracking by

Pan-TiltMoving Camerasand Robot Using Sparse Template Matching and Particle Filter”,

IEEE Conference of Annual Conference, pp. 317 – 324.

[6] WenYua, Marco A Moreno-Armendariz (2010), “Robust Visual Servoing of Robot

Manipulators with Neuro Compensation”, Published by Elsevier Ltd.

[7] WenYu1 and XiaoouLi, “System Identification Using Adjustable RBF Neural Network with

Stable Learning Algorithms” Published by Elsevier Ltd.

[8] Tae-Il Kim, Wook Bahn, Changhun Lee, Tae-jae Lee, Muhammad Muneeb Shaikh, and

Kwang-soo Kim (2011), “Vision System for Mobile Robots for Tracking Moving Targets,

Based on Robot Motion and Stereo Vision Information”, IEEE Conference of Annual

Conference, pp. 1027 – 1032.

Ở Việt Nam, các công trình nghiên cứu về rô bốt di động đã xuất hiện trong trƣờng đại

học, Viện nghiên cứu trong khoảng một thập niên gần đây. Trƣờng Đại học Bách khoa Hà Nội, Đại

10

học Bách khoa thành phố Hồ Chí Minh đã nghiên cứu bài toán tránh vật cản trên đƣờng đi [10],

bám đƣờng [11], tính khoảng cách [9].

Xử lý ảnh trong điều khiển đã đƣợc nghiên cứu và ứng dụng nhiều, song đây vẫn còn là

một lĩnh vực đƣợc nhiều nhà nghiên cứu quan tâm, tìm tòi và phát triển. Hai trong số những vấn đề

đó là: bài toán điều khiển phi tuyến và xử lý giảm nhiễu, giảm ảnh hƣởng của các tham số bất định

tới hệ thống.

[9] Phạm Đức Long – Phạm Thƣợng Cát, “Xử lý ảnh để xác định hƣớng và khoảng cách giữa giá

đỡ và xe nâng hàng tự động”, Hội nghị toàn quốc về Điều khiển và Tự động hoá - VCCA-

2011,

[10] Từ Diệp Công Thành, Phan Minh Trƣờng, Phan Minh Thành, (2008), “Điều khiển rô bốt tự

hành tránh vật cản sử dụng bánh dẫn hƣớng Ommi”, Tuyển tập hội nghị toàn quốc lần thứ 4 về

Cơ điện tử, VCM 2008, tr. 356-367.

[11] Võ Trung Thƣ, Nguyễn Anh Duy, (2008), “Ứng dụng điều khiển mờ cho bài toán bám đƣờng

của rô bốt di động bằng bánh lăn”, Tuyển tập hội nghị toàn quốc lần thứ 4 về Cơ điện tử, VCM

2008, tr. 305-314.

Rô bốt di động ngày càng đƣợc ứng dụng nhiều trong công nghiệp và đời sống với những

tiện ích to lớn mà nó mang lại. Rô bốt di động kết hợp với thị giác máy làm việc trong các điều

kiện đặc biệt ngày càng đƣợc nghiên cứu và ứng dụng nhiều trong đời sống và an ninh quốc phòng.

Các công nghệ trên thế giới về xử lý ảnh trên rô bốt dùng một hay nhiều camera đã có, tuy

nhiên trong lĩnh vực này vẫn còn rất nhiều điểm cần nghiên cứu sâu nhƣ phát hiện chuyển động,

tính toán khoảng cách, hƣớng di chuyển, điều khiển rô bốt tiếp cận mục tiêu di động với nhiều

camera để tăng thêm độ chính xác và tính linh hoạt vv. Đề tài này nghiên cứu sâu về vấn đề tính

toán khoảng cách và hƣớng di chuyển cho rô bốt.

Nếu rô bốt có các cảm biến tốt cũng giống nhƣ con ngƣời có đôi mắt tốt, chúng sẽ hoạt động

một cách chính xác hơn. Rô bốt đƣợc điều khiển dựa trên xử lý ảnh từ nhiều camera sẽ có độ chính

xác cao hơn từ 1 camera. Vì vậy mục tiêu chung của đề tài là sử dụng thông tin hình ảnh từ nhiều

camera để điều khiển rô bốt.

Mục tiêu lâu dài của hƣớng nghiên cứu là từng bƣớc ứng dụng xử lý ảnh vào quá trình tự động hóa

việc điều khiển cho xe nâng hàng tự động trong kho bãi, bến cảng. Tuy nhiên để từng bƣớc đạt

đƣợc mục tiêu đó, mục tiêu của đề tài này là nghiên cứu phát triển một số thuật toán điều khiển rô

bốt di chuyển bằng bánh xe trên cơ sở thông tin hình ảnh từ 2 camera. Thuật toán phải đảm bảo có

tính bền vững với các tham số bất định và khả năng kháng nhiễu với tốc độ xử lý cao.

Nói tới rô bốt thì hai thành phần quan trọng nhất của nó là cảm biến và bộ phận chấp hành,

với cảm biến rô bốt có thể dùng nhiều loại từ hồng ngoại, sóng siêu âm, laser scanner hay camera

quang học..v.v, còn bộ phận chấp hành của rô bốt chuyển động thì nhất thiết phải có cơ cấu chuyển

động bằng khớp hay bánh xe, ngoài ra còn có các cơ cấu chấp hành khác.

Đối tƣợng nghiên cứu chính của đề tài là tập trung vào đối tƣợng rô bốt có cơ cấu chuyển

động bằng bánh xe và dùng cảm biến là các camera với nhiều hơn 1 camera. Nhƣ vậy phạm vi hoạt

động của rô bốt hầu nhƣ trong các địa hình tƣơng đối bằng phẳng, hoặc có độ nghiêng trong

khoảng cho phép. Cảm biến hình ảnh thu đƣợc từ nhiều hơn 1 camera sẽ cho độ nhanh nhậy, góc

nhìn và độ chính xác lớn hơn so với dùng 1 camera. Những hình ảnh thu đƣợc sẽ đƣợc xử lý, tính

toán từ đó ra quyết định điều khiển các cơ cấu chấp hành khác của rô bốt thực hiện theo các yêu

cầu.

Đề tài sẽ thực hiện nghiên cứu các vấn đề sau:

- Nghiên cứu và phát triển một số thuật toán thu nhận ảnh, xử lý ảnh camera, từ đó xử lý và

tính toán các thông số điều khiển cho rô bốt.

- Nghiên cứu về rô bốt có cơ cấu chuyển động bằng bánh xe

- Phát triển một số phƣơng pháp điều khiển rô bốt di động trên cơ sở thông tin hình ảnh sử

dụngnhiều camera.

- Đề xuất thuật toán xử lý ảnh để phát hiện và tính toán tọa độ của đối tƣợng với nhiều camera.

11

- Mô phỏng, thử nghiệm thuật toán trên máy tính và cài đặt thử nghiệm trên rô bốt thí nghiệm

tại Viện Công nghệ thông tin – Viện Hàn lâm khoa học Việt Nam.

Để thực hiện được các nội dung nghiên cứu của đề tài thì cách tiếp cận được dung là:

- Nghiên cứu tổng quan về các nội dung liên quan của đề tài trong nƣớc và trên thế giới trong

thời gian qua.

- Đƣa ra phƣơng pháp điều khiển, chứng minh và kiểm chứng bằng mô phỏng và cài đặt trên

mô hình thực nghiệm.

- Đọc tài liệu và nghiên cứu các công trình khoa học đã công bố trong nƣớc và trên thế giới về

lĩnh vực rô bốt di động và các phƣơng pháp điều khiển rô bốt di động sử dụng camera (visual

servoing).

- Nghiên cứu phát triển một số phƣơng pháp điều khiển bệ pan/tilt mang camera bám mục tiêu

di động sử dụng camera. Bằng phƣơng pháp nghiên cứu các kết quả của các công trình đã

công bố từ đó đề xuất một phƣơng pháp mới, tốt hơn chứng minh nó, mô phỏng bằng Matlab

trƣớc khi triển khai

- Nghiên cứu phát triển một số phƣơng pháp điều khiển cho rô bốt di động có nhiều tham số

bất định. Sử dụng các phƣơng pháp điều khiển kết hợp giữa phƣơng pháp thông dụng với bù,

dự báo để điều khiển rô bốt di chuyển linh hoạt hơn. Trong phần này phƣơng pháp thí nghiệm

thực hành trên rô bốt sẽ đƣợc sử dụng để vừa nghiên cứu, vừa đánh giá từ đó chọn phƣơng án

điều khiển tốt nhất, phù hợp cho hệ thống.

Để thực hiện đƣợc các công việc đó, trƣớc tiên tác giả sẽ tìm hiểu các công trình nghiên cứu về rô

bốt di động và các phƣơng pháp điều khiển rô bốt di động sử dụng camera (visual servoing), các

phƣơng pháp điều khiển camera để có không gian quan sát lớn. Việc tìm hiểu sẽ dựa trên các bài

báo khoa học, các công trình đã công bố trong và ngoài nƣớc để từ đó hiểu và đánh giá đƣợc các

điểm tốt có thể sử dụng lại và chƣa tốt còn cải tiến đƣợc trong các nghiên cứu đó để đề xuất một

phƣơng pháp điều khiển tốt hơn có tính mới.

- Để hoàn thiện đề tài nội dung nghiên cứu gồm có:

+ Phần nghiên cứu về thị giác máy camera và xử lý ảnh.

+ Nghiên cứu việc sử dụng hình ảnh để điều khiển bệ pan/tilt mang camera để điều khiển góc

quay theo phƣơng ngang, đứng của bệ giúp hệ thống bám mục tiêu cần tiếp cận khi mục tiêu di

động hay khi rô bốt đi trên địa hình không hoàn toàn bằng phẳng làm thay đổi phƣơng và góc nhìn

tới mục tiêu.

+ Nghiên cứu phát triển một số phƣơng pháp điều khiển rô bốt di động trên cơ sở thông tin

hình ảnh sử dụng nhiều camera để tính toán điều khiển cho rô bốt di chuyển, tiếp cận tới mục tiêu

biết trƣớc.

Chi tiết nội dung nghiên cứu gồm có

Nghiên cứu về thị giác máy camera và xử lý ảnh: từ đó phát triển một số thuật toán xử lý

ảnh dựa trên ảnh từ các camera để trích rút các thông số cần thiết cho điều khiển. Trƣớc tiên tác giả

sẽ nghiên cứu các camera có khả năng xử lý song song, nhƣ EyeRIS 1.3, EyeRIS 2.1 vì những

camera này có tốc độ xử lý cao, thích hợp cho nhiều ứng dụng.

Tuy nhiên những camera xử lý song song này còn chƣa đƣợc phổ biến rộng rãi, việc đặt

mua, sửa chữa và hỗ trợ kỹ thuật vẫn còn hạn chế. Trong trƣờng hợp gặp khó khăn các camera

thông dụng sẽ đƣợc sử dụng thay thế nhƣng vẫn đảm bảo đƣợc việc thu nhận ảnh, chƣơng trình xử

lý vẫn phải đƣa ra đƣợc các tham số điều khiển cho hệ thống chấp hành.

Các tham số điều khiển cụ thể mà chƣơng trình xử lý ảnh cần tính toán đƣợc là hƣớng, góc

lệch tới mục tiêu để điều khiển bệ pan/tilt bám theo, hƣớng và khoảng cách tới mục tiêu để điều

khiển rô bốt di chuyển tiếp cận mục tiêu.

Nghiên cứu phát triển một số phƣơng pháp điều khiển bệ pan/tilt bám mục tiêu di động

trên cơ sở thông tin hình ảnh sử dụng nhiều camera:

Ta hình dung, khi mục tiêu di động thì trƣớc tiên con mắt cần bám theo rồi mới điều khiển

các bộ phận chấp hành khác. Để thực hiện đƣợc việc này, một bệ pan/tilt đƣợc sử dụng để điều

12

khiển các camera quay, quét bám theo mục tiêu di động dựa vào các góc lệch của giá mang camera

với mục tiêu trên cơ sở các thông tin hình ảnh thu đƣợc.

Phần nghiên cứu này sẽ đề xuất thuật toán điều khiển bệ pan/tilt có độ đáp ứng nhanh, có

khả năng bù đƣợc nhiễu và tính bất định của các tham số nội tại trong hệ thống. Nghiên cứu phát

triển một số phƣơng pháp điều khiển rô bốt di động trên cơ sở thông tin hình ảnh sử dụng nhiều

camera.

Với việc sử dụng nhiều camera ta dễ dàng tính toán đƣợc khoảng cách tới mục tiêu trong

không gian 3D. Kết hợp với việc tính toán góc hƣớng di chuyển thì các tham số điều khiển rô bốt

di chuyển bám mục tiêu đã có đầy đủ. Nghiên cứu sẽ đề xuất phƣơng pháp điều khiển rô bôt trên

cơ sở sử dụng các thông tin hình ảnh.

Phần nghiên cứu này sẽ đề xuất thuật toán điều khiển rô bốt có độ chính xác cao, khử đƣợc

nhiễu môi trƣờng để tiếp cận đƣợc tới mục tiêu.

Với yêu cầu nhƣ vậy các hệ thống bệ pan/tilt và rô bốt cần đƣợc thiết kế chính xác về cơ

khí, bộ phận chấp hành và khâu đo phản hồi. Việc thuê mƣợn, sử dụng các thiết bị chuyên dùng

cho thí nghiệm tại phòng thí nghiệm tự động hóa – Viện Công nghệ thông tin – Viện Hàn lâm khoa

học Việt Nam là cần thiết. Thuật toán điều khiển cần bù đƣợc độ bất định của các tham số nội tại

của camera, ống kính, độ bất định của các khớp, trục bánh xe…

Chƣơng trình xử lý ảnh là một chƣơng trình phức tạp, do đó một máy tính riêng, tốt cần

đƣợc chuẩn bị trên rô bốt để nhận các ảnh, xử lý chúng và đƣa ra tín hiệu điều khiển các cơ cấu

chấp hành khác điều khiển rô bốt tiếp cận mục tiêu.

13

CHƢƠNG 1. GIỚI THIỆU CHUNG VỀ ROBOT DI ĐỘNG, CAMERA XỬ LÝ ẢNH VÀ

ROBOT PAN TILT

1.1 Giới thiệu camera Eye RIS 2.1.

Đặc điểm và thông số kỹ thuật của camera Eye-RIS:

- Tốc độ bắt ảnh: 10.000 frame/s.

- Độ phân giải 176x144 pixels.

- Tấm cảm biến C-mount 1/2

- Kích thƣớc 47x47x26.53 mm

- Phạm vi hoạt động (50 db – 120 db).

- Cảm biến tích hợp 4 ADCs và 4 DACs 8 bit – 50Hz cho ảnh xám.

- Hệ thống nhúng thông minh cho mỗi điểm ảnh lƣu trữ tới 6 ảnh màu xám và 4 ảnh nhị

phân để xử lý.

- Chip điều khiển Altera II 32 bit RISC tóc độ 100MHZ, 16MB SDRAM cho chƣơng

trình cà dữ liệu. 8MB Flash.

- Cổng giao tiếp USB 2.0, UART.

- Ống kính Pentax Lenses tiêu cự 50mm f1.4 và có thể thay đổi đƣợc.

- Phần mềm phát triển Eye-RIS ADK 10.21.2. Giới thiệu robot di động Pioner 3DX.

Một số tính năng, cổng giao tiếp và nguồn điện:

- 4 cổng giao tiếp nối tiếp RS-232 tốc độ từ 9.6 đến 115.2 kilobaud

- 4 đến 8 cặp sensor phát hiện vật cản Sonar trên mỗi robot.

- 2 cổng vào số 8-bit.

- Cổng nguồn và cổng giao tiếp tƣơng tự

- Cảm biến nghiên và quay Tilt/roll.

- Đèn báo nguồn, báo dung lƣợng pin dự trữ

- Cho phép chuyển đổi nguồn nuôi 5/12 V

- Cổng giao tiếp điều khiển động cơ với chế độ băm xung PWM/ trực tiếp qua cổng điều

khiển số 8 bit.

- Giao tiếp I2C interface hỗ trợ LCD 4x20.

Hoạt động:

Robot Pioneer 3DX có thể hoạt động với các chế độ nhƣ sau:

- Lập trình điều khiển trên PC và giao tiếp điều khiển qua cổng Ethernet.

- Lập trình điều khiển trên PC và giao tiếp điều khiển qua wifi.

- Lập trình điều khiển bằng laptop đặt trên robot.

- Lập trình trực tiếp cho hệ điều khiển bên trong robot

1.2. Giới thiệu robot Pan tilt PTU - D48E

Các tính năng cơ bản:

- Khả năng tải trọng lớn đến 15 Lbs.

- Định vị cực kỳ chính xác (để 0.006 ° với động cơ microstep).

- Đa dạng các pan tốc độ 0.006 ° / giây đến 100 °, điều khiển chính xác.

- Pan 360 liên tục (với tùy chọn vòng trƣợt).

- Kiểm soát vị trí, tốc độ và tăng tốc thời gian thực.

- Thiết kế cứng cung cấp ổn định khi định vị trong môi trƣờng gió.

- Kết nối duy nhất cho cả tín hiệu điều khiển, tín hiệu tải trọng.

- Linh hoạt lắp ráp tự do (hoặc bên trên thiết bị khác).

- Bảo về khép kín, an toàn cho các ứng dụng ngoài trời / biển (IP67).

- Phạm vi nhiệt độ hoạt động rộng.

14

- Dải điện áp đầu vào DC rộng (12VDC đến 30VDC) có chạy pin điều khiển năng lƣợng

thân thiện môi trƣơng.

- Mã hóa kỹ thuật số chính xác.

- Nhiều giao diện điều khiển: RS-232/485/422 và Ethernet.

15

CHƢƠNG 2. XÂY DỰNG MÔ HÌNH ĐỘNG HỌC VÀ MÔ HÌNH

ĐỘNG LỰC HỌC CHO HỆ THỐNG

2.1. Mô hình động học hệ robot pan/tilt stereo camera.

Mô hình động học

Hình 2.1 Mô hình hệ pan/tilt stereo camera

Hệ tọa độ camera trái là OLXLYLZL có gốc trùng với tiêu điểm của camera trái, hệ tọa độ

camera phải là ORXRYRZR, gốc trùng với tiêu điểm của camera phải và hệ tọa độ camera là

OCXCYCZC có gốc ở trung điểm gốc tọa độ 2 camera. Các frame ảnh đƣợc quy định ở phía trƣớc và

vuông góc với trục Y tại tâm, các trục u, v song song với các trục Z, X của camera tƣơng ứng.

Bài toán điều khiển động học (kinematic control) hệ rô bốt-stereo camera bám mục tiêu là tìm thuật

điều khiển ( )q = K ε& sao cho hệ kín sau ổn định.

imagm = J (m)u&

robotu = x = J (q)q&&

q = K(ε)&

16

Hình 2.2 Mô hình hệ thống camera

2.2. Xây dụng mô hình động học và động lực học hệ robot di động – bệ pan/tilt stereo camera

2.2.1 Mô hình động học

Hình 2. 5 Hệ robot di động – pan tilt – stereo camera

Vận tốc góc mong muốn của khớp pan/tilt là:

as1 as2 2

as

3 3

( )l t

l tdpl t

d

mJ Km m

m

q ql

q q

-æ öé ù é ù ÷çê ú ê ú ÷ç= + - - - ÷çê ú ê ú ÷ç ÷è øê ú ê úë û ë û

& &&

& & (26)

2.2.2. Xây dụng mô hình động lực học

Tọa độ và hƣớng mong muốn cho robot di động theo công thức sau:

17

0

1

0

1

0 0

1

cos

sin

atan 2( , )

md t b

md t b

m b t t

x x k

y y k

y x

& &

Vân tốc góc mong muốn của hai bánh xe robot di động đƣợc biểu diễn theo (34): 1

/ 4 / 4

/ 2 / 2

rd m

ld m

vd d

d k d k

&

& (34)

Mô hình động lực học

Phƣơng trình động lực học:

(35)

Lỗi bám đƣợc định nghĩa . Với .

( ) ( , ) ( ) ( )t+ + +M q q C q q q g q d = τ&& &&

( )s sdε x x 3

s Rx

18

CHƢƠNG 3. THIẾT KẾ THUẬT TOÁN ĐIỀU KHIỂN VÀ MÔ PHỎNG HỆ THỐNG

3.1. Thiết kế thuật toán điều khiển hệ pan/tilt stereo camera và mô phỏng

3.1.1. Thiết kế thuật toán điều khiển động học hệ pan/tilt bám mục tiêu di động

Ta chọn thuật điều khiển nhƣ sau:

ˆ + ,

d 1q = J [(m - Kε)+u ]& & (50)

Định lý 1: Hệ stereo camera có nhiều tham số bất định (8), (11), với mạng nơron (52), (53) được

mô tả theo H.5 sẽ bám theo mục tiêu di động với sai số , ε ε 0& nếu tốc độ các khớp bệ Pan-Tilt

được điều khiển theo thuật toán (25), (56), (57) và luật học (58) như sau:

ˆ ˆ ˆ+ , + + ,

d 1 d 1q J [(m - Kε)+u ] J (m -Kε)+J u= =& & & 0 1= u +u (55)

[ ]0ˆ +

du = J m -Kε& (56)

1

ˆ

,

1

+ ,

1 1

εu = ( )Wσ -

ε

u = J u

h dé ùê ú-ê úê úë û (57)

TW εσh= -& (58)

Trong đó các tham số tự chọn K là ma trận đối xứng xác định dƣơng TK = K > 0 , các hệ số

1, 0 .

Hình 3.2 Cấu trúc của hệ điều khiển camera bám mục tiêu di động có nhiều tham số bất

định

3.1.2. Mô phỏng minh họa trên PC

Mô phỏng 1: Mục tiêu di chuyển theo đƣờng thẳng

Điểm mục tiêu đi từ điểm A có tọa độ A(0m,1.8m,0m) tới điểm B(-0.3m, 1.8m, -0.5m) trên mặt

phẳng ZCOCXC và cách gốc tọa độ một khoảng YC = 1.8m trong hệ tọa độ camera OCXCYCZC. Thời

gian chuyển động của mục tiêu T=30(s) với tốc độ di chuyển đều v ~ 2 (cm/s).

Tiến hành mô phỏng với sơ đồ nhƣ trong H.6 ta thu đƣợc một số kết quả sau:

Hình 3.4 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đƣờng thẳng.

3.2. Thiết kế thuật toán điều khiển hệ robot di động – pan tilt – stereo camera và mô phỏng

Tín hiệu điều khiển tối ƣu u*(t) thỏa mãn (72), làm hàm mục tiêu (68) của hệ (67) đạt cực tiểu là

[12]:

19

* 1 1

2

( , )( )

T

T F tt

su R B R e

s

- -æ ö¶ ÷ç= - = -÷ç ÷çè ø¶

(81)

Định lý 1: Tín hiệu điều khiển tối ưu u* (81), luật điều khiển (67) sẽ làm cho hệ động lực trong

phương trình (15) bám theo vận tốc mong muốn với sai số ( )t s 0 khi t . Nếu các tham số

thỏa mãn điều kiện (76, 77, 78).

Hình 3.15 Sơ đồ khối hệ thống.

Mô phỏng 2: Mô phỏng hệ thống robot di động-pantilt- stereo camera bám mục tiêu di động.

Mục tiêu di chuyển trong không gian theo quỹ đạo nhƣ sau: xuất phát tại vị trí (x, y, z) = (2, 4, 0)

so với gốc tọa độ sau đó tọa độ tọa độ z = 0.1t. Còn tọa độ x, y thì thay đổi theo vận tốc thẳng và

góc nhƣ sau: t = 0-5s v=0.5m/s. ω = 0 rad/s. t = 5-10s v = 0.5 + 0.15*sin((t-)*pi/10);

ω=0.15*sin((t-5)*pi/10); t = 10-15s v=0.75m/s. ω = 0 rad/s. t = 15-20s v = 0.75 + 0.15*sin((t-

15)*pi/10); ω =-0.15*sin((t-15)*pi/10). t = 20-25s v=0.75m/s. ω = -0.15 rad/s. t = 25-30s

v=0.75m/s. ω =-0.15 - 0.15*sin((t-25)*pi/10); t>30s v=0.5m/s. ω = -0.3 rad/s;

Hình 3.16 Bám tọa độ ảnh nhìn trong hệ tọa độ gốc.

Hình 3.17. Robot di động bám theo mục tiêu trên mặt phẳng x-y nhìn trong hệ tọa độ

gốc.

20

KẾT LUẬN VÀ KIẾN NGHỊ

Báo cáo đã đề xuất một số phƣơng pháp điều khiển cho hệ servo thị giác stereo cũng nhƣ

cho hệ robot di động-pantilt-stereo camera từ bộ điều khiển PID cổ điển cho đến các bộ điều khiển

hiện đại nhƣ sử dụng mạng nơ ron với luật học on-line, bộ điều khiển tối ƣu, điều khiển tựa theo

thụ động … giúp cho hệ thống hoạt động ổn định và sai lệch bám triệt tiêu. Thụât toán điều khiển

hệ thống có tính tự thích nghi cao và có khả năng chống đƣợc các nhiễu tác động lên hệ thống. Độ

ổn định toàn cục của hệ thống đƣợc chứng minh bằng thuyết ổn định Lyapunov. Các mô phỏng với

bộ điều khiển hiện đại có độ bất định lên đến 20% khi mục tiêu cố định, chuyển động theo đƣờng

thẳng hay cơ động đổi hƣớng liên tục theo cung tròn đều cho kết quả ổn định, sai lệch bám tiếp cận

về 0, trong mô phỏng robot có thể theo kịp với các chuyển động trong phạm vi 2m/s phù hợp với

kết quả lý thuyết.

Tính đúng đắn của thuật toán điều khiển đã đƣợc chứng minh bằng thuyết ổn định

Lyapunov. Tính khả thi của việc cài đặt ứng dụng một số thuật toán hiện đại nhƣ mạng mạng nơ

ron này lên các microcontroller là hoàn toàn khả thi. Do luật học cập nhật liên tục đƣợc thực hiện

chỉ với một số phép nhân và tích phân (cộng dồn) nên khối lƣợng tính toán không quá lớn và mặt

khác các chip ví xử lý 32 và 64 bit hiện nay có tốc độ xử lý ngày càng cao nên hy vọng không là

rào cản cho việc ứng dung trong thực tế sau này.

21