Stereo vision

Đề tài:

Ứng dụng kỹ thuật stereo vision cho robot

GVHD: PGS.TS Hoàng Đình Chiến

SVTH: Nguyễn Văn Đức

Nguyễn Hồng Đức

NỘI DUNG

Giới thiệu1

Hệ thống Stereo Vision2

Kết quả đạt được3

Hướng phát triển4

Giới thiệu

Các phương pháp phát hiện vật cản

Dùng công tắc hành trình Dùng cảm biến siêu âm

Giới thiệu

Các phương pháp phát hiện vật cản

Phương pháp optical flow

Giới thiệu

Các phương pháp phát hiện vật cản

Phương pháp dò biên (Edge detection)

Giới thiệu

Các phương pháp phát hiện vật cản

Phương pháp dò nền

Giới thiệu

Các phương pháp phát hiện vật cản

Phương pháp Stereo Vision

Hệ thống Stereo Vision Lấy ý tưởng từ hoạt động thị giác của người

Hệ thống Stereo Vision Sơ đồ khối

Thu hình

Hiệu chỉnh ảnh

Hiệu chỉnh Camera

Tính toán bản đồ độ chênh lệch

Xử lý bản đồ độ

chênh lệch

Điều khiển ứng dụng

Trái

Phải Phải *

Trái *

Hệ thống Stereo Vision

Thu hình

Hiệu chỉnh ảnh

Hiệu chỉnh Camera

Tính toán bản đồ độ chênh lệch

Xử lý bản đồ độ

chênh lệch

Điều khiển ứng dụng

Trái

Phải Phải *

Trái *

Khối thu hình

Hệ thống Stereo Vision

rl

rl

xx

fTZ

Z

T

fZ

xxT

)(

Hệ thống Stereo Vision Khối hiệu chỉnh camera

Thu hình

Hiệu chỉnh ảnh

Hiệu chỉnh Camera

Tính toán bản đồ độ chênh lệch

Trái

Phải Phải *

Trái *Xử lý bản

đồ độ chênh lệch

Điều khiển ứng dụng

Khối hiệu chỉnh camera1. Đặc tính của camera (Camera Model)

q = M * Q

Đặc tính của camera (Camera Model)

Đặc tính của camera (Camera Model)

Đặc tính của camera (Camera Model)

Đặc tính của camera (Camera Model)

Radial distorsions :

Tangential distorsions :

Khối hiệu chỉnh camera

2. Hiệu chỉnh

Mục đích chính của hiệu chỉnh camera là tìm ra ma trận cần thiết E (Essential matrix) và ma trận cơ sở F (Fundamental matrix)

Hệ thống Stereo Vision Khối hiệu chỉnh ảnh

Thu hình

Hiệu chỉnh ảnh

Hiệu chỉnh Camera

Tính toán bản đồ độ chênh lệch

Xử lý bản đồ độ

chênh lệch

Điều khiển ứng dụng

Trái

Phải Phải *

Trái *

Khối hiệu chỉnh ảnh

Hiệu chỉnh ảnh

Tìm đường epipolar

Canh ảnh (Image rectification)

Tìm đường epipolar

Canh ảnh

Hệ thống Stereo Vision Khối tính toán bản đồ độ chênh lệch

Thu hình

Hiệu chỉnh ảnh

Hiệu chỉnh Camera

Tính toán bản đồ độ chênh lệch

Xử lý bản đồ độ

chênh lệch

Điều khiển ứng dụng

Trái

Phải Phải *

Trái *

Tính toán bản đồ độ chênh lệch

Tìm điểm tương quan

d

fT

xx

fTZ

rl

d

Thuật toán SAD

capcapc IIIIMaxMin ),,(

han tren gioi triGia :capI

tam trungpixel sang do cuong triGia :cI

so cuabinh trungsang do triGia :I

Thuật toán SAD

Thuật toán SAD

Thuật toán SAD

Hệ thống Stereo Vision Khối xử lý bản đồ độ chênh lệch

Thu hình

Hiệu chỉnh ảnh

Hiệu chỉnh Camera

Tính toán bản đồ độ chênh lệch

Xử lý bản đồ độ

chênh lệch

Điều khiển ứng dụng

Trái

Phải Phải *

Trái *

Xử lý bản đồ độ chênh lệch

Hệ thống Stereo Vision Khối điều khiển ứng dụng

Thu hình

Hiệu chỉnh ảnh

Hiệu chỉnh Camera

Tính toán bản đồ độ chênh lệch

Xử lý bản đồ độ

chênh lệch

Điều khiển ứng dụng

Trái

Phải Phải *

Trái *

Kết quả đạt được

Kết quả đạt được

Kết quả đạt được

Đạt được Đưa được ra bản đồ độ chênh lệch với chất lượng chấp

nhận được Kết quả về khoảng cách sai số không đáng kể trong phạm vi

70 - 90 cm

Hướng phát triển

Tìm hiểu các kỹ thuật trong điều khiển di chuyển

Thiết kế mô hình Mobile robot di chuyển bằng bánh xe

Tiến hành lập kế hoạch đường đi và tránh vật cản trên mô hình robot thực kết hợp với kỹ thuật stereo vision