Upload
hung-bui-duy
View
582
Download
1
Embed Size (px)
Citation preview
Nhóm 1 – Lớp KHMT1 K3- Lê Văn Hinh
- Bùi Duy Hùng
- Bùi Văn Nam
- Nguyễn Hữu Trường
- Phạm Việt
TRƯỜNG ĐH CÔNG NGHIỆP HÀ NỘI
KHOA CÔNG NGHỆ THÔNG TIN
NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC
KỸ THUẬT PHÁT HIỆN BÀN TAY
Giảng viên Hướng dẫn : Ths. Ngô Đức Vĩnh
I. Video demo về ứng dụng của kỹ thuật pháthiện bàn tay
II. Giới thiệu các kỹ thuật phát hiện bàn tay
III. Tổng quan về các kỹ thuật xử lý ảnh
IV. Giải pháp phát hiện bàn tay của DST
V. Hướng nghiên cứu phát triển tương lai
I. Video demo về ứng dụng của kỹ thuật pháthiện bàn tay
II. Giới thiệu các kỹ thuật phát hiện bàn tay
III. Tổng quan về các kỹ thuật xử lý ảnh
IV. Giải pháp phát hiện bàn tay của DST
V. Hướng nghiên cứu phát triển tương lai
Tivi thông minh
Giải trí
Các buổi thuyết trình
I. Video demo về ứng dụng của kỹ thuật pháthiện bàn tay
II. Giới thiệu các kỹ thuật phát hiện bàn tay
III. Tổng quan về các kỹ thuật xử lý ảnh
IV. Giải pháp phát hiện bàn tay của DST
V. Hướng nghiên cứu phát triển tương lai
1. Dựa trên đặc trưng của bàn tay và các ngón
1. Dựa trên đặc trưng của bàn tay và các ngón
Ưu điểm:
- Linh hoạt, không bị ràng buộc bởi thuật toán nhậndạng
Nhược điểm:
- Độ phức tạp cao
2. Phát hiện biên ảnh và so khớp với tập mẫuhuấn luyện
2. Phát hiện biên ảnh và so khớp với tập mẫuhuấn luyện
Ưu điểm:- Giải thuật có tỷ lệ lỗi thấp
Nhược điểm- Khó khăn trong việc xây dựng tập mẫu
- Độ phức tạp cao
3. Sử dụng các đặc trưng Haar-like
3. Sử dụng các đặc trưng Haar-like
Ưu điểm:
- Là kỹ thuật nhận dạng tiên tiến – Object Detection
- Khoanh vùng bàn tay chính xác
Nhược điểm:
- Thời gian huấn luyện quá lâu
3. Sử dụng các đặc trưng Haar-like
- Độ phức tạp của giải thuật huấn luyện:
O(MNT log N)
N ~ 10.000 – Số tập mẫu huấn luyện
M ~ 4.00 – 6.000 – Số phân loại yếu
T ~ 40.000 – Số lượng các đặc trưng được sử
dụng
3. Sử dụng các đặc trưng Haar-like
- Fast Statboost – Phạm Minh Trí - NanyangTechnological University 2007
O(Nd2+T)N ~ 10.000 – Số tập mẫu huấn luyện
d ~ 400-600 – Kích thước cửa sổ nhận dạng
T ~ 40.000 – Số lượng các đặc trưng được sử
dụng
P.M. Trí Đã khắc phục tối đa nhược
điểm của kỹ thuật này
4. Tiếp cận dựa trên phân tách màu da
4. Tiếp cận dựa trên phân tách màu da
Ưu điểm:- Thu hẹp không gian bài toán
- Sát với thị giác con người
- Dễ cài đặt
Nhược điểm- Dễ bị nhiễu, do ảnh hưởng bởi yếu tố ánhsáng
5. Mạng nơ-ron nhân tạo và kỹ thuật PCA
Chưa có chính xác một tài liệu nào hoànchỉnh về kỹ thuật phát hiện bàn tay sử dụngmạng nơ-ron nhân tạo và kỹ thuật trích chọnđặc trưng PCA
6. Xây dựng bản đồ chiều sâu để phân tách cơthể người (Intel CES 2011, Kinect)
6. Xây dựng bản đồ chiều sâu để phân tách cơthể người (Intel CES 2011, Kinect)
Ưu điểm:- Độ chính xác rất cao
- Tái hiện được quá trình chuyển động của cơthể
Nhược điểm:- Chi phí đầu tư cho thiết bị
I. Video demo về ứng dụng của kỹ thuật pháthiện bàn tay
II. Giới thiệu các kỹ thuật phát hiện bàn tay
III. Tổng quan về các kỹ thuật xử lý ảnh
IV. Giải pháp phát hiện bàn tay của DST
V. Hướng nghiên cứu phát triển tương lai
1. Phát hiện biên ảnh
2. Chuyển ảnh màu về ảnh xám & cân bằngmức xám
3. Chuyển ảnh về hệ màu YCrCb, HSV
4. Giải thuật làm trơn ảnh
I. Video demo về ứng dụng của kỹ thuật pháthiện bàn tay
II. Giới thiệu các kỹ thuật phát hiện bàn tay
III. Tổng quan về các kỹ thuật xử lý ảnh
IV. Giải pháp phát hiện bàn tay của DSTV. Hướng nghiên cứu phát triển tương lai
1. Kỹ thuật tiền xử lý
2. Phát hiện bàn tay
3. Truy vết chuyển động bàn tay
4. Tái hiện hành động
Phát hiện màu da sử dụng không gian màuYCrCb
Sử dụng ngưỡng 1: Tìm pixels sai biệt
Khoanh vùng chuyển động => Thu hẹp không gian bài toán
Sử dụng ngưỡng 2 để loại trừ nhữngvùng nhiễu xung quanh viền bàn tay
vừa được tách
Khoanh vùng bàn tay trên ảnh màu da (Sử
dụng thuật toán Graham và tìm điểm cựctiểu, cực đại địa phương)
Loại bỏ
Khoanh vùng bàn tay trên ảnh màu da (Sử
dụng thuật toán loang và tìm điểm cựctiểu, cực đại địa phương)
Tách bàn tay khỏi ảnh => Chuyển qua module nhận dạng
Giải thuật phân loại dựa trên phân cấp
1. Kỹ thuật tiền xử lý
2. Phát hiện bàn tay
3. Truy vết chuyển động bàn tay
4. Tái hiện hành động
Ban đầu 2 hướng lựa chọn:◦ Sử dụng Kỹ thuật PCA
◦ Sử dụng kỹ thuật mạng nơ-ron nhân tạo
1) Tính toán ban đầu về kích thướcmạng nơ-ron nhân tạo
2) Xây dựng tập ảnh mẫu bàn tay
3) Huấn luyện mạng
4) Kiểm tra mạng bằng tập ảnh test
5) Tích hợp module Nhận dạng bàn tayvào phần mềm và kiểm thử kết quả
1) Tính toán ban đầu về kích thướcmạng nơ-ron nhân tạo
- Đầu vào: Ma trận mức xám của ảnh *
- Đầu ra:- 1 – Nếu ảnh có chứa bàn tay
- 0 – Nếu ảnh không chứa bàn tay
- Kích thước ảnh: 20x20 => 400 nơ-ronlớp input
- Số lớp ẩn: 1 lớp, gồm 100 nơ-ron lớp ẩn
2) Xây dựng tập ảnh mẫu- 50.952 ảnh bàn tay
- 42.041 ảnh không phải bàn tay
Tổng: 92.966 ảnh huấn luyện
- 35.774 ảnh test
Tập ảnh mẫu được lựa chọn phải có tínhđại diện cho bàn tay thực tế
3) Huấn luyện mạng
- Sử dụng giải thuật lan truyền ngượccho mạng truyền thẳng nhiều lớp
• P: vectơ đầu vào
• W1, W2 : ma trận trọng số
• b1, b2: độ lệch bias
• n1, n2: vectơ vào
• f1,f2: hàm kích hoạt
• a1, a2: đầu ra
Nếu tham số tốc độ học nhỏ thì hội tụchậm, ngượi lại tốc độ học lớn thìthiếu chính xác
Giải thuật có thể bị tắc tại các cực trịđịa phương mà không thể đạt đượccực trị toàn của của bề mặt lỗi
Có rất nhiều phương pháp đề
xuất các cải tiến nhằm khắc phụcnhược điểm trên như:◦ Sử dụng tham số bước đà
◦ Sử dụng hệ số học biến đổi
◦ Sử dụng gradient kết hợp
◦ Sử dụng thuật toán giả luyện kim
◦ Sử dụng giải thuật di truyền
Sử dụng hệ số học biến đổi
Sử dụng giải thuật di truyền
- E(t): tổng bình phương lỗi tại vòng lặp t
- n: số mẫu học
- Zi : đầu ra thực tế
- Yi : đầu ra mong muốn
n
i
ii YZtE0
2)()(
Sau mỗi lần lặp ta sẽ gán:ᵑ = ᵑ x ρ ᵑ: tốc độ học
Nếu: ∆E/ E(t) > β (0.01< β<0.05) -> 0< ρ< 1
Nếu: (E(t) – E(t-1)) / E(t) < 0 thì ρ > 1
Nếu: 0 < ∆E/ E(t) < β
)1()( tEtEE
Sử dụng hệ số học biến đổi
Sử dụng giải thuật di truyền
- Bước 1: Khởi tạo quần thể các nhiễm sắc thể. - Bước 2: Xác định giá trị thích nghi của từngnhiễm sắc thể. - Bước 3: Sao chép lại các nhiễm sắc thể dựa vàogiá trị thích nghi của chúng và tạo ra những nhiễmsắc thể mới bằng các phép toán di truyền. - Bước 4: Loại bỏ những thành viên không thíchnghi trong quần thể. - Bước 5: Chèn những nhiễm sắc thể mới vào quầnthể để hình thành một quần thể mới. - Bước 6: Nếu mục tiêu tìm kiếm đạt được thìdừng lại, nếu không trở lại bước 3
Để có thể sử dụng được giải thuật di truyền vào việc học của mạng nơroncần phải thực hiện một số bức nhưsau:◦ Xây dựng hàm giá
◦ Mã hóa nhiễm sắc thể
◦ Thực hiện giải thuật di truyền
Trong đó : n: là số mẫu huấn luyện
Xi : là đầu ra thực với mẫu i
Yi : là đầu ra mong muốn với mẫu i
n
i
ii TXn
E0
2)(1
Mã hóa nhị phân ( chiều dài nhiễm sắc thểlớn -> gây chậm chương trình)
Mã hóa số thực
Số lớp ẩn: 1 lớp
Số nơ-ron ẩn: 40 nơ-ron
Số nơ-ron lớp vào: 400 nơ-ron
Sai số cho phép: 10-10
Số vòng lặp tối đa: 10.000.000
Số lượng mẫu Lan truyền ngược Giải thuật di truyền
1.432 19’22” 8’3”
92.966 24h chưa có kết quả 5h22’18”
4) Kiểm tra mạng bằng tập ảnh test
Số ảnh Sai số Thời gian nhậndạng
Thời gian kiểm tra(nhóm tự test)
100 1% 0.3s 20s
1.000 1.2% 22s 2p
35.774 4% 3p14s 30p (2 người)
5) Tích hợp module nhận dạng bàn tayvào phần mềm
- Sai sót tương đối nhiều giữa phần mặt vàphần bàn tay
1. Kỹ thuật tiền xử lý
2. Phát hiện bàn tay
3. Truy vết chuyển động bàn tay
4. Tái hiện hành động
1) Sử dụng giải thuậtMeanshift/Camshift
2) Kết hợp bộ lọc Kalman và lọc hạt(Particle Filter)
3) Kỹ thuật lưu vết chuyển động vàchuyển qua module tái hiện sự kiện
B1: Thiết lập khu vực quan tâm
B2: Chọn một vị trí ban đầu của cửa sổ tìm kiếmCamShift. Vị trí được chọn là phân phối mục tiêuđược theo dõi.
B3: Tính xác suất phân phối màu sắc ở khu vực trungtâm của cửa sổ tìm kiếm.
B4: Lặp lại thuật toán CamShift để tìm ra trọng tâmxác suất của ảnh. Lưu trữ phân vùng ảnh đó và vị trítrọng tâm.
B5: Đối với mỗi khung, trung tâm của cửa sổ tìm kiếmở vị trí trung bình được tìm thấy ở bước 4 và thiết lạikích thước cửa sổ theo dõi. Trở về bước 3.
nh được mô nh a một ch rời rạc theothời gian bằng một phương nh ngẫu nhiên tuyến
nh như sau:
xk = Axk – 1 + Buk – 1 + wk – 1 (1)
va t đo c
zk = H * xk + vk (2)
Trong đo w va hai vecto n u nhiên i ncho u hê ng va u đo c.
Hai n u nhiên y c p va gia sư tuân theot phân i n với trung nh = 0 va ma trận
hiệp biến (covariance) lần lượt Q va R
p(w) ∼ N(0, Q) (3)
p(v) ∼ N(0, R) (4)
u vector ng i ch c n, thi ma n ch c ma trận
phụ thuộc o điều khiển tối ưu u vớich thước l. Vector đo đạc ch thước m
nên ma trận H sẽ rằng c ma trậnthể thay đổi theo thời gian (từng bước
k).
Bộ lọc Kalman mang bản chất đi m gia trị clượng va ước n của trạng i x khi ta biết đượcsự biến thiên của va ta đo được một i lượng
phụ thuộc n nh o x.
Với mỗi hình chữ nhật, ta luôn xác định đượctọa độ tâm của hình chữ nhật
Mỗi lần lấy ảnh từ Camera đưa vào nhậndạng. Nếu phát hiện được bàn tay di chuyển, ta sẽ lưu tọa độ tâm vào mảng lưu vết chuyểnđộng
1. Kỹ thuật tiền xử lý
2. Phát hiện bàn tay
3. Truy vết chuyển động bàn tay
4. Tái hiện hành động
Với tập tọa độ các điểm được lưu vết. NhómDST xây dựng các kỹ thuật nhận dạng cử
chỉ và tái hiện hành động:◦ Sử dụng mạng nơ-ron nhân tạo
◦ Sử dụng giải thuật hình học thông thường
Sử dụng mạng nơ-ron◦ Cho phép người dùng tự định nghĩa hành
động
◦ Tương đối đơn giản trong việc cài đặt
◦ Tìm mẫu phức tạp
Sử dụng giải thuật hình học◦ “Máy móc” trong quá trình nhận dạng cử
chỉ
◦ Mức độ chính xác ở mức tương đối
◦ Dễ hình dung thuật toán và dễ cài đặt
I. Video demo về ứng dụng của kỹ thuật pháthiện bàn tay
II. Giới thiệu các kỹ thuật phát hiện bàn tay
III. Tổng quan về các kỹ thuật xử lý ảnh
IV. Giải pháp phát hiện bàn tay của DST
V. Hướng nghiên cứu phát triển trongtương lai
1. Kỹ thuật Fast Statboost tăng tốcphân loại Haar-like
2. Sử dụng Particle Filter để track đốitượng chuyển động chính xác
3. Xây dựng giải pháp hoàn chỉnh chosản phẩm DST Remote Hand
Open Hand Detection in a Cluttered Single Image using Finger Primitives - M. Baris & Caglar Niels Lobo - University of Central Florida
Detecting and tracking faces and hands - Roberto Cipolla – University Of Cambridge
A Bayesian Framework for Human Body Pose Tracking from Depth Image Sequences - Youding Zhu , Kikuo Fujimura
Báo cáo thực tập tốt nghiệp Haar-Like với Adaboost – Nguyễn Quốc Triệu –ĐH Công nghiệp Hà Nội
Xin chân thành cảm ơn sự lắngnghe của thầy giáo và các bạn