Nhan dang cu dong co the

Nhóm 1 – Lớp KHMT1 K3- Lê Văn Hinh

- Bùi Duy Hùng

- Bùi Văn Nam

- Nguyễn Hữu Trường

- Phạm Việt

TRƯỜNG ĐH CÔNG NGHIỆP HÀ NỘI

KHOA CÔNG NGHỆ THÔNG TIN

NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC

KỸ THUẬT PHÁT HIỆN BÀN TAY

Giảng viên Hướng dẫn : Ths. Ngô Đức Vĩnh

I. Video demo về ứng dụng của kỹ thuật pháthiện bàn tay

II. Giới thiệu các kỹ thuật phát hiện bàn tay

III. Tổng quan về các kỹ thuật xử lý ảnh

IV. Giải pháp phát hiện bàn tay của DST

V. Hướng nghiên cứu phát triển tương lai

I. Video demo về ứng dụng của kỹ thuật pháthiện bàn tay

II. Giới thiệu các kỹ thuật phát hiện bàn tay

III. Tổng quan về các kỹ thuật xử lý ảnh

IV. Giải pháp phát hiện bàn tay của DST

V. Hướng nghiên cứu phát triển tương lai

Tivi thông minh

Giải trí

Các buổi thuyết trình

I. Video demo về ứng dụng của kỹ thuật pháthiện bàn tay

II. Giới thiệu các kỹ thuật phát hiện bàn tay

III. Tổng quan về các kỹ thuật xử lý ảnh

IV. Giải pháp phát hiện bàn tay của DST

V. Hướng nghiên cứu phát triển tương lai

1. Dựa trên đặc trưng của bàn tay và các ngón

1. Dựa trên đặc trưng của bàn tay và các ngón

Ưu điểm:

- Linh hoạt, không bị ràng buộc bởi thuật toán nhậndạng

Nhược điểm:

- Độ phức tạp cao

2. Phát hiện biên ảnh và so khớp với tập mẫuhuấn luyện

2. Phát hiện biên ảnh và so khớp với tập mẫuhuấn luyện

Ưu điểm:- Giải thuật có tỷ lệ lỗi thấp

Nhược điểm- Khó khăn trong việc xây dựng tập mẫu

- Độ phức tạp cao

3. Sử dụng các đặc trưng Haar-like

3. Sử dụng các đặc trưng Haar-like

Ưu điểm:

- Là kỹ thuật nhận dạng tiên tiến – Object Detection

- Khoanh vùng bàn tay chính xác

Nhược điểm:

- Thời gian huấn luyện quá lâu

3. Sử dụng các đặc trưng Haar-like

- Độ phức tạp của giải thuật huấn luyện:

O(MNT log N)

N ~ 10.000 – Số tập mẫu huấn luyện

M ~ 4.00 – 6.000 – Số phân loại yếu

T ~ 40.000 – Số lượng các đặc trưng được sử

dụng

3. Sử dụng các đặc trưng Haar-like

- Fast Statboost – Phạm Minh Trí - NanyangTechnological University 2007

O(Nd2+T)N ~ 10.000 – Số tập mẫu huấn luyện

d ~ 400-600 – Kích thước cửa sổ nhận dạng

T ~ 40.000 – Số lượng các đặc trưng được sử

dụng

P.M. Trí Đã khắc phục tối đa nhược

điểm của kỹ thuật này

4. Tiếp cận dựa trên phân tách màu da

4. Tiếp cận dựa trên phân tách màu da

Ưu điểm:- Thu hẹp không gian bài toán

- Sát với thị giác con người

- Dễ cài đặt

Nhược điểm- Dễ bị nhiễu, do ảnh hưởng bởi yếu tố ánhsáng

5. Mạng nơ-ron nhân tạo và kỹ thuật PCA

Chưa có chính xác một tài liệu nào hoànchỉnh về kỹ thuật phát hiện bàn tay sử dụngmạng nơ-ron nhân tạo và kỹ thuật trích chọnđặc trưng PCA

6. Xây dựng bản đồ chiều sâu để phân tách cơthể người (Intel CES 2011, Kinect)

6. Xây dựng bản đồ chiều sâu để phân tách cơthể người (Intel CES 2011, Kinect)

Ưu điểm:- Độ chính xác rất cao

- Tái hiện được quá trình chuyển động của cơthể

Nhược điểm:- Chi phí đầu tư cho thiết bị

I. Video demo về ứng dụng của kỹ thuật pháthiện bàn tay

II. Giới thiệu các kỹ thuật phát hiện bàn tay

III. Tổng quan về các kỹ thuật xử lý ảnh

IV. Giải pháp phát hiện bàn tay của DST

V. Hướng nghiên cứu phát triển tương lai

1. Phát hiện biên ảnh

2. Chuyển ảnh màu về ảnh xám & cân bằngmức xám

3. Chuyển ảnh về hệ màu YCrCb, HSV

4. Giải thuật làm trơn ảnh

I. Video demo về ứng dụng của kỹ thuật pháthiện bàn tay

II. Giới thiệu các kỹ thuật phát hiện bàn tay

III. Tổng quan về các kỹ thuật xử lý ảnh

IV. Giải pháp phát hiện bàn tay của DSTV. Hướng nghiên cứu phát triển tương lai

1. Kỹ thuật tiền xử lý

2. Phát hiện bàn tay

3. Truy vết chuyển động bàn tay

4. Tái hiện hành động

Phát hiện màu da sử dụng không gian màuYCrCb

Sử dụng ngưỡng 1: Tìm pixels sai biệt

Khoanh vùng chuyển động => Thu hẹp không gian bài toán

Sử dụng ngưỡng 2 để loại trừ nhữngvùng nhiễu xung quanh viền bàn tay

vừa được tách

Khoanh vùng bàn tay trên ảnh màu da (Sử

dụng thuật toán Graham và tìm điểm cựctiểu, cực đại địa phương)

Loại bỏ

Khoanh vùng bàn tay trên ảnh màu da (Sử

dụng thuật toán loang và tìm điểm cựctiểu, cực đại địa phương)

Tách bàn tay khỏi ảnh => Chuyển qua module nhận dạng

Giải thuật phân loại dựa trên phân cấp

1. Kỹ thuật tiền xử lý

2. Phát hiện bàn tay

3. Truy vết chuyển động bàn tay

4. Tái hiện hành động

Ban đầu 2 hướng lựa chọn:◦ Sử dụng Kỹ thuật PCA

◦ Sử dụng kỹ thuật mạng nơ-ron nhân tạo

1) Tính toán ban đầu về kích thướcmạng nơ-ron nhân tạo

2) Xây dựng tập ảnh mẫu bàn tay

3) Huấn luyện mạng

4) Kiểm tra mạng bằng tập ảnh test

5) Tích hợp module Nhận dạng bàn tayvào phần mềm và kiểm thử kết quả

1) Tính toán ban đầu về kích thướcmạng nơ-ron nhân tạo

- Đầu vào: Ma trận mức xám của ảnh *

- Đầu ra:- 1 – Nếu ảnh có chứa bàn tay

- 0 – Nếu ảnh không chứa bàn tay

- Kích thước ảnh: 20x20 => 400 nơ-ronlớp input

- Số lớp ẩn: 1 lớp, gồm 100 nơ-ron lớp ẩn

2) Xây dựng tập ảnh mẫu- 50.952 ảnh bàn tay

- 42.041 ảnh không phải bàn tay

Tổng: 92.966 ảnh huấn luyện

- 35.774 ảnh test

Tập ảnh mẫu được lựa chọn phải có tínhđại diện cho bàn tay thực tế

3) Huấn luyện mạng

- Sử dụng giải thuật lan truyền ngượccho mạng truyền thẳng nhiều lớp

• P: vectơ đầu vào

• W1, W2 : ma trận trọng số

• b1, b2: độ lệch bias

• n1, n2: vectơ vào

• f1,f2: hàm kích hoạt

• a1, a2: đầu ra

Nếu tham số tốc độ học nhỏ thì hội tụchậm, ngượi lại tốc độ học lớn thìthiếu chính xác

Giải thuật có thể bị tắc tại các cực trịđịa phương mà không thể đạt đượccực trị toàn của của bề mặt lỗi

Có rất nhiều phương pháp đề

xuất các cải tiến nhằm khắc phụcnhược điểm trên như:◦ Sử dụng tham số bước đà

◦ Sử dụng hệ số học biến đổi

◦ Sử dụng gradient kết hợp

◦ Sử dụng thuật toán giả luyện kim

◦ Sử dụng giải thuật di truyền

Sử dụng hệ số học biến đổi

Sử dụng giải thuật di truyền

- E(t): tổng bình phương lỗi tại vòng lặp t

- n: số mẫu học

- Zi : đầu ra thực tế

- Yi : đầu ra mong muốn

n

i

ii YZtE0

2)()(

Sau mỗi lần lặp ta sẽ gán:ᵑ = ᵑ x ρ ᵑ: tốc độ học

Nếu: ∆E/ E(t) > β (0.01< β<0.05) -> 0< ρ< 1

Nếu: (E(t) – E(t-1)) / E(t) < 0 thì ρ > 1

Nếu: 0 < ∆E/ E(t) < β

)1()( tEtEE

Sử dụng hệ số học biến đổi

Sử dụng giải thuật di truyền

- Bước 1: Khởi tạo quần thể các nhiễm sắc thể. - Bước 2: Xác định giá trị thích nghi của từngnhiễm sắc thể. - Bước 3: Sao chép lại các nhiễm sắc thể dựa vàogiá trị thích nghi của chúng và tạo ra những nhiễmsắc thể mới bằng các phép toán di truyền. - Bước 4: Loại bỏ những thành viên không thíchnghi trong quần thể. - Bước 5: Chèn những nhiễm sắc thể mới vào quầnthể để hình thành một quần thể mới. - Bước 6: Nếu mục tiêu tìm kiếm đạt được thìdừng lại, nếu không trở lại bước 3

Để có thể sử dụng được giải thuật di truyền vào việc học của mạng nơroncần phải thực hiện một số bức nhưsau:◦ Xây dựng hàm giá

◦ Mã hóa nhiễm sắc thể

◦ Thực hiện giải thuật di truyền

Trong đó : n: là số mẫu huấn luyện

Xi : là đầu ra thực với mẫu i

Yi : là đầu ra mong muốn với mẫu i

n

i

ii TXn

E0

2)(1

Mã hóa nhị phân ( chiều dài nhiễm sắc thểlớn -> gây chậm chương trình)

Mã hóa số thực

Số lớp ẩn: 1 lớp

Số nơ-ron ẩn: 40 nơ-ron

Số nơ-ron lớp vào: 400 nơ-ron

Sai số cho phép: 10-10

Số vòng lặp tối đa: 10.000.000

Số lượng mẫu Lan truyền ngược Giải thuật di truyền

1.432 19’22” 8’3”

92.966 24h chưa có kết quả 5h22’18”

4) Kiểm tra mạng bằng tập ảnh test

Số ảnh Sai số Thời gian nhậndạng

Thời gian kiểm tra(nhóm tự test)

100 1% 0.3s 20s

1.000 1.2% 22s 2p

35.774 4% 3p14s 30p (2 người)

5) Tích hợp module nhận dạng bàn tayvào phần mềm

- Sai sót tương đối nhiều giữa phần mặt vàphần bàn tay

1. Kỹ thuật tiền xử lý

2. Phát hiện bàn tay

3. Truy vết chuyển động bàn tay

4. Tái hiện hành động

1) Sử dụng giải thuậtMeanshift/Camshift

2) Kết hợp bộ lọc Kalman và lọc hạt(Particle Filter)

3) Kỹ thuật lưu vết chuyển động vàchuyển qua module tái hiện sự kiện

B1: Thiết lập khu vực quan tâm

B2: Chọn một vị trí ban đầu của cửa sổ tìm kiếmCamShift. Vị trí được chọn là phân phối mục tiêuđược theo dõi.

B3: Tính xác suất phân phối màu sắc ở khu vực trungtâm của cửa sổ tìm kiếm.

B4: Lặp lại thuật toán CamShift để tìm ra trọng tâmxác suất của ảnh. Lưu trữ phân vùng ảnh đó và vị trítrọng tâm.

B5: Đối với mỗi khung, trung tâm của cửa sổ tìm kiếmở vị trí trung bình được tìm thấy ở bước 4 và thiết lạikích thước cửa sổ theo dõi. Trở về bước 3.

nh được mô nh a một ch rời rạc theothời gian bằng một phương nh ngẫu nhiên tuyến

nh như sau:

xk = Axk – 1 + Buk – 1 + wk – 1 (1)

va t đo c

zk = H * xk + vk (2)

Trong đo w va hai vecto n u nhiên i ncho u hê ng va u đo c.

Hai n u nhiên y c p va gia sư tuân theot phân i n với trung nh = 0 va ma trận

hiệp biến (covariance) lần lượt Q va R

p(w) ∼ N(0, Q) (3)

p(v) ∼ N(0, R) (4)

u vector ng i ch c n, thi ma n ch c ma trận

phụ thuộc o điều khiển tối ưu u vớich thước l. Vector đo đạc ch thước m

nên ma trận H sẽ rằng c ma trậnthể thay đổi theo thời gian (từng bước

k).

Bộ lọc Kalman mang bản chất đi m gia trị clượng va ước n của trạng i x khi ta biết đượcsự biến thiên của va ta đo được một i lượng

phụ thuộc n nh o x.

Với mỗi hình chữ nhật, ta luôn xác định đượctọa độ tâm của hình chữ nhật

Mỗi lần lấy ảnh từ Camera đưa vào nhậndạng. Nếu phát hiện được bàn tay di chuyển, ta sẽ lưu tọa độ tâm vào mảng lưu vết chuyểnđộng

1. Kỹ thuật tiền xử lý

2. Phát hiện bàn tay

3. Truy vết chuyển động bàn tay

4. Tái hiện hành động

Với tập tọa độ các điểm được lưu vết. NhómDST xây dựng các kỹ thuật nhận dạng cử

chỉ và tái hiện hành động:◦ Sử dụng mạng nơ-ron nhân tạo

◦ Sử dụng giải thuật hình học thông thường

Sử dụng mạng nơ-ron◦ Cho phép người dùng tự định nghĩa hành

động

◦ Tương đối đơn giản trong việc cài đặt

◦ Tìm mẫu phức tạp

Sử dụng giải thuật hình học◦ “Máy móc” trong quá trình nhận dạng cử

chỉ

◦ Mức độ chính xác ở mức tương đối

◦ Dễ hình dung thuật toán và dễ cài đặt

I. Video demo về ứng dụng của kỹ thuật pháthiện bàn tay

II. Giới thiệu các kỹ thuật phát hiện bàn tay

III. Tổng quan về các kỹ thuật xử lý ảnh

IV. Giải pháp phát hiện bàn tay của DST

V. Hướng nghiên cứu phát triển trongtương lai

1. Kỹ thuật Fast Statboost tăng tốcphân loại Haar-like

2. Sử dụng Particle Filter để track đốitượng chuyển động chính xác

3. Xây dựng giải pháp hoàn chỉnh chosản phẩm DST Remote Hand

Open Hand Detection in a Cluttered Single Image using Finger Primitives - M. Baris & Caglar Niels Lobo - University of Central Florida

Detecting and tracking faces and hands - Roberto Cipolla – University Of Cambridge

A Bayesian Framework for Human Body Pose Tracking from Depth Image Sequences - Youding Zhu , Kikuo Fujimura

Báo cáo thực tập tốt nghiệp Haar-Like với Adaboost – Nguyễn Quốc Triệu –ĐH Công nghiệp Hà Nội

Xin chân thành cảm ơn sự lắngnghe của thầy giáo và các bạn