79
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ THUỶ PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT NGƯỜI VÀ ỨNG DỤNG TRONG QUẢN LÝ NHÂN SỰ Ngành: Khoa học máy tính Chuyên Ngành: Khoa học máy tính Mã Số: 8480101.01 LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: Nguyễn Thị Thủy i Đại Học Công Nghệ

LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN THỊ THUỶ

PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT NGƯỜI VÀ ỨNG DỤNG TRONG QUẢN LÝ NHÂN SỰ

Ngành: Khoa học máy tínhChuyên Ngành: Khoa học máy tínhMã Số: 8480101.01

LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC:

Ts. Nguyễn Văn Vinh

HÀ NỘI-NĂM 2018

Nguyễn Thị Thủy i Đại Học Công Nghệ

Page 2: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

LỜI CAM ĐOAN

Luận văn thạc sĩ đê tài “Nhận dạng khuôn mặt người và ưng dung trong quan ly

nhân sư” là công trình cá nhân tôi. Các nội dung nghiên cưu và kết qua trình bày trong

luân văn này là trung thưc và rõ ràng. Các tài liệu tham khao được trích dẫn đầy đủ và

ghi rõ nguồn gốc.

Tác gia luận văn ky và ghi rõ họ tên

Nguyễn Thị Thủy ii Đại Học Công Nghệ

Page 3: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

MỤC LỤC

LỜI CAM ĐOAN.................................................................................................i

MỤC LỤC............................................................................................................ii

DANH MỤC HÌNH VẼ, ĐỒ THỊ.....................................................................iv

DANH MỤC CÁC TỪ VIẾT TẮT...................................................................vi

PHẦN MỞ ĐẦU..................................................................................................1

1. Ly do chọn đê tài...............................................................................................1

2. Muc đích nghiên cưu của luận văn, đối tượng, phạm vi nghiên cưu Muc đích

của luận văn:..........................................................................................................1

3. Nội dung luân văn.............................................................................................2

CHƯƠNG 1: BÀI TOÁN NHẬN ĐỐI TƯỢNG NHẬN DẠNG KHUÔN

MẶT......................................................................................................................3

1.1. Tổng quan và các khái niệm liên quan đến nhận dạng khuôn mặt.................3

1.1.1. Hệ thống sinh trắc học.................................................................................3

1.1.2. Hệ thống nhận dạng khuôn mặt...................................................................3

1.1.3. Hệ thống xác minh hay xác thưc khuôn mặt là gì.......................................3

1.1.4. Những thách thưc trong bài toán nhận dạng khuôn mặt.............................4

1.2. Tổng quan vê các ưng dung tương tác người máy liên quan tới khuôn mặt. .4

1.3. Hướng tiếp cận chính trong lĩnh vưc nhận dạng khuôn mặt..........................4

1.3.1. Các công trình nghiên cưu vê Phương pháp nhận dạng và kiểm chưng chất

lượng cho một hệ thống nhận dạng khuôn mặt.....................................................4

1.3.2. Hướng tiếp cận của luận văn.......................................................................7

CHƯƠNG 2: CÁC KỸ THUẬT CHO NHẬN DẠNG KHUÔN MẶT..........8

I. Học máy.............................................................................................................8

1.1. Phương pháp Deep Learning (CNN)..............................................................8

1.2. Phương pháp truyên thống.............................................................................9

II. Các kỹ thuật sử dung trong nhận dạng khuôn mặt..........................................10

Nguyễn Thị Thủy iii Đại Học Công Nghệ

Page 4: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

2.1. Phát hiện khuôn mặt (Viola Jone Face detection)........................................10

2.2. Trích chọn đặc trưng Weber local Descripor- WLD....................................13

2.3. Giới thiệu phương pháp phân tích thành phần chính PCA...........................16

2.3.1. Giới thiệu phương pháp PCA....................................................................16

2.3.2. Đặc trưng PCA..........................................................................................20

2.3.3. Phương pháp phân tích thành phần chính(PCA).......................................20

2.3.4. Các bước thưc hiện trích chọn đặc trưng PCA..........................................22

2.4. Học máy hộ trợ vestor SVM.........................................................................24

2.4.1. Cơ sở ly thuyết..........................................................................................24

2.4.2. SVM tuyến tính.........................................................................................24

2.4.3. SVM Phi Tuyến tính..................................................................................26

CHƯƠNG 3: ỨNG DỤNG CÁC KỸ THUẬT TRONG NHẬN DẠNG

KHUÔN MẶT....................................................................................................31

3.1. Phát hiện khuôn mặt (Viola Jone Face Detection).......................................31

3.2. Trích chọn đặc trưng (WLD)........................................................................31

3.3. Phân tích thành phần chính PCA và nhận dạng/phân lớp SVM...................32

3.4. Mô ta dữ liệu................................................................................................33

3.4.1. Thu nhập dữ liệu........................................................................................33

3.4.2. Biểu diễn dữ liệu khuôn mặt trong máy tính.............................................35

3.4.3. Dữ liệu huấn luyện....................................................................................36

3.5. Kết qua thưc nghiệm....................................................................................36

3.6. Ứng dung trong quan ly nhân sư..................................................................38

3.6.1. Mô hình nhận dạng trong quan ly nhân sư................................................38

3.6.2. Giao diện màn hình chưc năng nhận dạng................................................39

3.6.3. Giao diện màn hình chưc năng quan ly bộ phận.......................................40

3.6.4. Giao diện màn hình chưc năng quan ly phòng ban...................................41

3.6.5. Giao diện màn hình chưc năng quan ly nhân sư.......................................42

KẾT LUẬN........................................................................................................43

DANH MỤC TÀI LIỆU THAM KHẢO…………………………………….43Nguyễn Thị Thủy iv Đại Học Công Nghệ

Page 5: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

DANH MỤC HÌNH VẼ, ĐỒ THỊ

Hình 0.1 So sách tác vu nhận dạng khuôn mặt và xác minh khuôn mặt...............3

Hình 0.2 Mô phỏng nhận dạng khuôn mặt............................................................7

Hình 0.3 Haar Features sử dung trong Violo Jones............................................10

Hình 0.4 Applying on a give image....................................................................10

Hình 0.5 Ví du vê Haar features..........................................................................11

Hình 0.6 Ví du anh Integral.................................................................................11

Hình 0.7 Anh ví du tính Ô pixcel........................................................................12

Hình 0.8 Các bước loại khuôn mặt hay không....................................................13

Hình 0.9 Kết qua phát hiện khuôn mặt................................................................13

Hình 0.10 Tính kích thích sai khác......................................................................15

Hình 0.11 Anh trên là anh gốc, anh thư 2 là anh trích chọn đặc trưng ..............15

Hình 0.12 Minh họa vê tính toán của WLD........................................................16

Hình 0.13 Lua chọn các truc toạ độ mới để biểu diễn dữ liệu [11].....................18

Hình 0.14 Siêu măt phân cách tuyến tính cho trường hợp phân cách được và ky

Hiệu các support vestor chính là các diểm được bao bằng viên tròn..................22

Hình 0.15 anh, trong H, với hình vuông [1,-1] €R2 dưới ánh xạ ϴ.....................26

Hình 0.16 cây nhị phân: Cấu trúc cây nhị phân với số lớp bằng số mũ của 2.

Phai: số mũ không bằng số mũ của 2..................................................................28

Hình 0.17 Mô hình quá trình tạo các đặc trưng mặt...........................................31

Hình 0.18 Mô hình sử dung trong nhận dạng khuôn mặt....................................31

Hình 0.19 Mô hình quá trình tạo các đặc trưng mặt...........................................32

Hình 0.20 anh ban đầu được biểu diễn theo các trọng số wj và eigenface.........33

Hình 0.21 Ví du vê anh của một người trong Yale face Database......................34

Hình 0.22 Anh 12 khuôn mặt người được đánh thư tư từ 1 đến 12....................34

Hình 0.23 Kích thước chuẩn hóa của một mẫu khuôn mặt trong học tập...........35

Hình 0.24 Một phần của tập anh luyện...............................................................36Nguyễn Thị Thủy v Đại Học Công Nghệ

Page 6: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Hình 0.25 Một phần của tập anh thử nghiệm.....................................................36

Hình 0.26 Bang 1.1. Bang Thưc nghiệm nhận dạng số lượng anh.....................37

Hình 0.27 kết qua thưc nghiệm so với chỉ sử dung PCA...................................37

Hình 0.28 Mô hình nhận dạng ở cửa ra vào tại cơ quan....................................38

Nguyễn Thị Thủy vi Đại Học Công Nghệ

Page 7: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

DANH MỤC CÁC TỪ VIẾT TẮT

PCA Principal Component Analysis

SVM Support Vector Machine

WLD Weber Local Description

CNN Convolutional Neural Network

Nguyễn Thị Thủy vii Đại Học Công Nghệ

Page 8: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

PHẦN MỞ ĐẦU

1. Lý do chọn đề tài

Nhận dạng khuôn mặt là một trong những lĩnh vưc mới của xử ly anh. Và

ngày nay nhận dạng được sử dung rộng rãi trong nhiêu lĩnh vưc của đời sống

như nhận dạng trong lĩnh vưc thương mại, hay phát hiện trong lĩnh vưc an ninh,

hay trong xử ly video, hình anh. Một trong những ưng dung tiểu biểu nhận dạng

đang sử dung phổ biến hiện này trong nhận dạng khuôn mặt người là ưng dung

trong điện thoại di động cu thể như IphoneX và Sangsung đang sử dung.

Hiện nay có rất nhiêu các Phương pháp nhận dạng khác nhau được xây

dưng để nhận dạng một người cu thể trong thế giới thưc. ta có thể nói tới một số

phương pháp như: học máy và học sâu.Tuy nhiên hai phương pháp này lại có

nhược điểm lớn là phai xây dưng một tập cơ sở dữ liệu lớn và đồng thời việc xử

ly dữ liệu lớn đòi hỏi phai nhanh và chính xác. Vậy nên hai phương pháp trên sẽ

mất thời gian để nhận dạng. nhiệm vu đặt ra là nghiên cưu và xây dưng một

chương trình sử dung Phương pháp nhận dạng có độ chính xác cao mà khối

lượng và thời gian tính toán lại ít.

Để giai quyết vấn đê trên tôi xin đê xuất ra phương pháp phát hiện khuôn

mặt sử dung phương pháp Viola jone face detection, trích chọn đặc trưng sử

dung phương pháp Weber local Descriptor và kết hợp phân tích thành phần

chính sử dung phương pháp PCA và học máy vestor (SVM) để nhận dạng

khuôn mặt.

2. Mục đích nghiên cứu của luận văn, đối tượng, phạm vi nghiên cứu Mục

đích của luận văn:

Nghiên cưu đê tài này nhằm muc đích tìm hiểu bài toán nhận dạng khuôn

mặt, từ đó xây dưng các hệ thống ưng dung trong thưc tiễn như: điểm danh,

giám sát người ra vào, an ninh trong sân bay

Đối tượng và phạm vi áp dụng:

Nguyễn Thị Thủy 1 Đại Học Công Nghệ

Page 9: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Đê tài tập trung tìm hiểu một số phương pháp nhận dạng khuôn mặt người

phổ biến hiện nay và đưa ra phương án nhận dạng cho bài toán nhận dạng khuôn

mặt người.

Để đặt được mục tiêu trên đề tài tập trung tìm hiểu các nội dung sau:

- Tìm hiểu phương pháp phát hiện khuôn mặt sử dung phương pháp Viola

Jones Face Detection

- Trích chọn đặc trưng sử dung phương pháp Weber Local Description

- Phương pháp phân tích thành phần chính

- Phương pháp học máy vestor (SVM)

3. Nội dung luân văn

Luận văn này gồm 3 chương, cu thể như sau:

Chương 1: BÀI TOÁN NHẬN ĐỐI TƯỢNG NHẬN DẠNG KHUÔN

MẶT

Giới thiệu các cách thưc nhận dạng khuôn mặt người, vì sao nên nhận

dạng người bằng khuôn mặt, tầm quan trọng của bài toán trong thưc tiễn, một số

ưng dung thưc tiễn của bài toán nhận dạng khuôn mặt

Chương 2: CÁC KỸ THUẬT CHO NHẬN DẠNG KHUÔN MẶT

Giới thiệu vê 4 phương pháp sử dung nhận dạng khuôn mặt được sử dung

trong luận văn là phương pháp phát hiện khuôn mặt( Viola Jone Face

Detection), phương pháp trích chọn đặc trưng (WLD), phân tích thành phần

chính (PCA) và máy vector hỗ trợ (SVM)

Chương 3: ỨNG DỤNG CÁC KỸ THUẬT TRONG NHẬN DẠNG

KHUÔN MẶT

Đưa ra mô hình xây dưng bài toán nhận dạng khuôn mặt người, các bước

thưc hiện và đánh giá thử nghiệm

Nguyễn Thị Thủy 2 Đại Học Công Nghệ

Page 10: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

CHƯƠNG 1: BÀI TOÁN NHẬN ĐỐI TƯỢNG NHẬN DẠNG

KHUÔN MẶT

1.1. Tổng quan và các khái niệm liên quan đến nhận dạng khuôn mặt

1.1.1. Hệ thống sinh trắc học

Hệ thống sinh trắc học là một hệ thống được thiết kế để xác minh và nhận

dạng một người dưa vào những đặc trưng sinh học duy nhất của người đó.

1.1.2. Hệ thống nhận dạng khuôn mặt

Hệ thống nhận dạng khuôn mặt là một hệ thống được thiết kế để tìm

thông tin của một người. Kĩ thuật nhận dạng là kiểm tra sư phù hợp dưa trên

phép so sánh một-nhiêu cu thể là tìm ra một người là ai trong số những người đã

được lưu trữ trong hệ thống dưa vào thông tin khuôn mặt.

1.1.3. Hệ thống xác minh hay xác thực khuôn mặt là gì

Hệ thống xác minh/xác thưc khuôn mặt là một hệ thống được thiết kế để

xác minh thông tin của một người .Kĩ thuật xác minh là kiểm tra sư phù hợp trên

phép so sánh một-một cu thể là đối chiếu thông tin mới nhận vê một người với

thông tin đã lưu trữ vê người này có khớp hay không dưa trên thông tin khuôn

mặt.

Hình 0.1 So sách tác vụ nhận dạng khuôn mặt và xác minh khuôn mặt

Nguyễn Thị Thủy 3 Đại Học Công Nghệ

Page 11: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

1.1.4. Những thách thức trong bài toán nhận dạng khuôn mặt

Những biến đổi quá lớn giữa các anh khuôn mặt khác nhau từ một người

cần nhận dạng gồm trạng thái cam xúc trên khuôn mặt, ánh sáng, và các thay đổi

vị trí của khuôn. Giới hạn vê số anh cần thiết cho việc nhận dạng, tập học không

thể bao quát được tất ca các biến đổi có thể có trên khuôn mặt của một người

cần nhận dạng trong thế giới thưc.

1.2. Tổng quan về các ứng dụng tương tác người máy liên quan tới khuôn

mặt

Từ những năm 1990 trở lại đây, chúng ta đã chưng kiến sư phát triển như

vũ bão của các ngành công nghiệp, đặc biệc là ngành công nghiệp chế tạo điện

tử.Tuy nhiên hiện nay các thiết bị điện tử cao cấp như máy anh số, camera kĩ

thuậtsố,vànhiêu san phẩm khác dường như chỉ phù hợp cho các phòng thí

nghiệm, các công ty san xuất kinh doanh, thương mại, tài chính, ngân hàng, ...

Trong thời gian không xa từ 3 đến 10 năm nữa, chi phí cho các thiết bị này sẽ

giam đáng kể. Khi đó sẽ mở ra nhiêu hướng nghiên cưu vê thị giác máy tính,

đồng thời sẽ có nhiêu ưng dung trong giao tiếp giữa người với máy tính mà

trong đó hệ thống nhận dạng mặt người đóng một vai trò không nhỏ. Dưới đây

chúng tôi liệt kê một số ưng dung.

Các ưng dung chuyên biệt trong ngành hàng không

Ứng dung sử dung trong nhà thông minh,…

1.3. Hướng tiếp cận chính trong lĩnh vực nhận dạng khuôn mặt

1.3.1. Các công trình nghiên cứu về Phương pháp nhận dạng và kiểm

chứng chất lượng cho một hệ thống nhận dạng khuôn mặt

Bài toán nhận dạng khuôn mặt cần xác định hai vấn đê chính: dùng thông

tin nào để nhận dạng: chân mày, cặp mắt, mũi, môi, tai, hay kết hợp các thông

tin trên.Và dùng phương pháp nào để huấn luyện cho máy nhận dạng dùng

nguồn thông tin đó. Nhận dạng khuôn mặt trên máy tính đã trãi qua nhiêu bước

thăng trầm với các kết qua như sau:

Nguyễn Thị Thủy 4 Đại Học Công Nghệ

Page 12: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Wenyi Zhao, Arvindh Krishnaswamy, Rama Chellappa, Danie L.Swets,

ohn Weng (1998)[1] sử dung phương pháp PCA (phân tích thành phần

chính) kết hợp LDA (phân tích độc lập tuyến tính). Bước 1, chiếu anh

khuôn mặt từ không gian anh thô sang không gian các không gian khuôn

mặt (Mỗi lớp khuôn mặt được nhận dạng sẽ được mô hình hóa bằng một

không gian khuôn mặt) dùng PCA. Bước 2, sử dung phương pháp LDA

để tạo bộ phân loại tuyến tính có kha năng phân lớp các lớp khuôn mặt.

Emmanuel Viennet và Francoise Fogelman Soulie (1998),[3] sử dung

phương pháp mạng neural nhân tạo để xử ly và nhận dạng khuôn mặt

Antonio J.Colmenarez và Thomas S.Huang (1998),[4] sử dung kỹ thuật

học thị giác và phù hợp mẫu 2-D. Ông quan niệm bài toán dò tìm khuôn

mặt là thao tác phân loại khuôn mặt trong đó khuôn mặt thuộc vê một

lớp và các đối tượng khác thuộc vê lớp còn lại bằng cách ước lượng mô

hình xác suất cho mỗi lớp, và việc dò tìm sử dung luật quyết định

Maximum-likelihood.

Kazunori Okada, Johannes Steffens, Thomas Maurer, Hai Hong, Egor

Elagin, Hartmut Neven, and Christoph (1998),[5] nhận dạng khuôn mặt

dưa vào sóng Gabor và phương pháp phù hợp đồ thị bó. Với y tưởng

dùng đồ thị để biểu diễn khuôn mặt, anh khuôn mặt được đánh dấu tại

các vị trí đã được xác định trước trên khuôn mặt, gọi các vị trí này chính

là các vị trí chuẩn. Khi thưc hiện thao tác so khớp đồ thị với một anh,

các điểm chuẩn (Jets) sẽ trích ra từ anh và so sánh các điểm chuẩn này

với tất ca các điểm chuẩn tương ưng trong các đồ thị khác nhau, và đồ

thị nào phù hợp nhất với anh sẽ được chọn.

Baback Moghaddam và Alex Pentland (1998) [6], đưa ra phương pháp

phù hợp thị giác trưc tiếp từ các anh cần sử dung cho muc đích nhận

dạng khuôn mặt và dùng độ đo xác suất để tính độ tương tư.

Massimo Tistaelli và Enrico Grosso (1998) [7], đưa ra kỹ thuật thị giác

động. Vì kha năng quan sát các chuyển động của khuôn mặt và xử ly cácNguyễn Thị Thủy 5 Đại Học Công Nghệ

Page 13: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

tính huống theo dư định là thông tin rất quan trọng, từ đó nhận được mô

ta đầy đủ hơn vê khuôn mặt cho m1uc đích thu thập mẫu và nhận dạng.

Jeffrey Huang, Chengjun Liu, và Harry Wechsler (1998)[8], đê xuất

thuật toán căn cư trên tính tiến hóa (Evolutionary computation) và di

truyên (Genetic) cho các tác vu nhận dạng khuôn mặt. Đối với cách tiếp

cận này, hai mắt sẽ được dò tìm trước tiên và thông tin này được xem là

vết để quan sát khuôn mặt, trình xử ly dò tiếp mắt bằng cách sử dung

một thuật toán lai để kết hợp thao tác học và tiến hóa trong quá trình

học

Daniel Bgraham và Nigel M Allinson (1998)[9], sử dung phương pháp

được gọi là tạo ban sao không gian đặc trưng để biểu diễn và nhận dạng

hướng di chuyển của khuôn mặt.

Oi Bin Sun, Chian Prong Lam và Jian Kang Wu (1998)[10], sử dung

phương pháp tìm vùng hai chân mày, hai mắt, mũi, miệng và cằm. Anh

khuôn mặt thẳng ban đầu được chiếu theo chiêu ngang để tìm các giá trị

điểm anh thỏa ngưỡng cho trước, đồ thị biểu diễn theo truc ngang sẽ

định vị vị trí biên trên và biên dưới của hình chữ nhật bao các đặc trưng

cuc bộ khuôn mặt. Tương tư với chiêu đưng để tìm ra đường biên bên

trái và phai cho các vùng đặc trưng.

Ara V.Nefian và Monson H.Hayes III (1998)[12] trình bày hướng tiếp

cận theo mô hình mô hình Markov ẩn (HMM) trong đó anh mẫu khuôn

mặt được lượng hóa thành chuỗi quan sát trên khuôn mặt theo quan

niệm dưa trên thư tư xuất hiện các đặc trưng khuôn mặt {hai chân mày,

hai lông mi, mũi, miệng, cằm}. Trong chuỗi quan sát đó, mỗi quan sát

lại là một vector nhiêu chiêu và mỗi vector quan sát này được sử dung

để đặc trưng cho mỗi trạng thái trong chuỗi trạng trạng thái của HMM.

Mỗi người được ước lượng bằng một mô hình của HMM.

Nguyễn Thị Thủy 6 Đại Học Công Nghệ

Page 14: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Guodong Guo, stan Z.LI, Kap luk chan(17 january 2001), dùng phương

pháp SVM để nhận dạng khuôn mặt . Sử dung chiến lược kết hợp nhiêu

bộ phận loại nhị phân để xây dưng bộ phân loại SVM đa lớp.

1.3.2. Hướng tiếp cận của luận văn

Trong đê tài này chúng tôi sử dung phương pháp Phát hiện khuôn mặt sử

dung phương pháp Viola Jone Face Detection, Trích chọn đặc trưng sử dung

phương pháp Weber Local Descripor, phân tích thành phần chính và phương

pháp phân lớp SVM để nhận dạng.

Sơ đồ hệ thống nhận dạng khuôn mặt được minh họa trong hình sau:

Hình 0.2 Mô hình nhận dạng khuôn mặt người

Nguyễn Thị Thủy 7 Đại Học Công Nghệ

Page 15: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

CHƯƠNG 2: CÁC KỸ THUẬT CHO NHẬN DẠNG KHUÔN MẶT

I. Học máy

1.1. Phương pháp Deep Learning (CNN)

CNN là một trong những mô hình deep learning tiên tiến giúp xây dưng

hệ thống thông minh với độ chính xác cao trong xử ly anh. CNN được sử dung

nhiêu trong các bài toán nhận dạng object trong anh. Tuy nhiên phương pháp

này lại có nhược điểm lớn là phai xây dưng một tập cơ sở dữ liệu lớn (mỗi tập

dữ liệu huấn luyện phai sử dung ít nhất 1000 nhãn mới mang lại hiệu qua cao)

và đồng thời việc xử ly dữ liệu lớn đòi hỏi phai nhanh và chính xác.

Mạng CNN là là một tập hợp các lớp Convolution chồng lên nhau và sử

dung các hàm nonlinear activation như ReLU và tanh để kích hoạt các trọng số

trong các node. Mỗi một lớp sau khi thông qua các hàm kích hoạt sẽ tạo ra các

thông tin trừu tượng hơn cho các lớp tiếp theo. Mỗi một lớp sau khi thông qua

các hàm kích hoạt sẽ tạo ra các thông tin trừu tượng hơn cho các lớp tiếp theo.

Trong mô hình mạng truyên ngược (feedforward neural network) thì mỗi neural

đầu vào (input node) cho mỗi neural đầu ra trong các lớp tiếp theo. Mô hình này

gọi là mạng kết nối đầy đủ (fully connected layer) hay mạng toàn vẹn (affine

layer). Còn trong mô hình CNNs thì ngược lại. Các layer liên kết được với nhau

thông qua cơ chế convolution. Layer tiếp theo là kết qua convolution từ layer

trước đó, nhờ vậy mà ta có được các kết nối cuc bộ. Như vậy mỗi neuron ở lớp

kế tiếp sinh ra từ kết qua của filter áp đặt lên một vùng anh cuc bộ của neuron

trước đó.

1.2. Phương pháp truyền thống

PCA và SVM: Phương pháp PCA giam bớt số thành phần không cần

thiết tạo ra hiệu qua tính toán nhanh mà vẫn đam bao được độ chính xác. Sau

khi PCA đưa ra được các đặc trưng tốt sẽ dùng SVM để phân lớp và nhận khuôn

mặt.

Nguyễn Thị Thủy 8 Đại Học Công Nghệ

Page 16: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

II. Các kỹ thuật sử dụng trong nhận dạng khuôn mặt

2.1.Phát hiện khuôn mặt (Viola Jone Face detection)

- Haar features: y tưởng : độ sáng tối của các vùng trên gương mặt là khác

nhau. Ví du: vùng mắt tối hơn vùng má, vùng mũi sáng hơn vùng hai bên

- Kết qua của mỗi đặc trưng được tính bằng hiệu của tổng các pixel trong

miên ô trắng trừ đi tổng các pixel trong miên ô đen.

Hình 0.3 Haar Features sử dụng trong Viola Jones (Nguôn: bài báo Viola Jone face detection)

Hình 0.4 Applying on a give image (Nguôn: bài báo Viola Jone face detection)

Thuật toán viola jones sử dung cửa sổ 24x24 để đánh giá các đặc trưng

của anh. Nếu xem xét tất ca các tham số của các đặc trưng, ta tính được khoang

160.000+ đặc trưng cho mỗi cửa sổ.

Nguyễn Thị Thủy 9 Đại Học Công Nghệ

Page 17: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Hình 0.5 Ví dụng về các haar features (Nguôn: Bài báo Viola Jone face detection)

- Integral Image: giá trị ở pixel (x, y) là tổng của các pixel ở trên và bên

trái (x,y). Cho phép tính tổng của các pixel trong bất kì hình chữ nhật chỉ với 4

giá trị ở 4 góc.

Hình 0.6 Ví dụ anh Integral

Nguyễn Thị Thủy 10 Đại Học Công Nghệ

Page 18: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Hình 0.7 Ảnh Ví dụ tính 1 ô pixcel

Trong các pixels: D=1 + 4 – (2+3) = A + (A + B +C + D)- (A+C + B) = D

- Có rất nhiêu đặc trưng được lấy ra từ 1 cửa sổ nhưng chỉ có 1 số ít là hữu

dung trong việc nhận diện khuôn mặt.

- Sử dung thuật toán adaboost để tìm những đặc trưng tốt nhất. Sau đó các

đặc trưng này được gán cho các trọng số để tạo nên hàm đánh giá quyết định

xem một cửa sổ có là khuôn mặt hay không. Mỗi đặc trưng chọn nếu chúng ít

nhất thể hiện tốt hơn đoán ngẫu nhiên (phát hiện nhiêu hơn một nửa).

- Các đặc trưng được gọi là các bộ phân lớp yếu. Chúng được tổ hợp tuyến

tính để tạo ra một bộ phân lớp mạnh.

F(x) = ∝1 f 1(x) +∝2 f 2(x) +∝3 f 3(x) ∆ ∆

Strong clasifier Weak classifier

- Mặc dù một anh có thể chưa một hoặc nhiêu khuôn mặt nhưng số lượng

vật không phai khuôn mặt vẫn lớn hơn rất nhiêu => thuật toán nên tập trung vào

việc bỏ những vật không phai khuôn mặt một cách nhanh chóng.

- Một bộ phân lớp cascade (cascade classifier) được sử dung tất ca các đặc

trưng được nhóm vào vài stage. Mỗi stage gồm một số các đặc trưng.

Nguyễn Thị Thủy 11 Đại Học Công Nghệ

Page 19: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

- Mỗi stage được sử dung để xác định một cửa số có phai là khuôn mặt

hay không

Hình 0.8 các bước loại khuôn mặt hay không

Hình 0.9 Kết qua Phát hiện khuôn mặt (Nguôn: bài báo Viola Jone Face Detection)

2.2. Trích chọn đặc trưng Weber local Descripor- WLD

Weber local Description (WLD): việc nhận thưc của con người vê một vật

mẫu không chỉ phu thuộc vào sư thay đổi của một kích thích (âm thanh, ánh

sáng…) mà còn phu thuộc vào cường độ gốc của kích thích. WLD gồm 2 thành

Nguyễn Thị Thủy 12 Đại Học Công Nghệ

Page 20: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

phần chính: differential excitation và gradient orientation của anh và xây dưng

histogram dưa trên thành phần đó.

- Different excitations

Sử dung sư khác nhau vê cường độ giữa pixel hiện tại và các hàng

xóm để miêu ta sư thay đổi của pixel hiện tại => mô phỏng quá

trình nhận dạng mẫucủa con người.

Ic: cường độ của pixel hiện tại

Ii: cường độ của pixel lân cận I = (0,1,…p-1) p: số pixel lân cận.

Sư khác nhau giữa thành phần tử tâm và lân cậnf if(I) = ∆ I i = I i - I i

Tỉ lệ điểm sư sai khác với phần tử tâm

f radio(∆ I i) = ∆ IiIc

Tổng các sư sai khác:

f ∑¿ ¿(∆ I i

I e) = ∑

i=0

p−1

¿¿

Sử dung hàm arctangent như 1 hàm lọc để giam nhiễu:

f min[∑i=0

p=1

¿¿)] = arctan [(∑i=0

p−1 I i− I i

Ii)]

- Orientation

Để đơn gian, các giá trị của Ɵ được lượng tử hoá vê T hướng. trước

khi lượng tư giá trị Ɵ được đưa vê [0, II]

Nguyễn Thị Thủy 13 Đại Học Công Nghệ

Page 21: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Hình 0.10 Tính kích thích sai khác (Nguôn WLD, tác gia Jie Chen, Member, IEEE,

Shiguang Shan, Member, IEEE, Chu He, Guoying Zhao, Matti Pietikäinen, Senior

Member, IEEE, Xilin Chen, Senior Member, IEEE, Wen Gao, Fellow, IEEE)

Hình 0.11 anh trên là anh gốc anh thứ 2 là gốc trích chọn đặc trưng (Nguôn WLD, tác gia

Jie Chen, Member, IEEE, Shiguang Shan, Member, IEEE, Chu He, Guoying Zhao, Matti

Pietikäinen, Senior Member, IEEE, Xilin Chen, Senior Member, IEEE, Wen Gao, Fellow,

IEEE)

- WLD histogram

Phần 0, 5: biến đổi của tần số cao.

Phần 1, 4: biến đổi của tần số trung bình

Phần 2, 3: biến đổi của tần số thấp

Nguyễn Thị Thủy 14 Đại Học Công Nghệ

Page 22: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Mỗi phần có những vài trò khác nhau trong từng nhiệm vu phân

lớp. cần đánh giá trọng số cho từng phần.

Một cách phổ biến là tính tỉ lệ nhận dạng cho từng phần R={rm}wm = rm/∑i r i

Hình 0.12 Minh họa về tính toán của WLD (Nguôn WLD, tác gia Jie Chen, Member, IEEE,

Shiguang Shan, Member, IEEE, Chu He, Guoying Zhao, Matti Pietikäinen, Senior Member,

IEEE, Xilin Chen, Senior Member, IEEE, Wen Gao, Fellow, IEEE)

2.3. Giới thiệu phương pháp phân tích thành phần chính PCA

2.3.1. Giới thiệu phương pháp PCA

Phương pháp trích chọn đặc trưng được phát minh năm 1901 bởi Karl

Pearson,và được phát triển một cách độc lập bởi Hotelling (1933). Hiện nay nó

được sử dung như một công cu để phân tích dữ liệu nghiên cưu và thưc hiện các

mô hình dư đoán. PCA còn bao gồm ca việc tính toán phân tích các giá trị đặc

trưng của một ma trận tương quan dữ liệu hay phân tính các giá trị đơn của ma

trận dữ liệu thường sau khi tính trung bình dữ liệu của mỗi thuộc tính [11],[15].

PCA là phương pháp đơn gian nhất phân tích đa biến dưa trên các vector đặc

trưng. Thông thường hoạt động của nó có thể được hiểu nhằm khám phá ra cấu

Nguyễn Thị Thủy 15 Đại Học Công Nghệ

Page 23: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

trúc bên trong của dữ liệu. Nếu một tập dữ liệu đa biến được xem xét như tập

các tọa độ trong một không gian dữ liệu nhiêu chiêu (mỗi truc biểu diễn một

biến) thì phương pháp PCA cung cấp cho chúng ta một bưc anh ít chiêu, một cái

bóng của vật thể khi quan sát từ chính những đặc trưng cơ ban nhất của vật thể

đó.

Muc tiêu của phương pháp PCA là thưc hiện giam số chiêu nhưng vẫn

đam bao tối đa sư phân tán dữ liệu. Có thể nói phương pháp trích chọn đặc trong

tìm cách giữ lại những thành phần thống kê quan trọng nhất của tập dữ liệu ban

đầu.

Gia sử ta cần giam số chiêu của dữ liệu từ N chiêu xuống còn K (K<N)

chiêu nghĩa là ta cần tìm một ánh xạ từ không gian N chiêu sang không gian K

chiêu.

Trong vấn đê đang xét của luận văn này, PCA là một thuật toán được sử

dung để tạo ra một anh mới từ anh ban đầu. Anh mới này có kích thước nhỏ hơn

rất nhiêu so với anh đầu vào và vẫn mang những đặc trưng cơ ban nhất của anh

cần nhận dạng. Phương pháp PCA không cần quan tâm đến việc tìm ra các đặc

điểm cu thể của thưc thể cần nhận dạng và mối quan hệ giữa các đặc điểm đó.

Tất ca các chi tiết của thưc thể đêu được thể hiện ở anh mới được tạo ra từ PCA.

Ban chất của PCA là tìm ra một không gian mới theo hướng biến thiên

mạnh nhất của một tập hợp các vector trong không gian cho trước. Ở không gian

mới, ta hi vọng rằng việc phân loại sẽ cho ta bộ dữ liệu tốt hơn so với bộ dữ liệu

trong không gian ban đầu.

Ví du: gia sử tập dữ liệu ban đầu được quan sát trong không gian ba chiêu

như hình bên trái. Rõ ràng ba truc này (các truc có tên Databases, Data minning,

Language trong hình 3) không biểu diễn được tốt nhất mưc độ biến thiên của dữ

liệu. Phương pháp PCA sẽ tìm hệ truc tọa độ mới (là hệ truc không có tên trong

hình bên trái) để biểu diễn tốt nhất mưc độ biến thiên của dữ liệu. Sau khi tìm

được không gian mới, dữ liệu sẽ được chuyển sang không gian này để được biểu

diễn như trong hình bên phai. Rõ ràng hình bên phai chỉ cần hai truc tọa độ Nguyễn Thị Thủy 16 Đại Học Công Nghệ

Page 24: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

nhưng biểu diễn tốt hơn độ biến thiên của dữ liệu so với hệ truc toạ độ chiêu ban

đầu.

Một ưu điểm của PCA là các truc toạ độ mới trong không gian luôn đam

bao trưc giao từng đôi một. mặc dù trong không gian ban đầu các truc có thể

không truc giao với nhau.

Hình 0.13 Lụa chọn các trục toạ độ mới để biểu diễn dữ liệu

Xem tập mẫu gồm K vestors trong không gian M chiêu [5], [17]:

O= {f 1 , f 2,…f k,…f k} (2.1)

Gia sử cơ sở của không gian tập mẫu là:BM = {ψ1 ,ψ2, ….ψ M } (2.2)

Ta có:

f

1=¿{f 11

f 12

f 13

… .f 1 M

}¿.f 2 ={f 21

f 22

f 23

…f 2 M

},…f k = {f k 1

f k 2

f k 3

…f kM

} (2.3)

Trong đó f kM là thành phần thư m của vestor f k. Mỗi f k có thể viết dưới

dạng:f k = f k 1ψ1 + f k 2ψ2 + …+f kM ψM (2.4)

Như vậy mỗi phần tử của tập mẫu bây giờ như là một vestor trong hệ cơ

sở BM .

Nguyễn Thị Thủy 17 Đại Học Công Nghệ

Page 25: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Bằng cách sử dung M vectors cơ sở ta có thể biểu diễn mỗi quan sát. Điêu

này cũng đúng khi ta chọn cơ sở gồm M-vectors trưc giao được thể hiện trong

2.2.

Trong thưc tế chúng ta không thể đưa tất ca các cơ sở M-chiêu do nhiêu ly

do khác nhau như M quá lớn hay có chưa một số thông tin không quan trọng. Vì

vậy chúng ta chuyển sang không gian có số chiêu nhỏ hơn là N chiêu. Khi đó

tập mẫu là:

O = {f 1, f 2, …,f k,…f k} (2.5)

ở đây chúng ta quan tâm đến việc tìm một cơ sở trưc giao (OrthNormal-

ON) BM .

BN= {ψ1,ψ2,…ψN} với {ψ1 ,ψ2 }=б ij (2.8)

б ij=0nếui ¿ j , б ij=1 nếu i= j (2.9)

BN được gọi là cắt (truncated) khi có nhận ít nhất vestor cơ sở hơn. Vậy ta

thể hiện O trong cơ sở nhỏ hơn với sai số.

1K ∑

k=1

k

‖f k−~f k‖

2 (2.9)

Ta có (ψm,f k)= ψmT f k vậy

K∑m=1

N

ψmT Sψm ≤ K∑

m=1

N

λ(m) λ (2.10)

Ma trận phân bố các phần tử của tập mẫu O là:

S = 1K ∑

k=1

K

f k f kT (2.11)

Để sai số xấp xỉ bé nhất thì phai chọn BN là N vestor riêng có y nghĩa nhất

của S thoa mãn công thưc:

1K ∑

k=1

k

‖f k−~f k‖

2 = T

K− 1

K ∑k=1

K

‖~f k‖2 ≥ T

K - ∑m=1

N

λ(m) ∑m=N+1

M

λ(m ) (2.12)

Khi ta chon N-vestor riêng và sai số xấp xỉ là nhỏ nhất và bằng tổng M-N

trị riêng bé nhất của S thì ta được:

Nguyễn Thị Thủy 18 Đại Học Công Nghệ

Page 26: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

S = 1K ∑

k=1

K

f k f kT= 1

K [f 1,f 2 , … f k][ f 1

f 2

…f k

]= 1K OOT (2.14)

Do S là đối xưng nửa xác định riêng nên những vector riêng là trưc giao

điêu này đam bao cơ sở tối ưu là trưc giao.

Như vậy cơ sở mới được xây dưng từ cơ sở quan sát ban đầu theo phương

trình:

(~O)T = OT BN (2.15)

Như ta biết phép biến đổi trưc giao không làm thay đổi Trace-Vết của ma

trận mà phép biến đổi cơ sở này giữ lại K-vectors riêng ưng với K-trị riêng lớn

nhất. Nghĩa là sư phân bố các mẫu trong tập dữ liệu mới thu được luôn là lớn

nhất.

Theo các kết qua nghiên cưu thông thường ta chọn K sao cho.

∑i=1

K

λi

∑i=1

N

λi

≥ nguong(e.g,..0.90or0.95) (2.17)

Với λ ilà các trị riêng của ma trận hiệp phương sai và λ1≥ λ2 ≥…≥ λN

Tóm lại, phương pháp PCA ánh xạ một vector từ không gian M chiêu

xuống không gian N chiêu sẽ đi tìm các giá trị riêng và vector riêng của ma trận

hiệp phương sai C của tập mẫu và giữ lại N vector riêng tương ưng với N giá trị

riêng lớn nhất làm cơ sở cho không gian N chiêu này.

2.3.2. Đặc trưng PCA

Muc tiêu của phương pháp PCA là “giam số chiêu” của 1 tập vector sao

cho vẫn đam bao được “tối đa thông tin quan trọng nhất” phương pháp PCA sẽ

giữ lại K thuộc tính “mới” từ M các thuộc tính ban đầu (K<M)

2.3.3. Phương pháp phân tích thành phần chính(PCA)

2.3.3.1. Vector riêng

Nguyễn Thị Thủy 19 Đại Học Công Nghệ

Page 27: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Xét một toán tử tuyến tính f trong không gian Rn với các vector cơ sở :

Ei=[0…1…0]T ( với giá trị 1 nằm tại vị trí thư i)Toán tử tuyến tính này sẽ được

biểu diễn bởi một ma trận vuông T kích thước nxn. Một đại lượng vô hướng λ

được gọi là trị riêng của toán tử f, hay ma trận T, nếu tìm được một vector x,

x≠0, sao cho

F(x)=λ(x) Hay T*x=λx.

Vector x khi đó được gọi là vector riêng của f, hay T, ưng với trị riêng λ.

Ma trận Tvới kích thước nxn trên đây sẽ có tối đa n trị riêng và n vector riêng

tương ưng. Một ma trận T kha nghịch đao sẽ có đủ n trị riêng (kể ca trị riêng

bội) và n vector riêng tương ưng.

2.3.3.1. Kì vọng và ma trận hiệp phương sai.

Ma trận T (biểu diễn trong không gian Rn với các vector cơ sở ei nêu

trên) được gọi là chéo hóa được nếu tồn tại một cơ sở trong không gian Rn sao

cho ma trận T biểu diễn trong cơ sở đó có dạng chéo (các phần tử ngoài đường

chéo bằng 0).Ví du: Khao sát trên không gian R5 với ma trận chéo 5×5.

Gia sử C là ma trận các vector cơ sở mới được biểu diễn trong cơ sở {ei}.

Ở đây, ma trận T được chuyển từ cơ sở {ei} sang cơ sở mới nên ma trận chuyển

đổi cơ sở từ {ei} sang C cũng là C. Nếu T chéo hóa được tưc là tồn tại ma trận C

kha nghịch (tưc là C tạo được một cơ sở trong Rn) sao cho :Tc=CaTC

Nếu ta có C là một ma trận có các cột là các vestor cơ sở đã được chuẩn hóa của

không gian Rn thì CT=C-1, khi đó ta có thể viết: Tc = CT TC.

- Phương sai: là trung bình cộng của bình phương khoang cách từ mỗi điểm

tới kỳ vọng. Phương sai càng nhỏ thì các điểm dữ liệu

- Càng gần với kỳ vọng, tưc các điểm dữ liệu càng giống nhau. Phương sai

càng lớn thì ta nói dữ liệu càng có tính phân tánNguyễn Thị Thủy 20 Đại Học Công Nghệ

2.3.3.2

Page 28: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

S= 1N ∑

n=1

N

¿¿ –X)(X n−X )T = 1N

XXT

- Kỳ vọng:

ẍ = 1N ∑

n=1

N

X n

Ví du kì vọng và phương sai:

Hình 0.14 Ví dụ về kỳ vọng và phương sai. a) Trong không gian 1 chiều. b) Không gian 2 chiều mà hai chiều không tương quan. Trong trường hợp này, ma trận

hiệp phương sai là ma trận đường chéo với hai phần tử trên đường chéo

là σ1,σ2σ1,σ2, đây cũng chính là hai trị riêng của ma trận hiệp phương sai và là

phương sai của mỗi chiêu dữ liệu. c) Dữ liệu trong không gian hai chiêu có

tương quan. Theo mỗi chiêu, ta có thể tính được kỳ vọng và phương sai. Phương

sai càng lớn thì dữ liệu trong chiêu đó càng phân tán. Trong ví du này, dữ liệu

theo chiêu thư hai phân tán nhiêu hơn so so với chiêu thư nhất

2.3.4. Các bước thực hiện trích chọn đặc trưng PCA

Gia sử ta có N anh khuôn mặt, là tập anh huấn luyện X1,X2 , .. XN Biểu diễn

mỗi anh thành ma trận Mx1 có dạng:X i = (ii 1, ii 2 , …iℑ)

T với i=1,…N (2.18)

Bước 1: tính vector khuôn mặt trung bình của tập anh huấn luyệnNguyễn Thị Thủy 21 Đại Học Công Nghệ

Page 29: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

X = 1N ∑

i=1

N

X i (2.19)

Bước 2: tính vector độ lệnh của mỗi khuôn mặt so với vector khuôn mặt

trung bình

Ɵi = X i - X với i=1,…N (2.20)

Bước 3: Tạo thành ma trận MxN

A= [Ɵ1Ɵ2 ƟN ¿ (2.21)

Sau đó tính ma trận hiệp phương sai MxN

C = 1N A.A (2.22)

Bước 4: tính các giá trị riêng của ma trận hiệp phương sai C ta đượcλ1, λ2 ,… λK, K≪ M

Vợi K được tính theo công thưc:

∑i=1

K

λi

∑i=1

N

λi

≥ nguong(e.g,..0.90 or 0.95)

Bước 5: tính đặc vector riêng của ma trận hiệp phương sai C

ψ1 ,ψ2 ,.. ψ K với ψ i = ψ i

‖ψ i‖, i= 1,..K (2.23)

Tính K vector riêng của ma trận C theo công thưc:ψ i = Av1 (2.24)

Bước 6: Giam số chiêu, chỉ giữ lại những thuộc tính tương ưng với các giá trị riêng lớn nhất (biểu diễn anh khuôn mặt trong không gian mới với K đặc trưng quan trọng nhất) Trong không gian mới, với các vector cơ sở là mỗi anh khuôn mặt trong tập huấn luyện được biểu diễn thành tổ hợp tuyến tính cau các vevtor cở sở trên như sau:

X i = x i 1ψ1 + x i 2ψ2 + …+ x ik ψk trong đó K≪ M (2.25)

Khi đó toạ độ của X i được tính bằng công thưc:

Nguyễn Thị Thủy 22 Đại Học Công Nghệ

Page 30: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

[ x i 1

x i 2

…xiK

] = [ψ1T

ψ2T

…ψk

T ].Ɵi (2.26)

Cách để nhận được các thành phần chính Các thành phần chính có thể

nhận được bằng cách chiếu các vector dữ liệu có nhiêu biến động vào không

gian mở rộng từ các vector đặc trưng. Khi lấy số đặc trưng càng vê sau thì kha

năng biến động càng thấp, có nghĩa là mỗi quan hệ giữa các phần tử càng cao,

khi đó sư giao nhau giữa các lớp mẫu trong tập mẫu càng lớn. Ngược lại, khi ta

lấy số lượng thành phần chính không đủ, thì kha năng phân tán của tập mẫu

càng cao.

2.4. Học máy hộ trợ vestor SVM

2.4.1. Cơ sở lý thuyết

SVM là phương pháp học do Vladimir N. Vapnik đê xuất vào năm 1995,

và ngày càng được sử dung phổ biến trong nhiêu lĩnh vưc, đặc biệt là lĩnh vưc

phân loại mẫu và nhận dạng mẫu. Đồng thời có nhiêu tính năng ưu việt so với

các phương pháp cổ điển khác: dễ dàng xử ly, xử ly với tính ổn định cao trên dữ

liệu phưc tạp, có thể có số chiêu lớn và quan trọng hơn ca là kha năng xử ly tổng

quát.

2.4.2. SVM tuyến tính

Trường hợp dữ liệu có thể phân cách được Bắt đầu với trường hợp đon gian nhất: máy học được huấn luyện trên dữ liệu có thể phân loại tuyến tính. Gán nhãn dữ liệu huấn luyện {xi, yi}, i = 1,...,/, yi e {- 1,1}, xi e Rd. Gia sử có các siêu mặt phẳng phân loại mẫu dương với mẫu âm (gọi là “siêu mặt phân cách”). Điểm X nằm trên siêu mặt thỏa phương trình w.x+b=0, trong đó w là pháp tuyến của siêu mặt, \b\ / ||w|| là khoang cách từ siêu 59 mặt đến gốc toạ độ,

và ||w|| độ lớn (Euclide) của w. Đặt d+(d-) là khoang cách ngán nhất từ

siêu mặt phân cách đến mẫu dương (âm) gần nhất. Định nghĩa “bờ” (margin)

của siêu mặt phân cách (kí hiêu r), là (d+)+(d-). Với trường hợp tập mẫu có thể

phân loại tuyến tính, thuật toán SVM chỉ đơn gian là tìm siêu mặt có khoang

Nguyễn Thị Thủy 23 Đại Học Công Nghệ

Page 31: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

cách bờ là cưc đại cưc đại. Các mô ta trên đây được công thưc hoá như sau: gia

sử mọi điểm trong tập học thỏa các ràng buộc:x i w+b ≥+1 với y i= +1

x iw +b ≤ -1 với y i=-1 (2.5)

Kết hợp thành một bất đẳng thưc rang buộc:y i(x iw +b) -1 ≥ 0 ∀i (2.6)

Các mẫu dữ liệu thỏa công thưc (2.4) nằm trên siêu mặt Hl: xlw + b = 1

có pháp tuyến là vector w, và khoang cách đến gốc tọa độ là |l-b|/||w||. Tuơng tư,

các mẫu thỏa công thưc (2.5) nằm trên siêu mặt H2: xiw + b = -1, có pháp tuyến

là w và khoang cách đến gốc toạ độ là |-l-b|/||w||. Khi đó, d+ = d- = 1 / ||w|| và bờ

r = 2/ ||w||. Lưu y ràng HI và H2 song song với nhau, và không có điểm dữ liệu

nào nằm giữa chưng. Vì vậy, ta có thể tìm cặp siêu mặt có bờ (r) cưc đại, bàng

việc cưc tiểu ||w|| với ràng buộc (2.6).

Ta mong muốn lời giai cho trường hợp không gian hai chiêu có dạng như

trong Hình 4. Những điểm huấn luyện thoa phương trình (2.6) (tưc những điểm

nằm trên một trong hai siêu mặt Hl, H2 ), và việc loại bỏ chưng làm thay đổi lời

giai, được gọi là các vector hỗ trợ; đó là các điểm được bao bằng các hình tròn

trong Hình 4.

Hình 0.15 Siêu măt phân cách tuyến tính cho trường hợp phân cách được và ký hiệu các support vestor chính là các diểm được bao bằng viền tròn

Một cách để giai quyết bài toán là dùng hàm Largange. Có hai ly do cho

điêu này. Thư nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc trên hệ số

nhân Lagrange, để dễ làm việc hơn. Thư hai là dữ liệu huấn luyện sẽ chỉ xuất

Nguyễn Thị Thủy 24 Đại Học Công Nghệ

Page 32: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

hiện dưới dạng phép nhân vô hướng giữa các vector. Điêu này cho phép tổng

quát hoá cho trường hợp phi tuyến.

Đưa ra các hệ số nhân Lagrange dương ai, i = 1,..,/ và ai > 0, cho các rang

buộc bất đẳng thưc (2.6). (Nhớ rằng với ràng buôc dạng ci > 0, phương trình

rang buộc được nhân với hệ số nhân Lagrange dương và bị trừ khỏi hàm muc

tiêu với các ràng buộc đẳng thưc hệ số nhân Lagrange không bị ràng buộc. khi

hàm Lagrange có dạng như công thưc được tính ở công thưc bên dưới như sau

Lp = 12|w| - ∑

i=1

i

a1 y i(x iw +b) + ∑i=1

i

ai (2.7)

Ta phai cưc tiểu Lp theo (w),(b), đồng thời đòi hỏi đạo hàm của Lp triệt

tiêu với mọi ai, với điêu kiện ai > 0 (gọi tập ràng buộc này là C1 ). Hay giai bài

toán đối ngẫu đó là cưc đại Lp với điêu kiện đạo hàm của Lp triệt tiêu với w, b

và cũng với ràng buộc ai > 0 (gọi tập ràng buộc này là C2). Đạo hàm Lp triệt

tiêu với w và b ta có các điêu kiện:

W = ∑i

ai yi x i (2.8)

∑i

ai yi =0 (2.9)

Vì đây là các trường hợp rằng buộc tuyến tính thay vào (2.7) ta được:

Lp = ∑i

ai - 12 ∑

i . j❑ (2.10)

Việc huấn luyện SVM (trường hợp tuyến tính và có thể phân loại) là làm

cưc đại LD theo ai, với ràng buộc (2.9) và ai dương, với lời giai được tính theo

(2.8). Trong lời giai, các mẫu thỏa ai > 0 được gọi là “vector hỗ trợ”, và nằm

trên một trong hai siêu mặt phẳng HI và H2. Các điểm dữ liệu còn lại có ai = 0

và nằm trên HI hoặc H2 (thoa đẳng thưc (2.6)) hoặc nằm vê một phía của HI

hoặc H2 (thoa bất đẳng thưc (2.6)). Với những máy này, các vector hỗ trợ là các

thành phần tới hạn của tập huấn luyện. Chúng nằm gần đường biên quyết định;

nếu mọi điểm huấn luyện khác bị loại bỏ và việc huấn luyện được lặp lại, siêu

mặt phẳng phân cách được tìm thấy không đổi.

2.4.3. SVM Phi Tuyến tínhNguyễn Thị Thủy 25 Đại Học Công Nghệ

Page 33: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Làm thế nào các phương thưc đã khao sát trên có thể được tổng quát hoá

cho trường hợp hàm quyết định không phai là hàm tuyến tính đối với dữ liệu?

Ta thấy rằng dữ liệu trong bài toán huấn luyện, công thưc (2.37) – (2.39), xuất

hiện dưới dạng tích vô hướng xi ⋅ x j . Gia sử ta đã ánh xạ dữ liệu sang không

gian Euclide Η khác (số chiêu có thể vô hạn) dùng hàm ánh xạ Φ:

Ф : Rd → H (2.51)

Khi đó thuật toán huấn luyện chỉ phu thuộc vào dữ liệu qua tích vô hướng

trong Η, tưc là hàm có dạng Φ(xi ) ⋅ Φ(x j ) . Nếu có một hàm xử ly chính K

(hàm Kernel) mà K(xi , x j ) = Φ(xi ) ⋅ Φ(x j ) , ta sẽ chỉ cần dùng hàm K trong

thuật toán huấn luyện, mà không cần biết dạng tường minh của Φ là gì Chẳng

hạn:

K (x i , x j) = e−|xi− x j|/2δ 2 (2.52)

Trong ví du này, Η có số chiêu vô hạn, vì thế không dễ làm việc với Φ

một cách tường minh. Tuy nhiên, nếu thay xi ⋅ x j bằng K(xi , x j ) trong thuật

toán huấn luyện, thuật toán sẽ tạo ra vector hỗ trợ trong không gian số chiêu vô

hạn, hơn nữa thời gian huấn luyện tương đương thời gian huấn luyện trên dữ

liệu chưa được ánh xạ. Mọi xem xét trong các phần trước vẫn thỏa, vì ta vẫn làm

việc với trường hợp phân cách tuyến tính, nhưng trong một không gian khác.

Sử dung hệ thống này như thế nào? Ta cần tìm w, trong Η (2.40). Nhưng khi thử

nghiệm, máy được sử dung bằng cách tính tích vô hướng của mẫu thử nghiệm x

với w, hay cu thể hơn tính dấu của

∫(x) = ∑i=1

N n

a1 y iФ(si).Ф(x) + b =∑i=1

N n

ai yiK(si,x) + b (2.53)

Trong đó si là support vector. Vậy ta có thể dùng K(si , x) = Φ(si ) ⋅ Φ(x) .Gọi không gian dữ liệu là Λ. (Λ để chỉ không gian có số chiêu nhỏ, và Η

để chỉ không gian có số chiêu lớn: thường thì đầu ra của Φ có chiêu cao hơn đầu

vào). Nhớ rằng, ngoài việc w nằm trên Η ra, nói chung không có vector nào

trong Λ, qua ánh xạ Φ, thành w. Nếu có, f(x) trong công thưc (2.53) có thể được

tính bằng một bước, bỏ qua việc tính tổng (và tạo ra vector hỗ trợ tương ưng Nguyễn Thị Thủy 26 Đại Học Công Nghệ

Page 34: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

nhanh hơn NS lần). Dễ dàng tìm được dạng hàm xử ly chính (Kernel) (chẳng

hạn hàm phép nhân vô hướng xi trong Λ) để thuật toán huấn luyện và lời giai

tìm được là độc lập với số chiêu của ca Λ và Η

Gia sử dữ liệu là các vector trong không gian R2, và chọn K(xi , x j ) = (xi ⋅ x j ) 2 . Khi đó dễ dàng tìm được không gian Η, và ánh xạ Φ từ R2 vào Η, để (x ⋅ y) 2 = Φ(x) ⋅ Φ(y) : chọn Η = R3 và

Ф(x) =( x12

√2x2

2

x1 x2) 2.54

Với dữ trong Λ đã xác định trong hình vuông [-1,1] X [-1,1] ∈ R2, anh

của

Φ được biểu diễn trong Hình 1. Hình này cũng cho thấy rằng anh của Φ có

thể nằm trong không gian có số chiêu lớn hơn, nhưng nó chỉ là một mặt (có thể

méo mó) mà số chiêu bên trong vẫn là Λ

Hình 0.16 anh, trong H, với hình vuông [1,-1] €R2 dưới ánh xạ ϴChú y rằng hàm ánh xạ Φ và không gian Η là không duy nhất với một hàm

xử ly chính (kernel) cho trước. Ta có thể chọn Η = R3 và

Ф(x) = 1√2 (x1

2−x22

2 x1 x2

x12+x2

2) (2.55)

Hay H = R4 và

Nguyễn Thị Thủy 27 Đại Học Công Nghệ

Page 35: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Ф(x) =(x1

2

x12 x1

2

x12 x1

2

x22 ) (2.56

Điêu kiện Mercer Hàm xử ly chính nào tồn tại cặp {Η, Φ}, với các thuộc

tính đã mô ta ở trên, hàm nào không? Câu tra lời được cho bởi điêu kiện Mercer

(Vapnik, 1995; Courant và Hilbert, 1953):Tồn tại ánh xạ Φ và

K(x,y) =∑i

Ф (x)i.Ф( y )i (2.57)

Nếu và chỉ nếu, với bất kỳ g(x)mà

∫ g (x)2d(x) (2.58)

Thì

∫K ( x , y ) g ( x ) g ( y ) dxdy≥ 0 (2.59)

Với các trường hợp cu thể, không dễ kiểm tra điêu kiện Mercer có thoa

hay không. Công thưc (2.59) phai thỏa với mọi hàm g với L2 xác định (nghĩa là

thỏa (2.58)). Tuy nhiên, có thể chưng minh điêu kiện thỏa với phần mũ của phép

nhân tích vô hướng là một số nguyên dương: K(x, y) = (x ⋅ y) p . Ta phai chưng

tỏ rằng

∫(∑i=1

d

x i y i)pg(x)g(y)dxdy ≥0 (2.60)

Khai triển d p (∑i=1 xi yi )P !

r1r 2!… ( P−r1−r2 …) !∫ x1r 1 x2

r2 … y2r2l2

r 2 g ( x ) g ( y ) dxdy (2.61)

kết hơp với vế trái (2.59):

= P !

r1!r 2!… ( p−r1−r2 …) !∫(x1

r1 x2r2 … g ( x )dx )2

≥ 0 (2.62)

2.4.4. Nhận dạng khuôn mặt bằng SVM

Trong đê tài này, SVM được kết hợp với cây nhị phân để giai quyết bài

toán nhận dạng khuôn mặt đa lớp.

2.4.4.1. Nhận dạng đa lớp dùng SVM với cây nhị phân

Nguyễn Thị Thủy 28 Đại Học Công Nghệ

Page 36: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Hệ thống nhận dạng mẫu đa lớp có thể có được bằng cách dùng SVM . Có

ha chiến lược cho much đích này: (1) chiến lược one-against-all (một đối tất ca)

để phân loại mỗi lớp với mọi lớp còn lại; (2) chiến lược một đối một để phân loạ

giữa từng cặp. Chiến lược đầu tiên thường cho kết qủa phân loại nhập nhằng. Ta

theo chiến lược thư hai cho bài toán nhận dạng đa lớp Gia sử có tám lớp trong

tập dữ liệu, cây quyết định được biểu diễn như trong Hình 06, trong đó các số 1-

8 mã hoá các lớp. Các số mã hoá các lớp là tuỳ y không có nghĩa theo thư tư.

Bằng cách so sánh từng cặp, chọn ra một lớp biểu diễn “phần thắng” của hai lớp

hiện hành. Các lớp được chọn (từ cấp thấp nhất của cây nhị phân) sẽ lên cấp trên

với vòng thử nghiệm khác. Cuối cùng một lớp duy nhất sẽ xuất hiện ở đỉnh của

cây. Khi c không là bội số của 2, ta phân tích: c = + + + 2 2 ... 2 n n n 1 2 I , với

n n n 12 ≥ ≥ ≥ ... I . Nếu c lẻ thì nI = 0 và nếu c chẵn thì nI > 0 . Cách phân tích c

khôngduy nhất. Sau khi phân tích, vịêc nhận dạng được thưc hiện trong từng cây

nhị phân, các lớp đầu ra của các cây nhị phân này được dùng lại để tạo ra cây

nhị phân khác. Qúa trình này được lặp lại cho đến khi chỉ còn một đầu ra. SVM

hàm phân biệt trong giai đoạn huấn luyện, và thưc hiện c -1 phép so sánh dưới

cấu trúc cây nhị phân đã tạo ra.

Hình 0.17 cây nhị phân: Cấu trúc cây nhị phân với số lớp bằng số mũ của 2. Phai: số mũ không bằng số mũ của 2

2.5. Đề xuất phương án nhận dạng khuôn mặt

Nguyễn Thị Thủy 29 Đại Học Công Nghệ

Page 37: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Có nhiêu cách để kết hợp ác phương pháp nhận dạng khuôn mặt nhằm đạt hiệu

qua cao, trong luận văn này tôi xin được trình bày phương pháp phát hiện khuôn

mặt (Viola Jone Face Detection), trích chọn đặc trưng (WLD), phân tích thành

phần chính (PCA) và phân lớp (SVM)

Nguyễn Thị Thủy 30 Đại Học Công Nghệ

Page 38: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

CHƯƠNG 3: ỨNG DỤNG CÁC KỸ THUẬT TRONG NHẬN DẠNG

KHUÔN MẶT

Có nhiêu Cách để kết hợp các phương pháp nhận dạng khuôn mặt nhằm

đạt hiệu qua cao, trong luận văn này tác gia xin được trình bày phương pháp

phát hiện khuôn mặt (Viola Jone Face Detection), trích chọn đặc trưng (WLD),

phân tích thành phần chính(PCA) và phân lớp (SVM).

Anh đưa vào nhận dạng, sau khi sử dung Haar cascade để phát hiện và lấy

ra khuôn mặt trong anh, sẽ tiến hành trích chọn đặc trưng sử dung WLD và sử

dung PCA và sau đó sử dung SVM để phân lớp/nhận dạng.

Hình 0.18 Mô hình sử dụng trong nhận dạng khuôn mặt

3.1. Phát hiện khuôn mặt (Viola Jone Face Detection)

Khi đưa vào một bưc anh, trong đó có thể có một hoặc nhiêu khuôn mặt,

cũng có thể không có khuôn mặt nào trong anh. Do đó ta cần phai kiểm tra xem

trong bưc anh ta đưa vào có khuôn mặt hay không. Phát hiện khuôn mặt sẽ tách

tất ca khuôn mặt trong anh. Có rất nhiêu kỹ thuật khác nhau được sử dung để

phát hiện khuôn mặt như AdaBoost hay phân loại Haar cascade. Trong luận văn

này sẽ sử dung thuật toán Haar cascade có sẵn trong thư viện mở OpenCV.

3.2. Trích chọn đặc trưng (WLD)

Nguyễn Thị Thủy 31 Đại Học Công Nghệ

Page 39: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Anh đưa vào sau khi đã được thưc hiện tiên xử ly vẫn có số lượng thành

phần anh lớn, do đó ta cần thưc hiện trích rút đặc trƣng của anh, chỉ giữ lại

những thành phần quan trọng nhất nhằm muc đích giam độ lớn anh, tăng tốc độ

xử ly của hệ thống. Sử dung phương pháp WLD để thưc hiện trích rút đặc trưng.

3.3. Phân tích thành phần chính PCA và nhận dạng/phân lớp SVM Phương

pháp PCA:

Mục đích: Giam chiêu dữ liệu của tập vestor sao cho vẫn đam bao được tối đa

thông tin quan trọng nhất. tưc feature extration (giữ K thuộc tính mới) chư

không phai feature selection (giữ lại k thuộc tính nguyên gốc ban đầu).

Ý tưởng: thưc hiện biến đổi trưc giao để chọn các vector riêng có y nghĩa. Mỗi

vector riêng này tương ưng với các giá trị riêng có y nghĩa nhất của tập dữ liệu.

Mỗi vector đặc trưng sẽ được chiếu lên các vector này làm đặc trưng mới để

phân lớp.

Việc Trích chọn số đặc trưng (eigenface)Chỉ giữ lại K vector lớn nhất bằng

cách giữ lại các K vector đầu tiên (trong ma trận các vector đặc trưng) tương

ưng với K trị riêng lơn nhất.

Hình 0.19 Mô hình quá trình tạo các đặc trưng mặt

- Biểu diễn các anh theo vector trị riêng vừa tìm đươc Các anh sẽ tương

ưng với một vector trọng số w j mà mỗi hệ số của vector là hệ số tương

ưng với một vector đặc trưng trong số các vector đặc trưng vừa tìm được.

ta có thể biểu diễn như sau:

Nguyễn Thị Thủy 32 Đại Học Công Nghệ

Page 40: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Hình 0.20 Ảnh ban đầu được biểu diễn theo các trọng số w j và eigenface (Nguôn: bài báo PCA)

Đầu vào của PCA là các vector cột có M thành phần biểu diễn anh trong

tập huấn luyện, đầu ra là các vector cột có K thành phần biểu diễn anh đã được

trích rút đặc trưng.

Phân lớp: Bước nhận dạng hay phân lớp tưc là xác định danh tính (identity)

hay nhãn của anh (label) – đó là anh của ai. Ở bước nhận dạng/phân lớp, ta sử

dung phương pháp SVM (Support Vector Machine). SVM sẽ tiến hành

phân lớp anh trong tập huấn luyện, khi đưa anh vào nhận dạng sẽ được so sánh,

tìm ra anh đó thuộc vào lớp nào.

3.4. Mô ta dữ liệu

3.4.1. Thu nhập dữ liệu

Cơ sở dữ liệu anh được lấy 250 khuôn mặt từ được thu thập từ nhiêu nguồn

khác nhau. anh của 150 người đầu tiên được lấy từ trang quan ly cán bộ của một

trường đại học. 50 người tiếp theo được lấy từ một hệ thống quan ly nhận sư:

http://qlkh.mobifone.vn/b9_qlhs/login.xhtml. 50 anh tiếp theo được lấy từ hệ

thống website:http://qlkh.mobifone.vn/b9_cskh/login.xhtml

Ngoài ra, còn có tập dữ liệu do chúng tôi tạo ra trong lúc thưc hiện đê tài.

Đó là dữ liệu được thu thập bằng WebCam gồm 5 người khác nhau. Chính sư

chủ động trong việc tạo mẫu nên số lượng anh khoang trên 11anh/1người.

Nhận xét về tập mẫu dữ liệu: Hầu hết các khuôn mặt xuất hiện trong anh là

khuôn mặt trưc diện với mặt phẳng anh và mỗi khuôn mặt đêu đầy đủ thông tinNguyễn Thị Thủy 33 Đại Học Công Nghệ

Page 41: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

đặc trưng như {Hai chân mày, hai mắt, mũi, miệng, cằm}. 11 anh/1người ở các

trạng thái khác nhau như( cưới, khóc, vui, buồn,…)

Kích thước chuẩn hoá của mỗi mẫu trong tập huấn luyện như mô ta trên

Hình07. Tuỳ thuộc vào đặc trưng xử ly của mỗi thuật toán ta sử dung một trong

hai dạng kích thước anh chuẩn trên. Mỗi người có 11 anh được chup ở các điêu

kiện ánh sáng và cam xúc khác nhau.

Hình 0. 21 Ví dụ về anh của một người trong Yale face Database

Hình 0.22 Ảnh 12 khuôn mặt người được đánh thứ tự từ 1 đến 12

Nguyễn Thị Thủy 34 Đại Học Công Nghệ

Page 42: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Hình 0.23 Kích thước chuẩn hóa của một mẫu khuôn mặt trong học tập

3.4.2. Biểu diễn dữ liệu khuôn mặt trong máy tính

Dữ liệu anh biểu diễn bên trong máy tính là cường độ sáng của điểm anh,

tại vị trị x và y: (I(x,y)). Để biểu diễn dữ liệu cho các thuật toán học nhận dạng,

ta dùng hai cách tổ chưc dữ liệu như sau:

Đọc từng dòng anh theo thư tư từ trên xuống, mỗi dòng anh được bố trí

liên tuc nhau trên một mang số thưc một chiêu. Như vậy từ anh được biểu

diễn thành mang vector một chiêu trong máy tính x=(x1,x2,….,x900).Đây

là cách bố trí để thí nghiệm cho phương pháp PCA

Đọc từng khối anh theo thư tư khối dưới chồng lấp khối trên một nữa kích

thước tính theo chiêu cao, trên mỗi khối anh này ta lại tiếp tuc tách ra mỗi

khối con 8×8 liên tuc nhau. Từ khối 8×8(pixels), chúng tôi chọn ra 20 hệ

số đặc trưng từ phép biến đổi trên miên tần số. Mỗi khối anh 8×32 sẽ

được lượng hoá thành mỗi vector một chiêu. Như vậy đỗi với anh mỗi

khuôn mặt ta biểu biển trong máy tính thành một chuỗi các vector một

chiêu liên tiếp nhau. Trong chương này của luận văn xây dưng chương

trình giai quyết vấn đê sau:

- Đầu vào: là anh một khuôn mặt của một người nào đó đã được chuẩn hóa.

- Đầu ra: chương trình nhận dạng đưa ra anh và thông tin vê người đó.

Nguyễn Thị Thủy 35 Đại Học Công Nghệ

Page 43: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

3.4.3. Dữ liệu huấn luyện

Tập dữ liệu được chia làm hai tập chính là tập luyện (training) và tập thử

nghiệm (testing). Mỗi gương mặt đêu xuất hiện năm lần trong mỗi tập với các tư

thế khác nhau và góc chup anh khác nhau.

a. Tập anh luyện (Training)

Hình 0.24 Một phần của tập anh luyện

1.

2.

3.

b. Tập anh thử nghiệm (Testing)

Hình 0.25 Một phần của tập anh thử nghiệm

Xét vê mặt kỹ thuật, các anh đêu được chuẩn hóa vê anh màu có cùng kích

thước.

3.5. Kết qua thực nghiệm

Hệ thống sử dung 200 anh từ các nguồn như sau: 150 anh được lấy từ trên

mạng. 50 được lấy từ nguồn anh của các cán bộ trong cơ quan và chup từ điện

thoại. Đưa 50 thông tin của 200 anh được lấy từ 2 nguồn trên và thưc nghiệm.

kết qua thu được bang sau:

Nguyễn Thị Thủy 36 Đại Học Công Nghệ

Page 44: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Loại anh Nhận ranhận Không

ra

Không phai là

mặt

Tổng

số

Anh nằm trong tập huấn luyện

100 100 0 0

Khuôn mặt nằm trong tập huấn luyện

30 29 1 0

Khuôn mặt không nằm trong tập huấn luyện (khuôn mặt mới)

105 97 8 0

Anh bất kì không có khuôn mặt

50 0 0 15

Hình 0.26 Bang 1.1. Bang Thực nghiệm nhận dạng số lượng anh

Kết qua thưc nghiệm nhận dạng khuôn mặt sử dung phương pháp luận

văn này đưa ra so với chỉ sử dung PCA ta thấy được kết qua như sau:

Hình 0.27 kết qua thực nghiệm so với chỉ sử dụng PCA

Nguyễn Thị Thủy 37 Đại Học Công Nghệ

Page 45: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

Với bộ anh thưc nghiệm, khi tập luấn luyện chỉ có anh duy nhất thì kết

qua của phương phát PCA kém hơn phương pháp phát hiện khuôn mặt kết hợp

cùng PCA – SVM.

3.6. Ứng dụng trong quan lý nhân sự

3.6.1.Mô hình nh n d ng trong qu n lý nhân sậ ạ ả ựTừ mô hình nhận dạng khuôn mặt mà luận văn này trình bày. Tôi xin đê

xuất ưng dung quan ly nhận sư sử dung nhận dạng khuôn mặt. Như ở mô hình bên dưới: đặt một camera trước của ra vào tại cơ quan, khi một người đưng trước camera hệ thống nhận ra thông tin người đó và thưc hiện mở cửa, nhập các thông tin trên chưc năng nhận dạng.

Hình 0.28 Mô hình nhận dạng ở cửa ra vào tại cơ quan

Nguyễn Thị Thủy 38 Đại Học Công Nghệ

Page 46: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

3.6.2. Giao diện màn hình chức năng nhận dạng

Dữ liệu sẽ được cập nhập vào màn hình danh muc chấm công sau khi hệ thống nhận dạng được thông tin người đi qua cửa châm công của cơ quan

Nguyễn Thị Thủy 39 Đại Học Công Nghệ

Page 47: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

3.6.3.Giao di n màn hình ch c năng qu n lý b ph nệ ứ ả ộ ậChưc năng cho phép người dùng thêm mới thông tin bộ phân của cơ quan

vào hệ thống

Nguyễn Thị Thủy 40 Đại Học Công Nghệ

Page 48: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

3.6.4.Giao di n màn hình ch c năng qu n lý phòng banệ ứ ảChưc năng cho phép người dùng thêm mới thông tin phòng ban của cơ

quan vào hệ thống

Nguyễn Thị Thủy 41 Đại Học Công Nghệ

Page 49: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

3.6.5.Giao di n màn hình ch c năng qu n lý nhân sệ ứ ả ựChưc năng cho phép người dùng thêm mới thông tin nhân sư của cơ quan

vào hệ thống

Nguyễn Thị Thủy 42 Đại Học Công Nghệ

Page 50: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

KẾT LUẬN

Luận văn tốt nghiệp đã trình bày chi tiết, cu thể vê nhận dạng khuôn mặt

người dưa trên kỹ thuật phát hiện khuôn mặt sử dung phương pháp Viola Jone

Face Detection, trích chọn đặc trưng sử dung Weber local descriptor, phân tích

thành phần chính sử dung PCA và phân lớp SVM Và xây dưng chương trình thử

nghiệm để đánh giá kết qua của việc sử dung kỹ thuật các phương pháp trên để

nhận dạng. Từ thưc nghiệm ta cũng thu được một số kết qua cũng như đánh giá

vê thuật toán sử dung. Các kết qua đạt được cho thấy độ chính xác của chương

trình tương đối cao khoang 96% nhận dạng đúng. Những kết qua chính được

tổng kết như sau:

Giới thiệu chi tiết vê phương pháp phát hiện khuôn mặt sử dung phương

pháp Viola Jone face detection

Giới thiệu chi tiết vê phương pháp trích chọn đặc trưng

Giới thiệu chi tiết vê phương pháp phân tích thành phần chính và máy

vestor hỗ trợ (SVM)

Nhận xét và đánh giá những kết qua đạt được cho bài toán nhận dạng

khuôn mặt

Đưa ra sư kết hợp giữa các phương pháp cũ, đơn gian, hiệu qua và độ

chính xác tương đương hoặc tốt bằng các phương pháp mới khác.

Tuy nhiên, do thời gian có hạn cộng thêm khối lượng công việc lớn nên

vẫn còn một số vấn đê và y tưởng mà luận văn chưa thưc hiện được. Nhằm cai

thiện kha năng hoạt động của chương trình, chương trình sẽ có thêm chưc năng:

Tư động đưa anh nhận dạng vê kích thước phù hợp khi ta thưc hiện quét

anh đưa vào chương trình nhận dạng và đưa ra được kết qua.

Nhận dạng mặt người qua webcam. Ý tưởng đưa ra là nhập vào hình

anh trưc tiếp từ webcam. hình anh webcam này có thể mô ta một người với

khung nên biến đổi hoặc là một người giữa đám đông. Sau đó chương trình sẽ

phát hiện và khoanh vùng vị trí của khuôn mặt trong khung hình và truy xuất cơ

sở dữ liệu và đưa ra thông tin vê người đó. Đó là y tưởng phát triển trong tương

Nguyễn Thị Thủy 43 Đại Học Công Nghệ

Page 51: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

lai của luận văn. Hiện tại, chương trình thưc hiện được hai chưc năng là đưa vào

anh và đưa ra kết qua nhận dạng.

Nguyễn Thị Thủy 44 Đại Học Công Nghệ

Page 52: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

TÀI LIỆU THAM KHẢO

[1] Kyungnam Kim Department of Computer Science University of Maryland,

College Park MD 20742, USA, Face Recognition using Principle

Component Analysis

[2 Guru Kashi Universiy, Sardulgarh Road, Talwandi Sabo, Punjab 151302,

India, Face Recognition and Detection using Viola-Jones and Cross

Correlation Method

[3] Baback Moghaddam and Alex Pentland (1998), Beyond Linear Eigenspaces:

Bayesian Matching for Face Recognition, Face Recognition from

Theory and Applications, MIT Media Laboratory, 20 Ames St. Cambridge,

MA 02139, USA, pp. 230-243.

[4] Jie Chen, Member, IEEE, Shiguang Shan, Member, IEEE, Chu He, Guoying

Zhao, Matti Pietikäinen, Senior Member, IEEE, Xilin Chen, Senior Member,

IEEE, Wen Gao, Fellow, IEEE, WLD: A Robust Local Image Descriptor

[5] Alaa Eleyan and Hasan Demirel, PCA and LDA based Neural Networks for

Human Face Recognition, Eastern Mediterranean University, Northern

Cyprus.

[6] Christopher J.C. Burges (1998), A Tutorial on Support Vector Machines for

Pattern Recognitio, Data Mining and Knowledge Discovery 2, pp. 121 -

167.

[7] Daniel Bgraham và Nigel M Allinson (1998), Characterising Virtual

Eigensignatures for General Purpose Face Recognition, Face Recognition

from Theory and Applications, Image Engineering and Neural Computing

Group, Department of Electrical Engineering and Electronics, University

of Manchester Institute of Science and Technology. Manchester M60 1QD,

UK, pp. 446-456.

[8] Emmanuel Viennet and Francoise Fogelman Soulie (1998), Connectionists

Methods for Human face Rrocessing, Face Recognition from Theory

Nguyễn Thị Thủy 45 Đại Học Công Nghệ

Page 53: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

and Applications, University Paris 13, 93430 Villetaneuse, France, pp. 124-

156.

[9] Guodong Guo, Stan Z.Li, Kap Luk Chan (2001), Learning Similarity for

Texture Image Retrieval, School of EEE, Nanyang, Technological

University Nanyang Avenue, Singapore.

[10] Bernd Heisele, Purdy Ho and Tomaso Poggio, Face Recognition with

Support Vector Machines: Global versus Component-based Approach,

Massachusetts Institute of Technology Center for Biological and

Computational Learning Cambridge, MA 02142.

[11] H. Moon, P.J. Phillips, Computational and Performance aspects of

PCAbased Face Recognition Algorithms, Perception, Vol. 30, 2001, pp.

303-321

[12] Jeffrey Huang, Chengjun Liu, and Harry Wechsler, Eye Detection and Face

Recognition Using Evolutionary Computation, Face Recognition from

Theoryand Applications, Department of Computer Science, George Mason

University, pp. 348-377.

[13] Kazunori Okada, Johannes Steffens, Thomas Maurer, Hai Hong, Egor

Elagin, Hartmut Neven, and Christoph (1998), Computer Science

Department and Center for Neural Engineering, Face Recognition from

Theory and Applications, University of Southrn California Los Angeles,

USA, pp. 186-205.

[14] K. Jonsson, J. Matas, J. Kittler, Y.P. Li, Learning Support Vectors for Face

Verification and Recognition, Proc. of the IEEE International Conference

onAutomatic Face and Gesture Recognition, 26-30 March 2000, Grenoble,

France, pp. 208-213.

[15] M.A. Turk, A.P. Pentland, Face Recognition Using Eigenfaces,

Proceedings of the IEEE Conference on Computer Vision and Pattern

Recognition, Maui, Hawaii, USA, 3-6 June 1991, pp. 586-591

[16] M.Kirby and L.Sirovich, Application of the karhunen-loeve procedure Nguyễn Thị Thủy 46 Đại Học Công Nghệ

Page 54: LỜI CAM ĐOANlib.uet.vnu.edu.vn/bitstream/123456789/959/2... · Web viewCó hai lý do cho điều này. Thứ nhất là ràng buộc (2.6) sẽ được thế bàng ràng buộc

for the characterization of human faces, IEEE Pattern Analysis and

Machine Intelligence, vol.12, no. 1, 1990, pp.103-108.

[17] M. Turk, A. Pentland, Eigenfaces for Recognition, Journal of Cognitive

Neurosicence, Vol. 3, No. 1, 1991, pp. 71 -86.

[18] Rabia Jafri and Hamid R. Arabnia, A Survey of Face Recognition

Techniques, Journal of Information Processing Systems, Vol.5, No.2, June

2009, pp. 44-68. [19] Setiawan Hadi, Iping Supriana Suwardi, and Farid

Wazdi, Technology of Face Recognition for Security System, Mathematics

Department. UNPAD, Jl. Dipati Ukur 35 Bandung.

[20] Steven W.Smith (1999), Chapter 27: Data compression, The Scientist and

Engineer’s Guide to Digital Signal Processing, California Technical

Publishing San Diego, California, pp. 481 -502.

[21] T.Kohonen, Self-organzation and Associative Memory, SpringerVerlag,

Berlin, 1989.

[22] Wenyi Zhao, Arvindh Krishnaswamy, Rama Chellappa, Danie L.Swets,

John Weng (1998), Discriminant Analysis of Principal Components for

Face Recognition, Face Recognition from Theory and Applications,

Centrer for Automation Research, University of Maryland, pp. 73-85

Nguyễn Thị Thủy 47 Đại Học Công Nghệ