ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

-------------------------------

TRỊNH ĐÌNH DUY

RÚT TRÍCH THÔNG TIN TỪ KHUÔN MẶT

VÀ TÁI HIỆN LẠI TRÊN MÔ HÌNH 3D

Chuyên ngành : KHOA HỌC MÁY TÍNH

Mã số : CH0601013

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC:

PGS.TS. LÊ HOÀI BẮC

Thành phố Hồ Chí Minh – Năm 2009

Lời Cám Ơn

(VIẾT SAU)

1

Lời Cam Đoan

`

(VIẾT SAU)

2

Mục Lục

Trang

Trang Phụ Bìa

Lời Cám Ơn................................................................................................................1

Lời Cam Đoan.............................................................................................................2

Mục Lục......................................................................................................................3

Danh Mục Các Ký Hiệu, Các Chữ Viết Tắt...............................................................5

Danh Mục Các Bảng...................................................................................................6

Danh Mục Các Hình...................................................................................................7

MƠ ĐÂU....................................................................................................................8

Chương 1 - TÔNG QUAN........................................................................................12

1.1. Giới Thiệu......................................................................................................12

1.1.1. Do tìm khuôn măt...................................................................................13

1.2. Những Thách Thức........................................................................................13

1.3. Phát Biêu Bài Toán........................................................................................14

1.4. Pham Vi Đê Tài.............................................................................................14

1.5. Những Đóng Góp...........................................................................................15

1.6. Câu Truc Luân Văn........................................................................................15

Chương 2 - RUT TRÍCH THÔNG TIN KHUÔN MĂT..........................................16

2.1. Do Tìm Khuôn Măt........................................................................................16

2.2. Xác đinh vung cân quan tâm..........................................................................17

2.3. Rut Trích Thông Tin Tư Khuôn Măt.............................................................18

2.3.2. Những Đăc Trưng dựa trên Gợn Sóng (Wavelet-based Features)..........18

2.4. Cơ sơ dữ liệu ảnh...........................................................................................21

Chương 3 - XÂY DƯNG CHƯƠNG TRINH..........................................................22

Chương 4 - THƯ NGHIỆM......................................................................................23

4.1. Bô Dữ Liệu Thư Nghiệm...............................................................................23

Chương 5 - KẾT LUẬN...........................................................................................24

3

5.1. Kết Quả..........................................................................................................24

5.2. Khuyến Nghi..................................................................................................24

TÀI LIỆU THAM KHAO........................................................................................25

4

Danh Mục Các Ký Hiệu, Các Chữ Viết Tắt

- Computer vision: Thi giác máy tính

- coarse-to-fine: tư thô xơ đến tinh vi

- a multi-stage approach: môt phương pháp gồm nhiêu giai đoan

- & nnk: những người khác (nnk)

- SVM: Support Vector Machine

- frontal view: phía trước

- multi view: nhiêu góc nhìn như những hướng xoay khác nhau

- state-of-the-art: tinh xảo

- scale: ty lệ

- recall paper:

- a low false positive rate: ty lệ xác thực sai số thâp

- A weak classifier

- robust

- integral image filters

- alignment: phân đoan - segmentation (như phân đoan khuôn măt)

- classifier: bô phân lớp

5

Danh Mục Các Bảng

Bảng 2-1: Đoan mã cách tao ra ảnh tích phân.........................................................21

6

Danh Mục Các Hình

Hình 1-1: Mô hình các bước đê xây dựng................................................................14

Hình 2-1: Chia vung khuôn măt thành những vung nho hơn đê thao tác. (a) Xác

đinh vung mắt (b) Xác đinh vung miệng dựa trên khoảng cách mắt (Eye Distance –

ED)............................................................................................................................17

Hình 2-2: Những điêm đăc trưng trên khuôn măt.....................................................18

Hình 2-3: Những đăc tính của gợn sóng Haar..........................................................19

Hình 2-4: Cách tao ra ảnh tích phân.........................................................................21

7

MƠ ĐÂU

Với những nghiên cứu liên quan đến sự tương tác giữa khuôn măt và máy tính

se giup ích rât nhiêu cho những người khuyết tât, những ứng dụng an ninh, truy tìm

tôi pham, cung như ngày nay càng nhiêu hình ảnh, đoan phim dài được chia se và

có nhu câu truy tìm thông tin trơ nên cân thiết, môt trong những hướng có thê tiếp

cân là dựa vào những đăc trưng khuôn măt, và bài toán rut trích đăc trưng là những

bước cơ bản cho hướng nghiên cứu này. Cung như tư những bước cơ bản này,

chung ta phát triên những nghiên cứu vê nhân dang biêu cảm, nen ảnh, hiêu cách ra

hiệu của môi (lip-reading) [69].

Ngày nay, với sự phát triên của webcam thì nhu câu của việc ứng dụng thông

minh vào hệ thống an ninh càng trơ nên câp thiết. Điêu này giup cho hệ thống tự

đông nhân dang các đối tượng ơ môt vi trí nhât đinh môt cách dê dàng. [40]

[62] Trong môt thâp ky qua, vân đê sinh trắc hoc như mống mắt, vân tay,

khuôn măt trong lĩnh vực an ninh đã trơ thành môt trong những chủ đê quan trong

của các chính phủ và những nhà nghiên cứu trên thế giới. Tuy nhiên, đê có được kết

quả phân tích chính xác cao trong sinh trắc hoc như mống mắt hay vân tay, đoi hoi

phải có sự hợp tác chăt che tư phía đối tượng được phân tích. Chăng han đối với

vân tay, người cân phân tích phải tuân thủ các điêu kiện là tay không được ướt,

cung như cách quet lên hệ thống đó phải đủ manh và đêu thì hệ thống mới nhân

dang được. Bên canh đó, việc phân tích mống mắt đoi hoi đối tượng cân phân tích

phải đưa mắt của mình vào đung vi trí mà hệ thống yêu câu, măt khác đê có được

hình ảnh mống mắt chât lượng tốt thì cân phải có môt công nghệ tiên tiến với chi

phí cao thì hệ thống mới có đung dữ liệu đâu vào đê phân tích. Điêu này gây khó

khăn cho việc ứng dụng công nghệ phân tích vân tay và mống mắt vào thực tế. Do

đó, người ta đã chu ý đến những yếu tố khác của sinh trắc hoc và khuôn măt là đối

tượng thu hut được sự quan tâm của nhiêu người, vì công nghệ phân tích khuôn măt

8

không đoi hoi các điêu kiện khắc khe nhưng vân cho ta kết quả phân tích ơ mức

châp nhân được.

Măc khác, tương lai trong việc xây dựng những engine tìm kiếm hình ảnh,

video đáp ứng được nhu câu thực tế trơ thành môt thách thức lớn. Nếu như các

engine tìm kiếm hiện nay, dữ liệu đâu vào là chuôi các keyword đê tìm kiếm, thì tìm

kiếm multimedia cân những keywork trong hình ảnh (thinh thoảng có người goi là

visual words). Do đó, thách thức này liên quan đến hiêu nôi dung hình ảnh,

TRECVID - high level feature extraction task (hay con goi là concept detection)

chính là môt trong những nhiệm vụ giải quyết vân đê này. Nhưng kết quả con khá

xa, vì vây chung ta có thê tâp trung ơ pham vi hep, đó là con người, xây dựng bài

toán do tìm/nhân dang khuôn măt. [46]

[48] Với việc rut trích thông tin tư khuôn măt, đây là bước cơ bản cho nhiêu

ứng dụng thực tế. [71] cung đã chi ra những ứng dụng như: nhân dang khuôn măt

(face recognition), theo doi khuôn măt (face tracking), phân tích biêu lô khuôn măt,

theo doi cái nhìn chăm chăm (gaze tracking), hiêu cách ra hiệu của môi (lip-

reading)

Cung như trong môt khảo sát của [29] đã chi ra sự quan trong của việc đinh vi mắt,

đây là bước khơi đâu cho nhiêu kỹ thuât xư lý khuôn măt. Như chung ta biết, đô sai

số trong giai đoan đinh vi những đăc tính ảnh hương rât lớn đến ty lệ nhân dang mà

chung ta không thê biết trước được. Đó là lý do tai sao cân thiết đê đat được quá

trình rut trích nhanh, tự đông, và chính xác những đăc tính mong muốn trước khi

ứng dụng môt kỹ thuât nhân dang khuôn măt.

[57] Đinh vi đăc tính trên khuôn măt tự đông đã được thư thách lâu dài trong

lĩnh vực thi giác máy tính trong nhiêu thâp ky qua. Điêu này có thê được giải thích

bơi khả năng rông lớn, môt khuôn măt trong môt bức hình có thê có được là nhờ

những yếu tố như vi trí, biêu cảm, tư thế, đô chiếu sáng và nên lôn xôn.

Sự xuât hiện của khuôn măt thay đôi quyết liệt do biêu cảm, tư thế, đô chiếu

sáng, (expression [Peter & nnk, 1997], pose [Georghiades & nnk, 2001] and

illumination [Adini & nnk, 1997]) tuôi tác, và những thay đôi hình tượng (chăng

9

han râu, kính). Sự biến đôi lớn trong sự xuât hiện của khuôn măt làm những thuât

toán nhân dang trên những bức hình và video trơ thành môt thách thức. Cân xây

dựng môt phương pháp nhanh đê giải quyết những vân đê khó khăn này.

Và đây là cơ hôi đê tiếp tục nghiên cứu trong lĩnh vực xư lý hình ảnh này. Tư

những thông tin rut trích được, có thê ứng dụng trong lĩnh vực an ninh (chăng han

tìm ra những tên trôm trong hồ sơ lưu trữ thông tin con người), nen ảnh, và những

tương tác giữa con người và máy tính.

Trong luân văn này, tôi tâp trung vào vân đê rut Đê rut trích được những thông

tin trên khuôn măt, chung tôi đưa ra môt phương pháp gồm nhiêu giai đoan đê giảm

thời gian do tìm trong khi vân đảm bảo ty lệ do tìm cao. Đâu tiên chung ta cân phải

xem xet phương pháp do tìm khuôn măt nhanh, đê giới han lai vung cân rut trích.

Tiếp đến, chung ta áp dụng môt phương pháp rut trích trên vung vưa do tìm đê xác

đinh được những điêm cân quan tâm trên khuôn măt như mắt, mui, miệng.

Trong giai đoan do tìm khuôn măt, tôi chi xem xet những khuôn măt ơ phía

trước (frontal view) và tôi đê xuât phương pháp Adaboost [27], bơi phương pháp

này cho kết quả nhanh. Và giai đoan sau, tôi se tâp trung vào xem xet môt trong hai

phương pháp SVM, Gabor, Kalman cho quá trình rut trích những thông tin trên

khuôn măt với đô chính xác cao.

-----------------------------------------------------------------------------

Nen ảnh

Những tương tác giữa máy tính và con người.

animation development trong game

[47] For example, many car companies (currently in

Japan and soon in the US and Europe) are installing

cameras in the dashboard with the goal of detecting angry,

drowsy, or drunk drivers. Similarly, advertisers on web

portals are seeking to use facial information to determine

10

the effect of specific billboards and logos, with the

intention of dynamically changing the appearance of a

website in response to users’ emotions regarding the

advertisements. Moreover, video game companies are

interested in assessing the player’s emotions during game

play to help gauge the success of their products.

The extraction of facial feature point, for example, eyes, nose, mouth corners and

others, is an important stage in many facial image interpretation tasks such as face

verification, face expression recognition, model based image coding and head pose

determination

Active Shape Model (ASM) [7] proposed by Cootes

11

Chương 1 - TÔNG QUAN

1.1. Giới Thiệu

Những thách thức trong những năm qua đó là xây dựng những ứng dụng tìm

kiếm những dữ liệu đa phương tiện sẵn sàng cho người dung. Việc xư lý khuôn măt,

cung như rut trích thông tin tư khuôn măt đóng vai tro quan trong. Bơi le, hiện nay

vân đê tìm kiếm thông tin tư dữ liệu video vân con bo ngo, và môt trong những

hướng tiếp cân đó là tìm kiếm dựa trên khuôn măt. [46] Trong công trình này, tác

giả đã đưa ra những phương pháp đê rut trích tự đông và tô chức số lượng lớn

những khuôn măt cho quá trình lâp chi mục, đat lây dữ liệu video.

Hiện nay, Adaboost là môt phương pháp phô biến cho việc do tìm khuôn măt.

Nó cung đã được OpenCV sư dụng.

Nguyên Thành Thái (2006), Nhân Dang Măt Người Dung SVM và Mang

Nơron, Luân Văn Thac Sĩ, DHCNTT TpHCM, TpHCM. [tóm tắt] đã kết hợp giữa

SVM và mang nơron đê nhân dang khuôn măt.

Pham Thế Bảo & nnk (2006), Tông quan cac phương phap xac đinh khuôn măt.

[4] đã phát triên môt hệ thống cho phep tự đông xác đinh được nhiêu khuôn măt

cung luc với các thành phân mắt mui miệng và đã đat được đô chính xác khá cao

bơi việc loai các thành phân gây nhiêu.

[8][8] đã xây dựng môt chương trình do tìm khuôn măt và mắt dựa trên thư viện

mơ OpenCV. Nhưng đô chính xác vân không cao.

[67] đã có những khảo sát trong lĩnh vực nhân dang, ông và các đồng nghiệp đã

chi ra răng những phương pháp xác thực dựa trên mât khâu hay ký hiệu thì quá dê

đê phá vơ. Những phương pháp sinh trắc hoc là môt lựa chon hợp lý nhưng cung có

những măt han chế.

- Phương pháp quet mống mắt rât tin cây nhưng áp đăt người sư dụng quá

nhiêu, chi phí mắc đê thực hiện và không được châp nhân bơi nhiêu người.

- Nhân dang vân tay được châp nhân mang tính chât xã hôi, nhưng không thê

ứng dụng đối với những người không tán thành.

12

- Ngược lai, nhân dang khuôn măt tương ứng với môt sự thoả hiệp giữa sự

châp nhân có tính chât xã hôi và tinh cây.

Trong nhiêu thâp ky qua, những tiến bô chính đã xuât hiện trong nhân dang với

nhiêu hệ thống có khả năng đat được ty lệ nhân dang hơn 90%. Tuy nhiên, trong

ngữ cảnh của thế giới thực vân tồn tai thách thức, bơi những xư lý khuôn măt có thê

chiu dựng môt sự biến đôi lớn.

Trong quá trình rut trích thông tin khuôn măt, bước đâu tiên cân phải xác đinh

khuôn măt. Trong nghiên cứu này, chung ta xem xet phương pháp

…

1.1.1. Do tìm khuôn măt

Pham Thế Bảo & nnk, 2006 đã có khảo sát tông quan vê những phương pháp

xác đinh khuôn măt.

1.2. Những Thách Thức

Bài toán rut trích thông tin tư khuôn măt là môt vân đê khó trong lĩnh vực thi

giác máy tính (computer vision) trong nhiêu năm qua. Điêu này có thê giải thích bơi

những thay đôi lớn của khuôn măt trong môt khung cảnh qua những yếu tố như:

- Sự biêu cảm của khuôn măt (expression [Peter & nnk, 1997]): có ảnh hương

đáng kê lên các thông số của khuôn măt. Chăng han, cung môt khuôn măt

môt người, nhưng se rât khác khi ho cười hay buồn, …

- Tư thế, góc nhìn (pose [Georghiades & nnk, 2001]: ơ những tư thế khác nhau

có thê se làm khuât môt phân mắt, mui, miệng hoăc thâm chí khuât hết. Gây

khó khăn cho việc rut trích những điêm đăc trưng.

- Những thay đôi đô chiếu sáng illumination [Adini & nnk, 1997]): những biến

đôi đô chiếu sáng do những thuôc tính phản xa với da, và do tính chât

camera se ảnh hương đến chât lượng ảnh.

- Tuôi tác, những thay đôi hình dáng (chăng han sự che khuât của râu, kính):

làm bài toán trơ nên phức tap hơn, phải xem xet nhiêu trường hợp hơn.

- Đô phân giải khác nhau (resolution):

13

- Sự đa dang hoá của màu da

- Các khuôn măt dính vào nhau trong cung 1 bức ảnh

Rut trích đăc tính miệng với đô chính xác cao, theo thời gian thực. Bơi môt

trong những ứng dụng của nó là đoc môi (lip reading), chăng han như trong

…

1.3. Phát Biêu Bai Toán

Tư môt ảnh với kích thước nào đó, chung ta tìm môt phương pháp đê xác đinh

nhanh trong ảnh đó có khuôn măt hay không. Sau đó tìm phương pháp rut trích đăc

trưng của khuôn măt đó và kết hợp kỹ thuât 3D đê tái hiện những cư đông trên mô

hình 3D đó.

Hinh 1-1: Mô hinh cac bươc đê xây dưng

- Việc đinh vi mắt cung găp khó khăn như sự có măt của kính cung là môt

thách thức lớn cho việc nghiên cứu.

- Chung ta cân xem xet xác đinh mui trước không?

- ASM có thê do tìm những điêm rut trích nhanh, nhưng AAM thì sao?

- Môt điêu nữa là xem xet bài toán ơ mức đô chính xác cao, đăc biệt là với

thông tin miệng, đây có thê ứng dụng nhiêu vào ngành giải trí 3D.

…

Tái hiện trên mô

hình 3D

Rut trích những đăc

tính

(Feature extraction

- FE)

Nhân dang khuôn

măt

(Face detection -

FD)

14

1.4. Pham Vi Đê Tai

Trong đê tài này, chung tôi tâp trung tìm kiếm và đê xuât môt thuât toán hiệu

quả cho việc rut trích đăc trưng ảnh như mắt, mui, miệng. Do sự phức tap của bài

toán đã nói trong mục 1.2, chung tôi đưa ra những giả đinh và ràng buôc sau nhăm

giảm đô phức tap của bài toán:

- Anh khuôn măt ơ phía trước (frontal view)

- Điêu kiện ánh sáng bình thường

1.5. Những Đóng Góp

Tìm hiêu môt phương pháp manh cho quá trình rut trích thông tin khuôn măt

với mức đô chính xác cao, đồng thời cung đáp ứng xư lý nhanh theo thời gian thực

(realtime).

Và xây dựng ứng dụng minh hoa đê thây được khả năng ứng dụng của kỹ

thuât mà tôi tìm hiêu, nghiên cứu.

…

1.6. Câu Truc Luân Văn

Luân văn này được tô chức như sau:

15

Chương 2 - RÚT TRÍCH THÔNG TIN KHUÔN MẶT

Những thông tin khuôn măt được hiêu như những điêm đăc trưng, những

điêm nôi bât của khuôn măt như những góc của mắt, những góc của lông mày,

những góc và những điêm giữa ngoài của môi, những góc của lô mui, đinh của mui

(tip of the nose), đinh của căm (tip of the chin) (xem Hình 2-3).

Đinh vi những điêm đăc trưng trên khuôn măt là giai đoan quan trong cho

nhiêu công trình liên quan đến xư lý ảnh khuôn măt. Ơ đây, trong nhiêu công trình

đê xuât chon môt thuât toán do tìm khuôn măt nhanh và manh, đó là môt phiên bản

của do tìm khuôn măt Viola-Jones [68]. Sau đó, [33] đê nghi chia vung khuôn măt

đã do tìm ra thành 20 vung cân quan tâm (regions of interest) đê đinh vi những điêm

đăc trưng này.

Chung ta xem xet tưng giai đoan cho quá trình rut trích thông tin như sau:

2.1. Do Tìm Khuôn Măt

- Trong giai đoan này, chung ta cân xem xet hướng, ty lệ khác nhau của khuôn

măt.

- Tìm phương pháp do tìm nhanh, manh khuôn măt phía trước (front face), nếu

tìm khuôn măt ơ nhiêu góc nhìn khác nhau (multi-view face) càng tốt.

Nhưng phải trên tiêu chí nhanh, làm tiên đê tốt cho giai đoan rut trích.

Phương pháp đê xuât là sư dụng Adaboost đê do tìm khuôn măt hướng phía trước

(frontal) [27]. Đây là phương pháp xác đinh khuôn măt nhanh và manh, đã được

Viola-Jones đưa ra. Việc do tìm se thực hiện trên môi khung hình theo thời gian

thực, có đô chính xác cao và hiệu suât thực hiện nhanh. Cung có phương pháp khác

với đô tin cây cao hơn bơi việc do tìm khuôn măt ơ nhiêu góc nhìn [64], nhưng kết

quả của nó se không đủ thông tin như mắt, mui, miệng, đáp ứng cho giai đoan rut

trích.

…

16

2.2. Xác đinh vung cân quan tâm

Xác đinh mắt trước là môt lợi thế? Nhưng nếu đeo kính hay mắt nhắm thì chuyện gì

xảy ra?

Hinh 2-2: Chia vung khuôn măt thanh nhưng vung nho hơn đê thao tac. (a) Xac đinh vung măt (b) Xac

đinh vung miêng dưa trên khoang cach măt (Eye Distance – ED)

Chung ta chia vung khuôn măt ra làm 2 phân: phân trên chứa mắt và phân

dưới chứa miệng.

Vung trên ta lai chia ra làm 2 phân theo chia ngang đê xác đinh vi trí mắt cho

chính xác. Khi chung ta biết vi trí x, y của mắt, chung ta có thê xác đinh

được góc nghiêng của khuôn măt và có thê cân thiết là xoay khuôn măt vê

thăng đứng với góc nghiêng đó đê tiện lợi cho việc rut trích.

17

2.3. Rut Trich Thông Tin Tư Khuôn Măt

Hinh 2-3: Nhưng điêm đăc trưng trên khuôn măt

Thực vây, trong khảo sát của [31] đã chi ra sự quan trong của đinh vi mắt trước,

cung như giup ước lượng được ty lệ (scale) của khuôn măt.

Chung ta se xem xet bài viết này [57], cung như kết hợp [33].

[65] đã chi ra vài phương pháp đinh vi những điêm đăc tính trên khuôn măt:

1. Phương pháp dựa vào đăc tính (feature based approach)

2. Phương pháp dựa vào mâu (template based approach)

Chung ta cân phân biệt giữa những phương pháp chi đoi hoi đinh vi những đăc tính

nhanh (rough) và những cái đoi hoi đánh giá những điêm trên khuôn măt môt cách

chính xác.

[Bartlett, 2005] So sánh LDA và SVM trong việc chon đăc trưng (feature selection)

[70] chi ra môt phương pháp rut trích những đăc trưng khu vực miệng. Đây có thê

mơ rông cho hệ thống nhân dang lời nói môt cách tự đông (automatic speech

recognition – ASR) răng môt số công trình đã thât bai do chi xư lý trong âm thanh

với điêu kiện tiếng ồn.

…

2.3.2. Những Đăc Trưng dựa trên Gợn Sóng (Wavelet-based Features)

According to the study of C. Papageorgiou [70], the wavelet coefficients preserve

all the information in the original image,

18

but the coding of the visual information differs from the pixel-based representation

[46] Theo nghiên cứu của C. Papageorgiou, những hệ số gợn sóng (wavelet) bảo tồn

được tât cả thông tin của hình ảnh nguồn, nhưng việc mã hoá của những thông tin

nhìn thây được khác với việc biêu diên dựa vào điêm ảnh (pixel) trong 2 cách: làm

những biến của lớp bên trong tối thiêu, và của lớp bên ngoài tối đa môt cách đồng

bô.

Đâu tiên, sự khác nhau cường đô trung bình giữa những vung cục bô theo những

hướng khác nhau được mã hoá trong môt khung đa ty lệ. Những ràng buôc trên

những giá tri của gợn sóng có thê biêu diên những đăc tính nhìn thây được của lớp

đối tượng: phản ứng manh tư gợn sóng chi ra sự hiện diện của sự khác nhau manh

me, hoăc biên giới tư gợi sóng trong bức ảnh, trong khi phản ứng yếu tư gợn sóng

chi ra khu vực tương đồng.

Thứ hai, việc sư dụng những nên tảng hoàn thiện, ví dụ, nên tảng Haar, cho phep

chung ta lan truyên những ràng buôc giữa những vung lân cân và mô tả những mâu

phức tap. Biến đôi gợn sóng mât đô gân bốn lân cung câp đô phân giải cao và dân

đến môt bô tự điên phong phu, hoàn thiện của những đăc tính.

2.3.2.1. Haar wavelet

Hinh 2-4: Nhưng đăc tính của gợn sóng Haar

Những đăc trưng Haar (Haar like features) la gì?

19

[OpenCVWiki]Những đăc trưng Haar mã hoá sự tồn tai của những tương phản

được đinh hướng giữa những vung trong ảnh. Môt bô của những đăc trưng này có

thê được sư dụng đê mã hoá những tương phản của môt khuôn măt và những liên hệ

không gian giữa chung.

Đâu tiên, môt bô phân lớp (classifier) là môt cái thác (cascade) của những bô phân

lớp nâng cao dân, được huân luyện với vài trăm những mâu của đối tượng cân quan

tâm (chăng han khuôn măt, xe …), được goi là những mâu khăng đinh (positive),

những mâu này được co giãn vê cung môt kích thước (20x20) và những mâu phủ

đinh (nagetive), là những mâu gân giống với đối tượng quan tâm nhưng không phải

đối tượng đó, cung có cung kích thước.

Sau khi bô phân lớp được huân luyện, nó có thê thực hiện trên những vung quan

tâm trong môt ảnh đâu vào. Bô phân lớp se xuât ra “1” nếu vung đó giống đối tượng

quan tâm và ngược lai là “0”. Đê tìm kiếm đối tượng trong toàn bô ảnh, chung ta

phải di chuyên môt cưa sô tìm kiếm doc theo ảnh đê kiêm tra môi vi trí bơi việc sư

dụng bô phân lớp đó. Bô phân lớp phải được thiết kế đê có thê dê dàng thay đôi

kích thước cho việc tìm kiếm những đối tượng quan tâm với những kích thước khác

nhau, điêu này hiệu quả hơn việc thay đôi chính kích thước của ảnh. Và môt điêu

nữa là việc tìm kiếm những đối tượng với kích thước chưa biết, chung ta cân có môt

thuât toán quet qua vài lân trên ảnh với những ty lệ co giãn khác nhau.

Môt cái thác của những bô phân lớp nghĩa là bô phân lớp kết quả gồm vài bô phân

lớp đơn giản hơn đê thực hiện trên vung quan tâm cho đến khi tai môt giai đoan nào

đó, đối tượng bi tư chối bơi bô phân lớp của giai đoan tương ứng, thì những giai

đoan sau đó bi bo qua. Và tai môi giai đoan của cái thác phân lớp đó, bô phân lớp

sau se phức tap hơn bô phân lớp trước và được xây dựng dựa trên out of basic

classifiers bơi việc sư dụng môt trong bốn thuât toán bâu chon trong số (weighted

voting) - Discrete Adaboost, Real Adaboost, Gentle Adaboost and Logitboost.

Những bô phân lớp cơ bản là những bô phân lớp của cây quyết đinh với ít nhât hai

lá. Những đăc tính Haar là đâu vào đối với những bô phân lớp cơ bản. Đăc trưng đã

20

sư dụng trong môt bô phân lớp đăc thu được mô tả hình dáng, vi trí trong vung quan

tâm và môt ty lệ co giãn.

Anh tich phân (Integral image):

[Chesnokov Yuriy, 2008] Là môt ảnh được xư lý trước nhăm tăng cường cho việc

rut trích những đăc trưng Haar. Tai môi điêm (i, j) trong ảnh gốc, chung ta tính tông

giá tri tât cả những điêm ảnh phía bên trái và ơ trên so với điêm (i, j): I(x) = sum

sum (i, j)

Hinh 2-5: Cach tao ra anh tích phân

unsigned char** pimage;

unsigned int** pintegral_image;

for (unsigned int i = 0; i < height; i++) {

for (unsigned int j = 0; j < width; j++) {

pintegral_image[i][j] = 0;

for (unsigned int y = 0; y <= i; y++)

for (unsigned int x = 0; x <= j; x++)

pintegral_image[i][j] += pimage[y][x];

}

}

Bang 2-1: Đoan ma cach tao ra anh tích phân

21

2.4. Haar cascades file

http://alereimondo.no-ip.org/OpenCV/34

Description &

References

Author(s) /

LicenceVersion Haar cascade file

Frontal Face

stump 24x24,

20x20gentle,

20x20tree

Rainer

Lienhart1.0 frontalFace10.zip

Profile Face (20x20) David Bradley 1.0 profileFace10.zip

Human body,

Pedestrian Detection

14x28 full body,

19x23 lower body,

22x18 upper body

David Bradley 1.0 body10.zip

Frontal eyes (both

eyes)

Unknown

Ref. to author

& rights is

welcome

Old cascade

formatfrontalEyes35x16.zip

Frontal eyes (both

eyes)Yusuf Bediz

New cascade

Format XML

Converted

w/HaarConv

frontalEyes35x16XML.zip

Right Eye

18x12

Reference paper

Modesto

Castrillón

Santana

1.0 REye18x12.zip

22

Conditions of

use

Left Eye

18x12

Reference paper

Modesto

Castrillón

Santana

Conditions of

use

1.0 LEye18x12.zip

Eyes

22x5 Eye pair

detector computed

with 7000 positive

samples

Reference paper

Modesto

Castrillón

Santana

Conditions of

use

1.0 Eyes22x5.zip

Eyes

45x11 Eye pair

detector computed

with 7000 positive

samples

Reference paper

Modesto

Castrillón

Santana

Conditions of

use

1.0 Eyes45x11.zip

Head and shoulers

22x20 Head and

shoulders classifier

Reference paper

Modesto

Castrillón

Santana

Conditions of

use

1.0 HS22x20.zip

Mouth

25x15

Reference paper

Modesto

Castrillón

Santana

1.0 Mouth25x15.zip

23

Conditions of

use

Nose

25x15

Reference paper

Modesto

Castrillón

Santana

Conditions of

use

1.0 Nose25x15.zip

Eye

24x12

trained to detect one

eye (either left or

right)

Ting Shan 1.0 EyeTingShan.zip

Wall clock

30x30 - Message

Reference

Celal Çaðýn

ELGÜN1.0 WallClock.zip

Detect eyes one at a

time 20x20shameem 1.0 oneEye22x22.zip

2.5. Cơ sơ dữ liệu ảnh

- FERET database

- Cohn-Kanade database

- The Carnegie Mellon University Pose, Illumination, and Expression database

24

Chương 3 - XÂY DƯNG CHƯƠNG TRÌNH

Xây dựng chương trình với ngôn ngữ C++, nhưng cung tham khảo cách làm

việc trên Matlab.

Code tai http://subversion.assembla.com/svn/james_research/FXFace

Yêu câu hê thông

Microsoft Windows XP/Vista Intel Pentium 4-Class (Intel Core2 Duo recommended) 512 MB RAM (1 GB RAM recommended) 30 MB free disk space Webcam

25

Chương 4 - THƯ NGHIỆM

4.1. Bô Dữ Liệu Thư Nghiệm

Danh sách những bô dữ liệu cho việc thư nghiệm:

1. The Facial Recognition Technology (FERET) Database

2. CMU Face Database (CMU-MIT Frontal Face Test Set - a ground truth text

including information for locations of eyes, noses, and lip centers and tips,

however, it does not have locations of faces expressed by rectangle regions

required by the haartraining utilities as default)

3. MIT CBCL Face Data (2,429 frontal faces with few illumination variations

and pose variations)

4. BANCA Database

5. The Yale Face Database

6. Essex Face Recognition Data

7. The AR Face Database

8. The UMIST Face Database (large variations in poses)

9. The PASCAL Object Recognition Database Collection

10. 2005 OTCBVS Benchmark Dataset Collection

11. Surveillance Performance EValuation Initiative (SPEVI)

12. CMU PIE Database

13. BioID face database and the FG-NET facial expression database

26

Chương 5 - KÊT LUÂN

5.1. Kết Quả

5.2. Khuyến Nghi

27

TÀI LIỆU THAM KHAO

Keywords: face recognition, eye localization, asm, svm, facial features extraction,

locating facial feature points, facial feature point detection, face detection, adaboost,

floatboost, GentleBoost, gabor filter, gabor wavelet features, biometrics, geometric

invariants, xác đinh thành phân khuôn măt, trích chon đăc trưng.

Tiếng Việt

[1] Trân Lê Hồng Du (2005), Phat Hiện Khuôn Măt Dựa Trên Đăc Trưng Lồi

Lõm, Luân Văn Thac Sĩ, DHKHTN TpHCM, TpHCM. [pdf]

[2] Nguyên Thành Thái (2006), Nhận Dạng Măt Người Dùng SVM và Mạng

Nơron, Luân Văn Thac Sĩ, DHCNTT TpHCM, TpHCM. [tóm tắt]

[3] Nguyên Minh Đức (2008), “VN gây tiếng vang tai diên đàn bảo mât Black

Hat”, VNExpress.net. [chi tiết]

[4] Trân Anh Tuân, Nguyên Thành Nhựt, Cao Minh Thinh,Trân Anh Tuân, Phan

Phuc Doãn, Pham Thế Bảo (2006), “Xác Đinh Các Thành Phân Của Măt

Người Trong Anh Màu Dựa Vào Logic Mờ, Xác Xuât Và Thuât Toán

Loang”, Hôi Thảo tai Trường ĐH Đà Lat.

Tiếng Anh

[5] http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.97.4966 (Precise

eye localization through a)

[6] http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.96.1821

(EMoTracker: Eyes and Mouth Tracker Based on Energy Minimization

Criterion)

[7] http://www.eee.metu.edu.tr/~alatan/PAPER/MSbahtiyar.pdf (following the

paper)

[8] Zeeshan Ejaz Bhatti (2008), Face and Eyes Detection Using OpenCV [code]

[9] http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.43.7504

Abstract---In this paper we present a way to regard the combined face

28

detection and facial feature extraction problem as an optimization problem.

This problem is of too high computational complexity to be of practical use,

and we investigate different methods to reduce the complexity. Our proposed

system uses techniques known from the literature (skin colour classifcation,

statistical pattern matching,...) as well as a novel method based on a

deformable graph and an extended Viterbi algorithm. Keywords--- Face

localization, Face detection, Facial feature extraction, Model-based coding,

Mpeg-4, Face Animation

[10] R. Beveridge, B. Draper, CSU baseline results on the FERET database, CSU

face identification evaluation system 5.0, Available from

http://www.cs.colostate.edu/evalfacerec/algorithms/version5/CSUBaselineRe

sultsV5/index.html (2003) (khảo sát vài thuât toán)

http://code.google.com/p/facerec/source/browse/?r=23

[11] http://arxiv.org/PS_cache/cs/pdf/0605/0605027v1.pdf (Recognition of

expression variant faces using masked log-Gabor features and Principal

Component Analysis)

[12] NIST, FERET evaluation, Available from

http://www.itl.nist.gov/iad/humanid/feret/perf/eval.html (2001).

[13] http://www.kung-foo.tv/gaborapi.html#2 (Gabor API) http://infinite-

sushi.com/2003/04/gabor-api-updated/

[14] http://www.personal.rdg.ac.uk/~sir02mz/CGabor/example.html (Use Gabor

Class)

[15] http://www.visagetechnologies.com/downloads.html (visage|SDK™

VISION)

[16] http://eyeteck.vn/nc-ht/dieu%20khien-tu%20dong/mang%20SVM%20va

%20ung%20dung%20trong%20nhan%20dang%20thanh%20phan%20hon

%20hop%20khi.htm (bài vê SVM)

[17] http://www.face-rec.org/algorithms/EBGM/WisFelKrue99-FaceRecognition-

JainBook.pdf

29

[18] http://www.wavelet.org

[19] http://www1.cs.columbia.edu/~jebara/htmlpapers/UTHESIS/thesis.html

Tony S. Jebara, 3D Pose Estimation and Normalization for Face

Recognition (1995)

[20] http://face.360degreeweb.com/ access control software based on facial

recognition

[21] http://www.i-secure.sg/Products/faceITSDK.aspx FaceIT SDK - FaceIt

ARGUS http://identix.com/

[22] http://pages.cs.wisc.edu/~kamenick/tomoeye/final_report.html Source code

tracking eye by SVM

[23] http://faceapi.com/ (performance is very good )

[24] http://sibgrapi.sid.inpe.br/rep-/sid.inpe.br/sibgrapi@80/2007/07.18.03.11?

languagebutton=en (trang này search bài báo) Jose Gilvan Rodrigues Maia,

Fernando de Carvalho Gomes, Osvaldo de Souza - Automatic Eye

Localization in Color Images (vân đê rât thiết thực)

[25] http://s.i-techonline.com/Book/Face-Recognition/ISBN978-3-902613-03-5-

fr20.pdf Maja Pantic and Marian Stewart Bartlett. Machine Analysis of

Facial Expressions. Face Recognition, ISBN 978-3-902613-03-5, pp.558, I-

Tech, Vienna, Austria, June 2007

[26] http://s.i-techonline.com/Book/Face-Recognition/ISBN978-3-902613-03-5-

fr04.pdf Dao-Qing Dai and Hong Yan. Wavelets and Face Recognition.

Face Recognition, ISBN 978-3-902613-03-5, pp.558, I-Tech, Vienna,

Austria, June 2007

http://citeseerx.ist.psu.edu/viewdoc/versions;jsessionid=390272219CABAE

C01CD625C09B6ABC3C?doi=10.1.1.92.4220

[27] Paul Viola, Michael Jones (2001), “Rapid Object Detection using a Boosted

Cascade of Simple Features”, Proceedings of Computer Vision and Pattern

Recognition.

30

http://www-cse.ucsd.edu/classes/fa01/cse291/ViolaJones.ppt

http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.6.2036 (bài cơ bản)

[28] G. Lipori, A general-to-specific Eye Locator based on Haar wavelets and

Support Vector Machines, PhD thesis, discussed in March 2007. [pdf ~ 10

Mb]

[29] P. Campadelli, R. Lanzarotti and G. Lipori, “Automatic facial feature

extraction for face recognition”, Chapter at pagg. 31-58 of the book Face

Recognition, edited by Kresimir Delac and Mislav Grgic, published by I-

Tech Education and Publishing, Vienna, July 2007. [online book] [pdf]

[30] http://www.cs.colostate.edu/evalfacerec/papers/cvprip02.pdf K. Baek, B. A.

Draper, J. R. Beveridge, and K. She. PCA vs. ICA: A comparison on the

FERET data set, presented at Joint Conference on Information Sciences,

Durham, N.C., 2002.

compare two subspace projection techniques

http://www.cs.colostate.edu/evalfacerec/papers.html

[31] P. Campadelli, R. Lanzarotti, G. Lipori, Eye localization: a survey, in the

book of The Fundamentals of Verbal and Non-verbal Communication and

the Biometrical Issue, NATO Science Series, May 2007. [pdf]

[32] http://face.nist.gov/Documents_Overview.htm Overview Face Recognition

http://frvt.org/FRGC/

[33] Danijela Vukadinovic and Maja Pantic, “Fully Automatic Facial Feature

Point Detection Using Gabor Feature Based Boosted Classifiers”, IEEE

International Conference on Systems, 2005. [pdf]

[34] Hua Gu, Guangda Su, Cheng Du, Feature Points Extraction from Faces, 2003

http://sprg.massey.ac.nz/ivcnz/Proceedings/IVCNZ_28.pdf

[35] Mäkinen Erno, Face Analysis Techniques for Human-Computer Interaction,

2007-12-14

http://acta.uta.fi/english/teos.phtml?11022

http://www.cs.uta.fi/~etm/research/ (Gabor, face detection, )

31

[36] Qiong Wang, Jingyu Yang, Eye Detection in Facial Images with

Unconstrained Background, 2006

JPRR_Vol1_Issue1_2006_pp55_62_2006_09_25.pdf

[37] J.Cook, V. Chandran & S.Sridharan, “Multi-Scale Representation for 3D

Face Recognition“, in IEEE Transactions on Information Forensics ans

Security: Special Issue on Human Detection and Recognition, 2007

http://jamie.homelinux.org/wp-content/uploads/2007/03/cook-07-multi-

scalerepresentationfor3dfacerecognition.pdf (download website)

[38] Recent Advances in Face Recognition

Edited by: Kresimir Delac, Mislav Grgic and Marian Stewart Bartlett

ISBN 978-953-7619-34-3

Publisher: IN-TECH, Vienna, Austria

Publication date: December 2008

URL: http://intechweb.org/book.php?id=101

[39] Jahmar Ignacio - Constructing Individual Facial Expressions in an Avatar

from Observation (Slide – tao avatar)

http://ml.cecs.ucf.edu/meli/MLII/files/Ignacio_Pres_Final.pdf

[40] Fei Zuo, Peter H. N. de With (2005), “Real-time Face Recognition for Smart

Home Applications”, International Conference on Consumer Electronics

(ICCE2005), vol. 51 p. 183-190, February 2005, Las Vegas, U.S.A. [pdf]

[details] [others] (mục đích này rât hay)

http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.59.3603

[41] Aysegul Gunduz, Hamid Krim (2003), “Facial feature extraction using

topological methods”, Raleigh.

http://www.busim.ee.boun.edu.tr/~cdemirkir/files/FacialFeatureDetection/

cr2304.pdf

(có nói lý do essential in many modern multimedia applications such as face

recognition, facial gesture recognition, and low-bit video coding. These

32

applications play an important role in security systems, human-computer

interaction, and teleconferencing)

[42] Mohammad H. Mahoor, Mohamed Abdel-Mottaleb†, and A-Nasser Ansari

(2006), “Improved Active Shape Model for Facial Feature Extraction in

Color Images”, Journal of multimedia, Vol. 1.

www.academypublisher.com/jmm/vol01/no04/jmm01042128.pdf

[43] Mark Everingham, Josef Sivic and Andrew Zisserman, “Hello! My name is...

Buffy – Automatic Naming of Characters in TV Video”, Proceedings of the

17th British Machine Vision Conference (BMVC 2006). [pdf] [details]

[44] Timo Ahonen1  , Abdenour Hadid1  and Matti Pietikäinen1  (2004),

Face Recognition with Local Binary Patterns, Filand.

http://www.springerlink.com/content/p5d9xp9gfkex5gk9/ (Face Recognition

with Local Binary Patterns-Timo.pdf)

[45] Hyun-Chul Kim1  , Hyoung-Joon Kim1  , Wonjun Hwang2  , Seok-

Cheol Kee2  and Whoi-Yul Kim1  (2007), “Facial Feature Point

Extraction Using the Adaptive Mean Shape in Active Shape Model”, Seoul,

Korea.

http://www.springerlink.com/content/4828k6141231741u/#ContactOfAuthor

4 (HWJ_07C_MIRAGE.pdf)

[46] Lê Đình Duy (2006), Human Face Processing Techniques with Application

to Large Scale Video Indexing, PhD Thesis, Tokyo, Japan. [pdf] [details]

[blog]

[47] Rudy Adipranata, Cherry G. Ballangan, Silvia Rostianingsih, Ronald Paska

Ongkodjodjo , “Real-Time Human Face Tracker Using Facial Feature

Extraction”,Surabaya, Indonesia

http://fportfolio.petra.ac.id/user_files/99-015/104.pdf (human tracker.pdf)

(sư dụng phương pháp SkinColor)

[48] Jeremy N. Bailensona, Emmanuel D. Pontikakis, Iris B. Mauss, James J.

Gross, Maria E. Jabon, Cendri A.C. Hutchersond, Clifford Nass, Oliver John

33

(2007), “Real-time classification of evoked emotions using facial feature

tracking and physiological responses”, USA. [pdf]

[49] Platform for developing 3-D virtual reality worlds, web. Address at

http://www.worldviz.com/products/vizard/index.html.

[50] H. K. Ekenel, H. Gao, R. Stiefelhagen, "3-D Face Recognition using Local

Appearance-Based Models", IEEE Transactions on Information Forensics

and Security, Vol. 2, No. 3, pp. 630-635, September 2007.

[51] J. Stallkamp, H.K. Ekenel, R. Stiefelhagen, "Video-based Face Recognition

on Real-World Data", International Conference on Computer Vision

(ICCV'07), Rio de Jenario, Brasil, October 2007.

[52] H.K. Ekenel, J. Stallkamp, H. Gao, M. Fischer, R. Stiefelhagen, "Face

Recognition for Smart Interactions", International Conference on Multimedia

& Expo, Beijing, China, July 2007.

[53] H.K. Ekenel, M. Fischer, R. Stiefelhagen, "Face Recognition in Smart

Rooms", 4th MLMI, Brno, Czech Republic, June 2007.

[54] H.K. Ekenel, M. Fischer, Q. Jin, R. Stiefelhagen, "Multi-modal Person

Identification in a Smart Environment", CVPR Biometrics Workshop,

Minneapolis, USA, June 2007.

[55] H.K. Ekenel, R. Stiefelhagen, "Local Wavelet Analysis for Face

Recognition", IEEE Signal Processing and Communications Applications

Conference, Eskisehir, Turkey, June 2007

[56] H.K. Ekenel, R. Stiefelhagen, "Two-class Linear Discriminant Analysis for

Face Recognition", IEEE Signal Processing and Communications

Applications Conference, Antalya, Turkey, June 2007.

[57] H.K. Ekenel, R. Stiefelhagen, "An Un-awarely Collected Real World Face

Database: The ISL-Door Face Database", International Conference on

Computer Vision Systems, ICVS 2007, Bielefeld, Germany, March 2007.

[58] Minh Hoai Nguyen, Joan Perez, Fernando De la Torre (2008), “Facial

Feature Detection with Optimal Pixel Reduction SVMs”, 8th IEEE Int’l

34

Conference on Automatic Face and Gesture Recognition, September 2008,

Amsterdam, The Netherlands. [pdf] [details]

[59] Steve Milborrow (2007), Locating Facial Features with Active Shape

Models, Master’s Thesis, University of Cape Town, South Africa. [pdf]

[60] Steve Milborrow and Fred Nicolls (2007), “Locating Facial Features with an

Extended Active Shape Model”, ECCV '08: Proceedings of the 10th

European Conference on Computer Vision, 5305, 504-513, Marseille,

France. [pdf] [details]

[61] Kuang-chih Lee (2005), The Extended Yale Face Database B (web). Address

at

http://vision.ucsd.edu/~leekc/ExtYaleDatabase/download.html

http://vision.ucsd.edu/~leekc/ExtYaleDatabase/ExtYaleB.html

[62] Daniel Riccio, Jean-Luc Dugelay (2007), Geometric invariants for 2D/3D

face recognition. [pdf]

[63] Deva Ramanan, Simon Baker and Sham Kakade (2007), "Leveraging

Archival Video for Building Face Datasets", International Conference on

Computer Vision (ICCV), Rio de Janeiro, Brazil, Oct 2007. [pdf] [details]

[64] Stan Z. Li, Senior Member, Zhenqiu Zhang (2004), “FloatBoost Learning

and Statistical Face Detection”, IEEE Transactions on Pattern Analysis and

Machine Intelligence. [pdf]

[65] Stefano Arca, Paola Campadelli, Raffaella Lanzarotti (2005), “A face

recognition system based on automatically determined facial fiducial points”,

Pattern Recognition Journal. [pdf]

[66] P. Campadelli, R. Lanzarotti, G. Lipori, E. Salvi, “Face and facial feature

localization”, In the Proceedings of the International Conference on Image

Analysis and Processing (ICIAP 2005). [pdf]

[67] Andrea F. Abate, Michele Nappi, Daniel Riccio, Gabriele Sabatino (2007),

“2D and 3D face recognition: A survey”

35

[68] Paul Viola, Michael J. Jones (2004), “Robust real-time face detection”,

International Journal of Computer Vision 57(2), 137–154, 2004. [pdf]

[69] Jake Newman (2009), Visual-Only Language Identication, Thesis at

University of East Anglia. [pdf]

[70] Roland Gocke, J Bruce Millar, Alexander Zelinsky, and Jordi Robert-Ribes

(2000), “Automatic Extraction of Lip Feature Points”, Proceedings of

Australian Conference on Robotics and Automation (ACRA2000) [ps, demo]

[71] Ce Zhan, Wanqing Li, Philip Ogunbona, and Farzad Safaei

(2007), “Real-Time Facial Feature Point Extraction”, PCM

2007 (under review)

[72] Rainer Lienhart, Jochen Maydt (2002), “An Extended Set of Haar-like

Features for Rapid Object Detection”, in: Proceedings of the International

Conference on Image Processing, vol. 1, pp. I–900–I–903. [pdf]

[73] Gwen Littlewort, Marian Stewart Bartlett, Ian Fasel, Joshua Susskind, Javier

Movellan (2004), “Dynamics of facial expression extracted automatically

from video”, cvprw, vol. 5, pp.80, 2004 Conference on Computer Vision and

Pattern Recognition Workshop (CVPRW'04) Volume 5, 2004.

36