一. 研究動機與目的

二. 相關研究介紹

三. 研究設計與方法

2

手指是建構手式最基本的元素，人類透過五根手指抓取東西，了解生活環境，當兩個語言不通的人要進溝通時，可以透過比手畫腳的方式溝通，後來發展的手語提供了

四肢健全但不方便使用對話進行溝通的人士，一個良好的溝通方式。

膚色偵測在指尖偵測常常被提及，因為膚色是人類對於手部認識的第一個特徵，膚色偵測有助於在攝影機擷取到的畫面中縮小指尖偵測的範圍。

3

擴增實境是延伸使用的感覺，透過虛擬的物件傳達，提

供使用者在一般狀況下難以察覺的隱藏資訊給使用者，

幫助使用者在工作上或生活上有更好的表現。擴增資訊與使用者互動，為使用者帶來沉浸的感知體驗，這個效果應用在產品行銷與推廣上十分具有優勢。

過去手指偵測研究大部分都集中於2D手指偵測，3D手指偵測主要是使用立體視覺的方法，在手指追蹤上，目前單攝影機的手指追蹤會有特定的姿勢無法追蹤，本研究希望可以實做出一個結合擴增實境的持續性手指偵測系統，希望未來可以與更多的領域做結合。

4

相關研究可以分為三部分:

1. 膚色偵測技術

2. 指尖偵測

3. 物件追蹤

5

目前應用膚色偵測的色彩空間有:HSV、NCC、YCbCr

HSV膚色範圍，在膚色判斷上容易，但是轉換色彩空間十分複雜，會增加程式的執行時間。

NCC膚色範圍計算，不能適用於不同膚色，且受光照影響。

YCbCr膚色範圍計算，不受不同亮度與不同人種的膚色影響。

6

指尖偵測與追蹤之擴增實境系統系統架構

7

光流初始化

TMD追蹤

膚色區域擴張

掌心定位

指尖定位

擴增實境模組

Lucas-Kanade 光流演算法

透過初始化光流演算法，確認追蹤目標。

8

這部分用DEMO的方式來講解

9

（a）參考矩陣示意圖 （b）膨脹處理示意圖 （c）膨脹結果

10

Graham convex hull演算法

Convex hull 定義

11

12

Graham convex hull演算法執行過程

1. 找出外部點，標示為p0當作起始點，順序地排序剩下的n-1個點

2. 放置三個硬幣在點p0, p1, p2然後標示他們為"back", "center“

與“front”。

3. 當三個硬幣排列由右到左排時(或三個硬幣共線時)，把back的硬幣拿到front的前面重新標示:back硬幣標示成front

；front硬幣成為center；center硬幣成為back

4. 否則(三個硬幣排列為由左到右)把center，放置到back硬幣之後移除(或忽視之後) center所在的點重新標示: center硬幣成為back；back硬幣成為center；

5. 直到front標籤在p0(或起始點)且3個硬幣呈現由右到左排序。依順序連接剩下的點，這樣形成的由原本n個點構成的convex hull。

適用opencv covexhull2击數，獲得膚色區域的convex hull，透過CvConvexityDefect消除非膚色區域，找出手指間四個凹點產生

一個圓，定位圓的圓心為手掌中心。

13

透過opencv covexhull2击數找出膚色區域外圍的極端點，CvConvexityDefect消除convex hull中非膚色區域，透過消除的非膚色區域，並以手指寬度為直徑，極端點處畫出圓形，定位指尖。

14

透過定位的掌心與兩根手指形成三角形構成投影平面，投影平面的重心，設定法向量，透過 Open Source 3D Graphics Engine

(OGRE)3d渲染引擎，渲染擴增資訊，透過擴增資訊的定位，投影到投影平面上。

15

16

17