1資訊工程系 智慧型系統實驗室 iLab南台科技大學

Robust Part-Based Hand Gesture

Recognition Using Kinect Sensor

作者 : Z. Ren,  J. Yuan, J. Meng, and Z. Zhang出處 : IEEE Transactions on multimedia, vol. 15, NO. 5, pp. 1110-1120, 2013報告者 :邵建銘

資訊工程系 智慧型系統實驗室 iLab南台科技大學 2

Outline• INTRODUCTION• RELATED WORK• PART-BASED HAND GESTURE

RECOGNITION• EVALUATIONS• APPLICATIONS• CONCLUSION AND FUTURE WORK

資訊工程系 智慧型系統實驗室 iLab南台科技大學 3

INTRODUCTION• 傳統辨識手部形狀的方法是用手套

• 使用不方便

• 成本昂貴

• 不是一個受歡迎的手勢識別方法。

資訊工程系 智慧型系統實驗室 iLab南台科技大學 4

INTRODUCTION• Kinect成為較低成本的工具

• 但是在分辨手部的複雜形狀較困難

• 手部的特徵分割通常是不準確的

資訊工程系 智慧型系統實驗室 iLab南台科技大學 5

INTRODUCTION• 提出 Finger-Earth Mover’s Distance

(FEMD)這個方法• FEMD是專門為手的形狀而設計的。• 因為只有匹配手指• 可以更好地處理通過 Kinect所獲得手部的複雜形狀。

資訊工程系 智慧型系統實驗室 iLab南台科技大學 6

RELATED WORK• 基於視覺的手勢識別方法可分為兩類。

• 第一類是統計學習基礎的方法

• 第二類是基於規則的方法

資訊工程系 智慧型系統實驗室 iLab南台科技大學 7

RELATED WORK• 現有的手勢勢別方法在現實中無法廣泛的使用

• 現有的方法有–推斷出手掌和角度的姿勢–使用彩色標記來提取手掌–找出指尖、關節位置或某些錨點–重建手部 3D模型

• 以上都是高成本的方法

資訊工程系 智慧型系統實驗室 iLab南台科技大學 8

RELATED WORK• Kinect的發展提供了解決方案• 由於低的分辨率和深度圖的誤差，所得到的手部輪廓並不好

• 傳統的形狀識別方法不穩健的手的形狀嚴重扭曲。

資訊工程系 智慧型系統實驗室 iLab南台科技大學 9

RELATED WORK• Bai提出骨架修剪方法，取得清晰的骨架輪廓

• 骨架為基礎的方法仍然不能處理手指間距離過短的問題

• 作為對應的方式，基於形狀識別方法，如shape contexts 和 inner-distance

資訊工程系 智慧型系統實驗室 iLab南台科技大學 10

RELATED WORK

資訊工程系 智慧型系統實驗室 iLab南台科技大學 11

PART-BASED HAND GESTURE RECOGNITION

資訊工程系 智慧型系統實驗室 iLab南台科技大學 12

PART-BASED HAND GESTURE RECOGNITION

資訊工程系 智慧型系統實驗室 iLab南台科技大學 13

PART-BASED HAND GESTURE RECOGNITION

• 樣板匹配 :c = arg min FEMD(H, Tc)

c

• Finger-Earth Mover’s Distance(FEMD)

資訊工程系 智慧型系統實驗室 iLab南台科技大學 14

PART-BASED HAND GESTURE RECOGNITION

資訊工程系 智慧型系統實驗室 iLab南台科技大學 15

PART-BASED HAND GESTURE RECOGNITION

資訊工程系 智慧型系統實驗室 iLab南台科技大學 16

PART-BASED HAND GESTURE RECOGNITION

資訊工程系 智慧型系統實驗室 iLab南台科技大學 17

EVALUATIONS

資訊工程系 智慧型系統實驗室 iLab南台科技大學 18

EVALUATIONS

資訊工程系 智慧型系統實驗室 iLab南台科技大學 19

EVALUATIONS

資訊工程系 智慧型系統實驗室 iLab南台科技大學 20

EVALUATIONS

資訊工程系 智慧型系統實驗室 iLab南台科技大學 21

EVALUATIONS

資訊工程系 智慧型系統實驗室 iLab南台科技大學 22

EVALUATIONS

資訊工程系 智慧型系統實驗室 iLab南台科技大學 23

EVALUATIONS

資訊工程系 智慧型系統實驗室 iLab南台科技大學 24

EVALUATIONS

資訊工程系 智慧型系統實驗室 iLab南台科技大學 25

EVALUATIONS

資訊工程系 智慧型系統實驗室 iLab南台科技大學 26

APPLICATIONS

資訊工程系 智慧型系統實驗室 iLab南台科技大學 27

APPLICATIONS

資訊工程系 智慧型系統實驗室 iLab南台科技大學 28

APPLICATIONS

資訊工程系 智慧型系統實驗室 iLab南台科技大學 29

CONCLUSION AND FUTURE WORK

• 這篇研究的一個主要貢獻是基於基於部分表示的距離度量。

• 這種表示使得在全局特徵的計算，因此，它具有較強的抗局部變形。

• 它具有較強的抗銜接，方向，規模的變化

資訊工程系 智慧型系統實驗室 iLab南台科技大學 30

CONCLUSION AND FUTURE WORK

• 本文的另一個貢獻是現實生活中的人機交互應用，我們建立在我們的手勢識別系統之上。

• 這表明，與手勢識別技術，我們可以模仿人類之間的通信，並涉及手勢作為一種自然和直觀的方式與機器互動。

• 提供輔助聽障• 健康護理環境絕對無菌場合，通過手勢使用非接觸式接口