手势控制的阅读方式

指导老师：吴江琴组 长：张文婷组 员：程炳飞

余柏 杨源清

PART. 1

手势控制介绍What’s Gesture Control?

手势控制手势控制（ Gesture Control）技术是通过摄像头读取人的自然手势，通过一定的算法处理摄像头读取的动作图像或图像序列，将自然语言翻译成机器命令，从而达到控制计算机完成特定程序的目的。

这项研究属于人机交互（ Human-Computer Interaction）领域的范畴。

手势控制的应用举例

手势控制手势控制是通过手势识别技术来实现的。手势识别有两类，第一种是静态手势识别。摄像头读入序列动作图片，计算机判定哪一张是有效指令帧，然后对这一帧静态图像进行处理和判断，对应到某个指令。第二种是动态手势识别，它则是针对一个连续的动作指令进行对应的读取、判断和识别。

我们通过读论文等方式决定先从静态手势识别学起。

手势控制的应用举例

PART. 2

前期研究准备What did we do at first ？

手势识别的模型与原理

模型与原理：各种手势识别技术的操作流程归结起来就是右图。而其区别在于在手势分割、特征分割和分势模板三个环节设置的不同。

动态手势识别采取的手势分割是基于动态轨迹的特征，静态的手势识别则利用了不同手势在静态视图上所表现的差异性，又可称其为基于视图或者基于图像的方法。

手势识别过程结构框图

目前领域内相关研究成果情况

目前的手势识别方法主要有

模板匹配法 (Model ／ Template Matching) 、

神经网络法 (NN ， Neural Network) 、

动态时间规整法 (DTW ， Dynamic Time Warping) 、

隐马尔可夫模型法 (HMM ， Hidden Markov Mode1)

我们着重模板匹配法中的基于图像测量的方法进行了探讨。在初步入手这个项目时，我们需要一个起步点，所以我们避免了其他复杂难懂的算法、手势建模、匹配，抛弃了数据手套等复杂工具的介入，采取简单的图像摄取，初步的图像测量方法差异化的方法来分辨提前设定好的手势。

PART. 3

提出解决方案What’s is our solution ？

定义手势模型手势的定义要考虑几方面的问题：

1. 语意的对应

2. 选取特征的提取算法复杂度

3. 特征提取是否容易，即特征识别度的高低

向上翻页

向下翻页

关闭

特征分割

首先确定背景，再通过减法确定需要识别的前景，即手势。并且进行一系列的降噪措施。

通过追踪目标边界，确定目标边界，再数出边界内像素点的个数，记为 count 。

通过 count 数值的范围，来进行特征识别。例如，向下翻页的手势， count 值范围在3000~5000.

count=3000~5000

PART. 4

程序代码说明Codes

去除画像中的背景

1

边缘跟踪函数

2

边缘跟踪函数

2

边缘跟踪函数

2

通过对图像的处理识别，得到了手势特征之后，将其与对应控制的的用意义的指令连接起来，完成手势识别控制的全过程。主要通过调用Robot类中的 keyPress函数，参数为按键的数值，来实现对键盘和鼠标按键的控制，实现对阅读软件的操控。

控制阅读部分

3

演示视频

4