ABSTRACT
Dynamic hand gesture recognition is a crucial but challenging task in the pattern recognition and computer vision communities. In this paper, we propose a novel feature vector which is suitable for representing dynamic hand gestures, and present a satisfactory solution to recognizing dynamic hand gestures with a Leap Motion controller (LMC) only. These have not been reported in other papers. The feature vector with depth information is computed and fed into the Hidden Conditional Neural Field (HCNF) classifier to recognize dynamic hand gestures.
The systematic framework of the proposed method includes two main steps: feature extraction and classification with the HCNF classifier. The proposed feature vector that consists of single-finger features and double-finger features has two main benefits. First, single-finger features solve the problem of mislabeling which is caused by executing dynamic hand gesture in different positions. Second, double-finger features can help in distinguishing the different types of interactions between adjacent fingertips. The HCNF-based classifier considers the two main factors for dynamic hand gesture recognition: different kinds of features and complex underlying structure of dynamic hand gesture sequences. The proposed method is evaluated on two dynamic hand gesture datasets with frames acquired with a LMC. The recognition accuracy is 89.5% for the LeapMotion-Gesture3D datase
t and 95.0% for the Handicraft-Gesture dataset. Experimental results show that the proposed method is suitable for certain dynamic hand gesture recognition tasks.
KEY WORDS：Dynamic hand gesture recognition, Depth data, Leap Motion controller, Hidden Conditional Neural Field
目录
摘要................................................................................................................. I ABSTRACT ........................................................................................................ III 目录................................................................................................................ V 第1章绪论.. (1)
1.1引言 (1)
1.2国内外研究现状 (4)
1.2.2基于计算机视觉的手势识别 (5)
1.2.3基于深度信息的手势识别 (6)
1.3研究内容 (7)
1.4论文结构 (8)
第2章特征的分析与提取 (11)
2.1三维梯度方向直方图 (11)
2.2 DT特征 (12)
2.3链码（Chain Code） (13)
2.4单指特征与双指特征 (13)
2.4.1单指特征 (14)德阳市实验小学校园网
2.4.2双指特征 (15)
2.5本章小结 (15)
第3章分类器模型 (17)
3.1隐马尔科夫模型 (17)
3.1.1隐马尔科夫模型的定义 (17)
3.1.2隐马尔科夫模型的三个基本问题 (19)
3.1.3隐马尔科夫模型的局限性 (20)
3.2条件随机场 (20)
3.2.1概率无向图 (20)成克杰案
3.2.2条件随机场的定义与形式 (23)
3.2.3条件随机场的基本问题 (24)
3.2.4条件随机场的特点 (25)
3.3隐条件随机场 (25)
3.3.1隐条件随机场的定义 (26)
3.3.2隐条件随机场的学习与推断 (28)
3.4隐条件神经场 (29)
3.4.1隐条件神经场的定义 (29)
3.4.2隐条件神经场的学习与推断 (31)
3.5本章小结 (31)
第4章实验结果与分析 (32)
4.1动态手势数据库 (32)
4.1.1基于Leap Motion的动态手势采集系统 (32)
4.1.2动态手势数据库 (33)
伊妹儿影院4.2实验结果与分析 (36)
4.3本章小结 (41)
第5章总结与展望 (44)
5.1总结 (44)
5.2工作展望 (45)
参考文献 (46)
发表论文和参加科研情况说明 (51)
致谢 (53)
第1章绪论
上海南市区1.1引言
人机交互技术[1]（Human-Computer Interaction）是研究人与机器之间相互作用的技术，该技术的研究目的是利用一切可能的信息及其通道进行人与机器之间的沟通与交流，从而提升人机交互技术的自然性和高效性。目前，基于文本方式的键盘交互和基于图形的鼠标交互是最为广泛、技术最为成熟的人机交互技术。这些交互技术都是以机器为中心，然而随着计算机技术的快速发展，人机交互技术的 研究己经从以机器为中心转移到以使用者为中心。而现阶段人机交互研究内容主要集中在手势输入[2]、语音识别、人脑控制等方面。研究开发新型的人机交互技术不仅能带来更好的人机交互体验，同时也极大地提高了输入输出效率。而动态手势作为人机交互新型技术中的一种，是以用户的手部直接作为机器的输入设备，人机间的通信与交互不再需要通过中间媒体，使用者能够简洁地定义一种合适的动态手势来对周围的计算机进行交互以及控制。因此，动态手势识别技术具有非常重要的研究意义与研究价值。
由于动态手势能够传达信息、描述事物，是对自然语言非常好的补充，在今后的研究中可以将动态手势和自然语言相结合作为一种新的人机交互方式，不仅更加方便快捷，而且也将会极大地提高操纵计算机的准确性与友好性。基于计算机视觉或者深度信息的动态手势识别技术提高了人机交互技术的效率以及友好性，使得直观、方便快捷、自然的人机交互成为可能，成为推动人机交互快速向前发展的一项关键性的技术。基于计算机视觉或者深度信息的动态手势识别的研究顺应了自然友好型人机交互技术未来的发展趋势，具有十分深远的研究价值与意义。
在二十一世纪初，随着智能MP4播放器等可触屏操作机器的出现，基于触摸屏的人机交互在便捷性上有了较大的提升。常见的触控式人机交互设备有平板电脑、智能手机、音乐播放器等，需要使用者手指接触屏幕，经历了十多年的成长与发展过程，触控式人机交互技术的日趋成熟。然而触控式交互仍然在操作形式和空间位置上具有一定的局限性。由于对自由度和便捷性的更高需求促成了体感式人机bind9
交互这一新型人机交互技术的进步与发展。
体感又可以称为人体感应，使用者能够直接使用肢体动作，例如身体语言、动态手势等，与周边的计算机或设备进行控制与交互，而且并不需要使用其它任何的复杂交互设备，便能够让使用者身历其境地与机器进行交互。根据体感原理与方式的不同，体感式交互设备主要分为两种：惯性感测、光学感测。
(1)惯性感测：主要是以惯性传感器（例如加速度传感器、陀螺仪等）感测用
户肢体动作的运动参数，再根据这些运动参数计算得到使用者在三维空
间中的各种肢体动作。主要代表产品有在2007年罗技（Logitech）推出
空间鼠标（MxAir），使用三轴重力传感器与两轴陀螺仪，可计算得到使
用者在三维空间中的手部动作，并将该手部动作转化为鼠标在屏幕上水
平与垂直方向的位移。此外从2009年开始，苹果的IPhone系列手机推开
了手机体感游戏的大门，从而众多基于惯性感测传感器开发的手机体感
游戏不断地出现。这些都促使体感式人机交互技术有了巨大的进步，使人
机交互技术的舒适度和自由度有着极大地提高。
(2)光学感测：主要是以光学传感器（例如摄像头、红外LED、深度摄像头
等）感测用户肢体动作的物理参数（例如RGB图像，深度信息等），再
根据这些物理参数来求得使用者在二维或三维空间中的各种肢体动作。
主要产品有在2010年微软（Microsoft）发布的具有划时代意义的体感设
备—Kinect[2]，不需要使用任何体感手柄，便可达到体感的效果，能够极
大地提高体感式人机交互的舒适度。Kinect是结合RGB摄像头与激光来
捕捉深度图像信息，从而获取人体全身三维图像，最后得到深度数据。此
外在2013年，体感控制器制造公司Leap发布了旗下的体感传感器Leap
Motion[3]。Leap Motion传感器的原理是是通过红外LED和摄像头以光学
感测的方式来完成对手部（包括手指和手掌）动作的捕捉，它能对捕捉到
的手部信息进行相应的识别处理，最后结合相应的软件程序进行具体的
操作与交互。与Kinect以及其他深度传感器相比，Leap Motion传感器的
输出数据直接是包含了手掌的方向、手指的位置、手掌的中心位置以及其
他相关的三维深度数据。有了这些数据，Leap Motion传感器相较于其他
深度传感器不再需要多余的运算去计算这些我们需要的三维深度数据。
未成年的主张而且Leap Motion传感器的位置精度为0.2mm[3]，远远高于其他深度传感
器。所以本文中将Leap Motion传感器应用到动态手势识别技术中，并达
到了很好的实验结果。
由于基于体感人机交互技术的动态手势是基于视觉输入的，所以用户在执行动态手势前不需要专门去学习动态手势，因此对输入设备和用户的要求都比较低。所以动态手势识别技术的研究具有巨大的价值以及发展前景。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议