34传感器与微系统(Transducer and Microsystem Technologies)2021年第40卷第2期
DOI : 10.13873/J. 1000-9787 (2021) 02-0034-04
*收稿日期：2019-08-14
*基金项目：国家自然科学基金资助项目(61401356, 61603324)；陕西省自然科学基金资助项目(2018JM6100)；陕西省教育厅科学研究计划项目(18JKU49)
李浩"，杨森林蔦张晓丽$
(1.西安文理学院西安市物联网应用工程实验室，陕西西安710065；
2.西安文理学院陕西省表面工程与再制造重点实验室，陕西西安710065)
摘要：为快速准确识别火车驾驶员动态手势，提出一种基于机器视觉的动态时间规整算法。采用Kinect 视觉传感器提取手势深度信息，结合人体骨骼节点信息，通过选取合适的深度距离阈值将手势图像信息从 背景中分离出来。基于支持向量机(SVM)算法对分割后的手势图像进行识别并对手势规范性进行评价。 利用图像深度数据以及驾驶员骨骼数据得到手臂骨骼节点的运动序列，结合动态时间规整(DTW)算法进 行动态手势最优匹配，得到动态手势识别和评价结果。模拟场景数据测试实验表明：在可靠性和稳定性方 面，所提岀的方法优于传统的方法。此外，该方法能够实时实现和准确得分。
关键词：信息技术；动态手势识别；动态时间规整；交通信号；图像处理
中图分类号：TP212 文献标识码：A 文章编号：1000-9787(2021)02-0034-04Dynamic gesture recognition method of train driver
based on machine vision '
LI Hao 1-2, YANG Senlin 2, ZHANG Xiaoli 2
(1 ・ Xi ' an Key Laboratory of IOT Engineering , Xi ' an University , Xi ' an 710065, China ；
2・ Shaanxi Key Laboratory of Surface Engineering and Remanufacturing ,Xi ? an University ,Xi ' an 710065,China)
Abstract : In order to quickly and accurately identify dynamic gestures of train driver , a dynamic time warping (DTW ) algorithm based on machine vision is proposed. Kinect vision s
ensor is employed to extract depth information of gesture , and gesture information is segmented from lhe background through selecting appropriate depth-distance threshold , with the combination of the information of human skeleton node. The segmented gesture image is identified by support vector machine (SVM ) algorithm , and the normalization for different gestures is also evaluated. The motion sequence of arm skeleton node is derived depth image and the driver ' s bone data , and the optimal matching of dynamic gesture is implemented with DTW algorithm ・ The recognition result and evaluation for the dynamic gesture of train driver is obtained. The method is tested with the data from simulation scenes , and the results show that the proposed method can give better result than traditional methods in the reliability and stability. In addition , the method can satisfy real-time recognition and give an accurate evaluation score ・ Keywords : informalion technology ； dynamic gesture recognition ； dynamic time warping( DTW) ； traffic signal ； image processing
0引言准确的火车驾驶员手势识别是智能交通管理系统的重 要组成部分，基于计算机视觉的手势识别属于非接触式的 手势采集方式，该类方法设备成本低，且能更好的满足人机 交互所需的自然度和舒适度，是目前研究的一个热点山O 动态手势相比于静态手势更具直观性，适应于灵活的 人机交互应用。
由于其种类多、特征复杂、变化快，因而导 致动态手势识别较为困难⑵。文献［3］提出了一种利用手 部骨架变换的识别方法，对二值化的图像进行距离变换，以
生成具有骨架抽取效果的手部区域图，连接中心点获得手 部骨架，从而对手势进行识别分类，识别正确率儿乎100% , 但方法仅适应于单一背景下的手势检测，缺少对于复杂背景 条件下的识别检测，也无法满足动态手势中手掌手指的精 确识别。文献［4］利用Kinect 传感器开发了一种非侵入式 实吋手势识别系统，通过OpenNI 和NITE 将Kinect 获取的 图像转换为具有15个节点的刚性骨架，并采用隐马尔可夫
第2期李浩，等：基于机器视觉的火车驾驶员动态手势识别方法35
模型(hidden Markov model,HMM)对手势进行识另lj，对训练集内的对象识别准确率达到85%，而非训练集内的对象识别准确率达到73%。然而，该方法仅能够实现对左手手势和人体躯干的识别，缺少对手掌骨骼的识别⑷。文献[5]利用Kinecl对手部算术(阿拉伯数字及运算符号)及石头剪刀布进行识别，通过深度阈值分割获得手部区域精确图像，并使用指地移动距离(finger Earth moving distance,FEMD)度量测量不同手型之间的差异性来进行识别分类，最高识别率达到了93.9%。但在手势识別过程中，测试者手部佩戴的黑腕带对识别结果将产生一定影响，未佩戴腕带情况下的识别准确度较低⑸。目前大多数方法都是针对普通场景下的静态通用手势识别，而对于某些特定场景下的动态专业手势识别效
果不佳，无法对这些场景手势进行有效的判断和识别。
基于以上问题，本文采用Kinect获取人体骨骼节点信息，设定距离差阈值确定近似手掌节点位置，得到手势分割图像，采用支持向量机(SVM)进行手势识别和评价，并结合骨骼节点的运动序列，采用DTW算法对火车驾驶员手臂动作进行识别检测，最终得到有效的手势信息。
1手势图像分割方法
手势图像的获取容易受到外界光照和复杂背景的影响，选择合适的手势采集设备尤为重要⑹。本文采用Kinecl 传感器将手掌姿势深度信息从复杂的背景中分割出来。Kinecl可以检测出环境中物体距离摄像头之间的距离，在手势人机交互中，手掌总是在摄像头的前方，因此通过选取合适的深度距离阈值可以将手掌姿势信息从背景中进行分离⑺。然而，距离阈值的选取非常困难，阈值选择不合适容易导致分割岀的手势包含手臂，或者当手势距离身体较近时根本无法分割出手掌信息。为了克服单纯的阈值选择带来的缺点，本文采用结合人体骨骼节点信息和深度图像信息的手势检测方法，采用Kinect获取人体骨骼节点数据，出手掌节点的位置，在手掌节点范围内搜索手势，当整个手掌上的所有像素点离摄像头较近吋，再设定一个距离差阈值就可以将手势信息从背景中分离，方法流程如图1所示。
Kinect获取
人体骨骼节点图像自动化机械手臂
图1手势图像分割方法示意
由于Kinect跟踪人体骨骼节点时容易发生节点漂移现象，此时手掌节点到Kinect的距离并不是实际手掌节点到Kinecl的距离，在进行距离差阈值进行分割吋会导致手势分割失败。为此，开发了一种近似的手掌节点位置确定方法，以手掌节点为圆心，手掌节点到手腕节点之间的距离r 为半径的圆内对所有白像素点的位置坐标求均值，以均值代表手掌节点的位置坐标因此手掌节点的位置为
(知，儿)=(+牙勺，*»尤)(!)
式中T为圆内白像素点的个数咎表示第：个白像素点的横坐标,％为第：个白像素点的纵坐标。在出手掌节点的位置后，通过判断手掌节点和周围区域像素点到Kinect之间的距离差将手势分割岀来。当到手掌节点后，需要在手掌节点周围搜寻手势像素点，为了防止因手掌节点发生漂移导致手势像素点搜寻出现偏差，在以手掌节点为中心的一个大的矩形区域内进行手势像素点搜寻，算法过程如下：
设Kinect提取的骨骼手掌节点到Kinect摄像头距离为d p，手掌节点的位置为(空，儿，心)，手腕节点的位置为(誓，y t,d r)，在以手掌节点为中心宽度为w高为H的矩形像素范围内进行手势像素点搜寻，〃=〃=/•丿(竹-*
+(儿-汀，用S0=j|表示初始手势像素点集,S表示在矩形区域内第，行第j列个像素尙到Kinect摄像头的距离，因此
S*_i U i gij i,if(abs(d”一/心)threshold'),
S k_l‘otherwise
鸟=l,2,・・・，0x〃
式中厶为搜寻的次数,threshold为手掌节点与矩形区域内手势像素点到Kinecl之间距离差的阈值,abs(d”一始)为掌心节点与手势像素区域距离之差的绝对值,S*为最终检测到的手势像素点集。
2手势动作识别方法
手势动作识别方法有很多种，比如神经网络、SVM、卷积神经网络(convolutional neural network,CNN)等，SVM对二分类处理效果明显，其训练集之外的数据能够做到预测准确、泛化错误率低和实时性能好，因此，本文采用SVM算法对分割后的手势图像进行识别并对手势规范性进行评价⑻。SVM分类结果为测试手势与标准手势之间的置信度，可以作为手掌手势规范的评价标准，如式(3)所示
(3)式中round(•)为取整数，T为动态手势序列总帧数,0：p 为SVM对第i帧的手势图像输出结果，因此手掌手势得分为整个序列手势得分的平均值。
手势动作识别流程图如图2所示导卫
。
36传感器与微系统第40卷
|手势识别结果|
图2手掌手势识别流程框图
3手臂动作识别方法
Kinect传感器获取图像深度数据以及驾驶员骨骼数据⑼。驾驶员完成一整套手势动作不仅包含手掌部分的手势，还包含手臂部分的动作，因此Kinect传感器获取的数据应包含手掌、手腕、手肘、肩、肩中心等若干个关键骨骼节点坐标数据「⑹。驾驶员在做不同手势动作时，一般来说肩中心节点相对位置基本保持不变，设肩中心节点的坐标为巴=3，儿，兀)，剩余的手臂骨骼节点坐标为Pt=(血,％，可)/=1,2,3,4，因此节点P，和肩中心节点P，之间的距离为
D si=y-X,.)2+(y,-yj2+(z,-z,.)2,
i=1,2,3,4(4)在一定时间T内，手臂骨骼节点运动序列表示为(仍,…，氏))=1,2,3,4，根据手臂骨骼节点运动序列，可以采用DTW算法进行动态手势最优匹配,DTW算法能够解决两条时间序列长度不同的问题，非常适合于进行火车驾驶员动态手势识别，设驾驶员标准动态手势样本的时间序列为X=(D：,D：,...,D?)，测试手势时间序列丫=(,…,D；)，设两条序列之间的点对关系为</>仏)=(施仏),©(%))，其中00")Wn,max(m,zi)W %Wm+n,DTW算法目的是出两条序列之间的最佳点对关系e(耐，使得对应点之间距离之和最小，表示为
K
DTW(X,Y)=miny〃((©仏)，©仏))(5)
</>
式中=\0'-1>,\，通常采用动态规划方法求解式(5)以降低算法复杂度。
根据得出的DTW距离对输入的动态手势进行识别并评价。驾驶员动态手势识别结果与标准动态手势库中DTW距离最小的样本类别一致，表示为
O=arg min(/)7TF(X,,y))(6) i
式中心为标准动态手势样本，y为输入的动态手势」为动态手势样本类别，。为最终识别的动态手势类别。
手臂动态手势得分的度量方式为dtw距离，测试手势序列与标准手势样本序列越接近,DTW距离也就越小，手臂动态手势得分表示为
巴rm=
「100,min(D7T7(Xi,y))Wa
「°und(min(07梟(X,，丫)*1°°)'min(D7^(X,.,Y)忘1
a=V£(7)
式中x，为标准动态手势序列，Y为测试手势序列,/V为标准手势序列样本数目，a为标准手势序列样本之间的DTW 距离平均值。
驾驶员手臂动作识别流程图如图3所示。
火车驾驶员
标准动态
手势样本库
DTW算法
最优匹配
_____________驾驶员动态
|手势动作得分手势规范一|动态手势识别|
评价系统
图3驾驶员手臂动作识别流程框图
4实验结果与分析
由于Kinect获取的骨骼特征点数据较粗糙，特征点少，难以精确描述相近或非标准手势之间的区别，选取4种区别较大的动态手势进行分析和建库⑴］。同时，选取了手掌、手腕、手肘、肩、肩中心等18个3D特征点来分析手势变化，未考虑其它区域特征点对手势识别的影响，所建立的样本库包含不同光照、不同高度的4个人手掌握拳食指中指伸岀、手掌握拳大拇指翘起、手掌握拳大拇指和小拇指伸出、手掌张开五指并拢4种动作，以及手臂抬起、手臂朝前、手臂手肘弯曲、手臂左右摆动4种手臂动作，如图5所示，每种动作100组数据，共25600组，手势图像录制时在Kinect前方1.0~2.5m转动范围为左右土30°,±下±90。，样本库中每张手势图像包含144个特征点的3D坐标,8个手部运动单元AUs数值以及4个手部几何特征角度。实验设备为i72.6GHz处理器、16GB RAM的图形工作站和Kinect2.0传感器，软件开发平台为VS2008、OpenCV、Kinect for Windows SDK2.0o选择90组数据作为训练集，10组作为测试样本。测试时Kinect深度传感器距离地面1.0m，传感器与人的距离在1-0-2.5m范围内。
4.1手势检测结果分析
手势检测流程如图5所示首先处理Kinect传感器采集到的深度图像，一方而在手掌区域内进行像素点搜寻，另一方面采用人体骨骼节点图像判断掌心节点位置，由于Kinect 检测骨骼节点精度较低，节点容易发生漂移，因此为了避免手掌检测的不完全，矩形搜索区域的大小阈值设置不能过小，实验中，当/
M3，即矩形搜索区域大小大于3倍的手掌节点和手腕节点之间的距离，此时手势搜索效果较为理想。手掌节点与手势像素区域距离差阈值(Lhreshold)的设置对于手势分割的结果同样重要，当threshold设置过小，手势分割会不完整；而当threshold设置过大，则容易将手腕等部分分离问。实验结果表明，当threshold e(15,25)mm时，手
第2期李浩，等：基于机器视觉的火车驾驶员动态手势识别方法37势检测效果较为理想。图4为不同threshold 值时，手势检 测与分割效果。(a) threshold=10 mm (b) threshold=20 mm (c) threshold=30 mm (d) threshold=40 mm 图4手势检测与分割效果4.2手掌动作检测结果分析手掌区域动作通常包含4种，手掌握拳食指中指伸岀 （a ）、手掌握拳大拇指翘起（b ）、手掌握拳大拇指和小拇指 伸出（c ）、手掌张开五指并拢（d ）。当火车驾驶员做手势动作时，手掌通常会发生相应的 形变和旋转，因此，在进行手势识别时，需要对检测到的手 势进行大小归一化，为了减小序列中手势旋转问题对识别 效果的影响，在离线训练SVM 分类器时，将旋转样本参与 到分类器训练中，增加分类器的鲁棒性，表1为火车驾驶员 在做抬手动作时4种手掌手势分类识别率。表1手掌手势识别效果由表1可知，采用文中所提出方法对手掌和手势进行手掌手势类别手势序列长度/帧正确检测数识别止确数目检测啓％识别
率/%得分手掌握拳食指中指伸出22721118892.989.182手掌握拳大拇指翘起186********.587.887手掌握拳大拇指和14412511386.890.475小拇指伸出手掌张开五指并拢21820717994.986.586检测，检测率较高，首先通过确定手掌掌心节点，在掌心节 点周围搜寻手势像素点，可以有效避免漏检情况，通过设定 手势周围像索与掌心像素到Kinect 之间的距离差阈值，可 以降低算法检测到手腕部分的可能性。在识别方面，利用 SVM 算法训练多个手势序列中手掌手势图像，减小因图像 的旋转而导致的错误识别，火车驾驶员4种手掌手势平均 识别率可达88 %以上。对于手势得分，手势序列识别置信 度之和的平均值为最终手势得分，从而可以有效地判断火 车驾驶员手掌手势的规范程度。4.3手臂动作检测结果分析文中选取手臂抬起、手臂向前、手臂手肘弯曲、手臂左 右摆动共4种动态手势，识别率与得分如表2所示。表2手臂动作识别效果数据表手臂动态手势类别手势序列长度/帧识别率/%得分手臂抬起16684.186手臂朝前15787.881手臂手肘弯曲19690.475
手臂左右摆动18082.570表2为本文手势识别算法对于4种火车驾驶员手臂动 作识别效果，由表中可知,4种常用的动态手势平均识别率 可达85 %以上，本文采用的DTW 算法非常适合于火车驾 驶员动态手臂动作识别。手臂动作得分的计算通过分析测
试手势序列和样本库中标准手势序列之间的0皿距离的 关系，可以有效改进算法的识别度和准确度。
表3为经典的HMM 算法和本文方法对于火车驾驶员
4种手臂动态手势识别效果对比，由表中可知，平均识别率
DTW 算法高于HMM 算法4.3%，由于驾驶员动态手势序
列长度时时刻刻都在发生变化,DTW 算法通过动态规划方
法可以解决不同长度运动序列的匹配问题。因此，相对于 HMM 算法来说,DTW 算法更适合于处理火车驾驶员动态 手臂动作识别问题。
表3 HMM 算法与DTW 算法效果对比 %手势类别HMM 算法本文DTW 算法手臂抬起82.484.1手臂向询80.987.8手臂手肘弯曲85.790.4手臂左右摆动78.782.5
平均识别率81.986.24.4 动态手势识别效果
图5中左侧显示的是手臂动态动作识别结果与得分,
右侧显示的是手掌动态手势识别结果与得分。通过多次测 试，该手势识别与评价系统不仅结果可靠，运行稳定，而且 运行速度可达25帧/s，非常适合于火车驾驶员手势识别与 规范性评价。图5动态手势识别效果
5结论
本文论述了一种能够动识别动态手势的方法，该方法 通过将人体骨骼节点信息与深度图像信息相结合的方法将 手掌位置信息提取，并将手掌图像信息从背景中分离出来， 采用SVM 算法对分割后的手势图像进行识别，最终通过手 臂骨骼节点的运动序列，利用DTW 算法进行动态手势最优
匹配。实验数据表明了该方法在处理动态手势识别中的有
效性。文中选取了 4种动态手势进行识别，同时选取了手掌、
手腕、手肘、肩、肩中心等18个3D 特征点用来分析手势变
化，未考虑其它区域特征点对手势识别的影响。在下一步
的工作中，将考虑如何出不同手势特征点之间的详细特 征描述，对更多动态进行识别。参考文献：
[1]易生，梁华刚，茹锋•基于多列深度3D 卷积神经网络的手势 识别[J].计算机工程,2017,43（8） ：243 -248.（下转第43页
）
第2期王晓明，等：改进B样条曲线的机器人轨迹拟合研究43气吸式玉米播种机
滑性，儿乎没有波动。各关节的角速度连续平滑且无突变，角加速度连续。机器人关节位移变化率较小不会产生抖动现象，所以运动过程平稳无大的冲击和振动，使关节处零部件间的磨损降低，延长了机器人的使用寿命，经过改进的三次B样条曲线规划的机器人关节轨迹均经过了中间轨迹点，有效地提高了三次B样条曲线的拟合精度，从而提高了机器人运行的精度，保证了机器人在实际应用场合的高精度性。
6结论
对机器人关节空间轨迹规划的多种方法进行了比较，重点对三次B样条曲线规划算法进行改进，并成功地将其运用到了机器人轨迹规划研究上，提高了机器人运动的精度。最后在MATLAB软件中建立了
机器人模型，并对其进行了轨迹规划仿真，仿真结果表明：改进的三次B样条曲线轨迹规划方法，在相同运动学约束条件下能够得到更好的规划结果，所改进的算法具有一定的实际工程应用价值。参考文献：
钢水密度[1ANTONIO V.Trajectory planning of robot manipulators by using algebraic and trigonometric splines[J].Robotica,2000,18(6):
611-631.
(上接第37页)
[2]于乃功，王锦.基于人体手臂关节信息的非接触式手势识别
方法[J].北京工业大学学报,2016,42(3):361-368.
[3]战荫伟，张昊.基于Kinect传感器的人体行为分析算法[J].
传感器与微系统,2015,34(1)：142-144.
[4]MAO Q R,PAN X Y,ZHAN Y Z,et al.Using Kinect for real-
time emotion recognition via facial expressions[J].Frontiers of Information Technology&Electronic Engineering,2015,16(4):
272-282・
[5]PRIYAL S P,BORA P K.A robust static hand gesture recognition
system using geometry based normalizations and Krawtchouk
moments[J].Pattern Recognition,2013,46(8)：2202—2219. [6]GHOSH D K,ARI S.A static hand gesture recognition algorithm
using K・mean based radial basis function neural network\_C~\//
Communications and Signal Processing,IEEE,2012:1—5. [7]张兆博，伍新华，刘刚.基于图优化的Kinect三维视觉里程计
(上接第40页)
[10]窦盈莹，邓勇，蒋洪伟，等.咪醴类离子液休的亲疏水性对电
润湿器件性能的影响[J]•华南师范大学学报(自然科学
版),2018,50(3)：29-35.
[11]PENG R,WANG D,HU Z,et al.Focal length hysteresis of a
double-liquid lens based on electrowettingf J].Journal of Optics,
2013,15(2):5707.
[12]王亮，段俊萍，王万军，等•介电材料在介电润湿器件中的应
用进展[J]•材料导报,2016,30(19)：70-76,88.[2]田西勇，刘晓平，庄未•基于组合正弦函数的机器人轨迹规划
方法[J]•机械工程与自动化,2008(1)：136-138.
[3]王幼民，徐蔚鸿•机器人连续轨迹控制中的B样条轨迹优
化[J]•机械设计,2000(10)：33-35.
[4]牛永康•六自由度串联机器人轨迹规划时间最优研究[D].
长春：长春工业大学,2013.
[5]邹宇星，李立君，高自成•基于改进PRM的采摘机器人机械
嵌入式软件开发臂避障路径规划[J]•传感器与微系统,2019,38(1):52-56.
[6]李振雨，王好臣，王泽政•工业机器人运动学分析和轨迹拟合
研究[J]•机床与液压,2018,46(5)：25-28.
[7]布鲁诺•西西里安诺.机器人学：建模、规划与控制[M].西
安：西安交通大学出版社,2015.高斯扩散模型
[8]沈悦.六自由度工业机器人轨迹规划及控制算法研究[D].
南京：南京理工大学,2017.
[9]郑天江，李俊杰，陈庆盈，等•基于三次B样条的移动机器人
实时轨迹规划研究[J]•制造业自动化,2017,39(5)：4-7.
作者简介：
王晓明(1954-)，男，教授，博士研究生导师，研究领域为计算机控制技术。
宋吉(1993-)，男，硕士，研究方向为机器人控制策略轨迹优化。
设计[J]•传感器与微系统,2019,38(3):106-109.
[8]GU Y,DO H, OU Y,t al.Human gesture recognition through a
Kinect sensor[C]〃IEEE International Conference on Robotics
and Biomimetics,1EEE,2012:1379—1384.
[9]REN Z,YUAN J,MENG J,et al.Robust part-based hand gesture
recogn让ion using Kinect sensor;J].IEEE Transactions on Multi
media,2013,15(5)：1110-1120.
[10]倪涛，赵泳嘉，张红彦，等.基于Kinect动态手势识别的机械
臂实时位姿控制系统[J]・农业机械学报,2017,48(10)：
417—423,407.
[11]刘淑萍，刘羽，於俊，等•结合手指检测和HOG特征的分层静
态手势识别[J]•中国图象图形学报,2015,20(6)：781-788.
[12]李彬，罗彪•机器视觉在物体位姿检测中的应用[J]・传感器
与微系统,2016,35(2)：150-153.
作者简介：
李浩(1982—)，男，博士，研究领域为交通信息感知，E-mail:lihao82@126 o
[13]LIN Y Y,EVANS R D,WELCH E,et al.Low voltage electro-
wetting-on-dielectric platform using multi-layer insulators[J].
Sensors and Actuators B:Chemical,2010,150(1)：465—470. [14]盛文洁，王续博，周嘉•两路信号控制的液滴单向运输数字微
流控芯片[J]•传感器与微系统,2019,38(8)：65-68.
作者简介：
刘丽明(1989-)，女，通讯作者，硕士，讲师，主要研究领域为表面工程，光电检测等，E-mail：liulimingcug@163・com0
闫航瑞(1989-)，女，硕士，讲师，主要研究领域为光电测试技术。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议