一种基于掌纹检测的手部握拳能力测试方法与流程

1.本发明涉及一种计算机视觉算法领域，具体涉及一种基于掌纹检测的手部握拳能力测试方法。

背景技术：

2.本发明涉及的背景技术包括：一种基于掌纹检测的手部握拳能力测试方法，有效的解决了仅依靠手部关键点这一不稳定特征判断的缺陷，提升了算法识别握拳动作的鲁棒性和稳定性，极大提升了用户体验。
3.近年来，人工智能技术越来越多的应用在驾驶人交管业务中，并给复杂的驾驶人身体条件检测过程带来了便利。《机动车驾驶证申领和使用规定(2016版)》中对上肢能力进行了规定：“双手拇指健全，每只手其他手指必须有三指健全，肢体和手指运动能力正常。”其中，“肢体和手指运动能力”主要检测项为驾驶人是否有握拳能力，即是否有能力握住方向盘。
4.在已公开的方法中，《一种驾驶人身体条件检测方法、系统及终端机》(专利号cn113408354a)介绍了一种握拳检测方法：“根据手指关节点检测是否符合握拳顺序”，即要求“拇指尖在食指和小拇指中间”，如图1所示。
5.已公开专利《一种驾驶人身体条件检测方法、系统及终端机》(专利号cn113408354a)中给出的握拳检测方法，是一种基于手指关节点的几何坐标位置关系来判断驾驶人的握拳能力。该方法首先需要采用手部关节点检测算法对手部骨骼关节点进行估计，然后基于驾驶人握拳时大拇指指尖应该落在食指和小拇指中间这样一个假设条件，来判断驾驶人是否能够握拳。该方法存在明显的缺陷：“拇指尖在食指和小拇指中间”这个前提是一种非常特殊的假设，实际情况下很多人的握拳时习惯将大拇指靠在食指一侧，如图2所示。
6.由于每个人握拳的习惯千差万别，导致依靠指尖和指头位置关系判断检测人员的握拳行为的方法存在先天不足，在实际使用过程中会面临很多误检、漏检的问题。因此，本发明提出一种基于掌纹检测的手部握拳能力检测方法。具体的，我们认为对于能够握拳的驾驶人员，其手掌的掌纹会被遮挡住，如图9所示，而对于一个张开或半张开的手掌，其掌纹是明显暴露的，如图6所示。

技术实现要素：

7.本发明所要解决的技术问题是提供了一种基于掌纹检测的手部握拳能力测试方法，有效的解决了仅依靠手部关键点这一不稳定特征判断的缺陷，提升了算法识别握拳动作的鲁棒性和稳定性，极大提升了用户体验。
8.本发明基于掌纹检测的手部握拳能力测试方法是通过以下技术方案来实现的：具体算法执行流程如下所示：
9.s1、输入图像；
10.s2、感兴趣区域获取/背景差分法；
11.s3、图像边缘检测；
12.s4、边缘像素点去除；
13.s5、最小二乘法曲线拟合；
14.s6、后处理；
15.s7、输出掌纹检测结果。
16.作为优选的技术方案，s1、输入图像：前端相机获取背景照片和手掌抓拍照片。
17.作为优选的技术方案，s2、感兴趣区域获取/背景差分法：通过背景差分技术，获取仅包含手掌的感兴趣区域图像。
18.作为优选的技术方案，s3、图像边缘检测：采用canny边缘检测算法提取手掌边缘纹理二值化图像。
19.作为优选的技术方案，s4、边缘像素点去除：对边缘图像进行边缘像素点去除，排除手掌手指边缘对掌纹检测算法的干扰。
20.作为优选的技术方案，s5、最小二乘法曲线拟合：采用最小二乘法，对去噪后的二值化图像进行曲线拟合。
21.作为优选的技术方案，s6、后处理：对拟合得到的曲线进行后处理，区分掌纹曲线和非掌纹曲线。
22.本发明的有益效果是：
23.1、算法简单易实现，避免了手部关节点检测带来的复杂计算量；
24.2、基于掌纹判断握拳动作能力，具有较高的鲁棒性和泛化性，避免了依靠手指位置关系判断带来的问题。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为专利cn113408354a中公布的握拳检测方法示意图；
27.图2为大拇指在食指一侧的示意图；
28.图3为算法流程示意图；
29.图4为手部张开的示意图；
30.图5为手部张开的canny边缘图；
31.图6为手部张开的种子点示意图；
32.图7为手部张开的去除手部边缘示意图；
33.图8为手部张开纹理曲线拟合结果的示意图；
34.图9为手部握拳的示意图；
35.图10为手部握拳canny边缘图；
36.图11为手部握拳的种子点示意图；
37.图12为手部握拳的去除手部边缘示意图；
38.图13为手部握拳纹理曲线拟合结果的示意图
具体实施方式
39.本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
40.如图1－图13所示，本发明的一种基于掌纹检测的手部握拳能力测试方法，具体算法执行流程如下所示：
41.s1、输入图像；
42.s2、感兴趣区域获取/背景差分法；
43.s3、图像边缘检测；
44.s4、边缘像素点去除；
45.s5、最小二乘法曲线拟合；
46.s6、后处理；
47.s7、输出掌纹检测结果。
48.本实施例中，s1、输入图像：前端相机获取背景照片和手掌抓拍照片；s2、感兴趣区域获取/背景差分法：通过背景差分技术，获取仅包含手掌的感兴趣区域图像；s3、图像边缘检测：采用canny边缘检测算法提取手掌边缘纹理二值化图像；s4、边缘像素点去除：对边缘图像进行边缘像素点去除，排除手掌手指边缘对掌纹检测算法的干扰；s5、最小二乘法曲线拟合：采用最小二乘法，对去噪后的二值化图像进行曲线拟合；s6、后处理：对拟合得到的曲线进行后处理，区分掌纹曲线和非掌纹曲线。
49.本实施例中，算子[1]：canny j f.a computational approach to edge detection[j].readings in computer vision,1987:184-203。
[0050]
工作过程如下：
[0051]
步骤一/步骤二：使用相机获取背景和手部照片，采用背景差分技术，获取仅包含手部的感兴趣区域。以左手为例，采用背景差分技术获取到的手部区域图片，如图4所示；
[0052]
步骤三：
[0053]
1、图像边缘检测算法容易受到噪声的干扰，且灰度渐变的边缘也是检测的难点；canny边缘检测算子[1]能够很好的处理弱边缘检测问题，且对噪声不敏感。因此，本发明采用canny作为边缘检测的算法；
[0054]
2、canny边缘检测算法效果如图5所示；
[0055]
步骤四：为了防止非掌纹区域对掌纹检测算法的干扰，需要对非掌纹区域进行初步定位并将其对应的边缘区域置零。如图6所示，在rgb图像中，随机释放若干种子点(此处以两个种子点为例)：种子点1的rgb值均为255，因此可以判定该点落在白背景区域。种子点2的rgb值小于255，因此可以判定该点落在深手部区域。则以种子点1为中心，以圆形区域向周边像素搜索，直到到rgb像素值不全为255的像素点为止，则该像素点被标记为手部边缘点。对所有标记为背景的白种子点进行如上操作，直到标记完所有手部边缘点。最后，将在rgb图像上定位到的手部边缘点对应到如图5的二值化图像上，并将对应的像素点置零。去除手部边缘像素点的效果如图7所示；
[0056]
步骤五：采用曲线拟合算法，对如图7的手部区域图像进行拟合，结果如图8所示；
[0057]
步骤六：对拟合得到的曲线进行后处理，区分属于掌纹的曲线的非掌纹的曲线。判断方法参考霍夫变换做直线拟合时用到的投票方法，即对曲线经过的点进行计数，如果像素点数量大于等于手掌图像宽度的1/4，且取曲线两个端点计算的斜率在
±
60
°
范围以内，则认为该条曲线为手部掌纹曲线。反之，为非掌纹曲线。根据以上判据，如图8中的曲线
①
和曲线
②
，被判定为手部掌纹曲线；
[0058]
步骤七：输出掌纹检测结果，如图8中的曲线
①
和曲线
②
，被判定为手部掌纹。即本手部图像可以检测到掌纹，则认为该手部未能实现握拳的动作以上描述的是对于手部未握拳动作检测进行描述。对于握拳的手掌，如图9-13所示，预处理步骤同上，经过第6步检测出的纹理曲线进行判断掌纹和非掌纹，同样采用曲线长度和斜率方式进行判断。从长度上来看，只有曲线
①
、
②
、
③
、
④
、
⑤
满足长度条件，但是以上曲线均不满足斜率条件，均不能判断为掌纹曲线。因此，在第7步，判断该手部动作为握拳状态。
[0059]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

技术特征：

1.一种基于掌纹检测的手部握拳能力测试方法，其特征在于：具体算法执行流程如下所示：s1、输入图像；s2、感兴趣区域获取/背景差分法；s3、图像边缘检测；s4、边缘像素点去除；s5、最小二乘法曲线拟合；s6、后处理；s7、输出掌纹检测结果。2.根据权利要求1所述的基于掌纹检测的手部握拳能力测试方法，其特征在于：所述s1、输入图像：前端相机获取背景照片和手掌抓拍照片。3.根据权利要求1所述的基于掌纹检测的手部握拳能力测试方法，其特征在于：所述s2、感兴趣区域获取/背景差分法：通过背景差分技术，获取仅包含手掌的感兴趣区域图像。4.根据权利要求1所述的基于掌纹检测的手部握拳能力测试方法，其特征在于：所述s3、图像边缘检测：采用canny边缘检测算法提取手掌边缘纹理二值化图像。5.根据权利要求1所述的基于掌纹检测的手部握拳能力测试方法，其特征在于：所述s4、边缘像素点去除：对边缘图像进行边缘像素点去除，排除手掌手指边缘对掌纹检测算法的干扰。6.根据权利要求1所述的基于掌纹检测的手部握拳能力测试方法，其特征在于：所述s5、最小二乘法曲线拟合：采用最小二乘法，对去噪后的二值化图像进行曲线拟合。7.根据权利要求1所述的基于掌纹检测的手部握拳能力测试方法，其特征在于：所述s6、后处理：对拟合得到的曲线进行后处理，区分掌纹曲线和非掌纹曲线。

技术总结

本发明公开了一种基于掌纹检测的手部握拳能力测试方法，具体算法执行流程如下所示：S1、输入图像；S2、感兴趣区域获取/背景差分法；S3、图像边缘检测；S4、边缘像素点去除；S5、最小二乘法曲线拟合；S6、后处理；S7、输出掌纹检测结果；本发明算法简单易实现，避免了手部关节点检测带来的复杂计算量，同时基于掌纹判断握拳动作能力，具有较高的鲁棒性和泛化性，避免了依靠手指位置关系判断带来的问题。了依靠手指位置关系判断带来的问题。了依靠手指位置关系判断带来的问题。