基于特征物体与人体关键点的异常行为识别方法、系统及介质与流程

1.本发明属于计算机视觉的技术领域，具体涉及一种基于特征物体与人体关键点的异常行为识别方法、系统及介质。

背景技术：

2.目前配电房现场工作主要依靠班组负责人或项目负责人管理，监理单位和业主单位负责安全质量监管。采用传统的人工巡视、手工纸质记录等工作监管方式，已经无法满足电力项目施工管控的要求。同时，现场工作点多、面广，所需执行的标准繁多，仅仅依靠现场人员有限的知识和经验容易造成工作人员顾此失彼，不能面面俱到。
3.基于深度学习的配电房视频识别现场作业人员行为识别研究对采集的图像对现场作业人员进行姿态估计，提取骨架信息来获取姿态特征值，并根据现场作业人运动轨迹特征值与特征向量库进行行为判断配电房内现场工作人员的异常行为识别。提升场地的安全管控能力，精确有效的把控工程施工安全和质量。

技术实现要素：

4.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于特征物体与人体关键点的异常行为识别方法、系统及介质，通过配电房内视频监控进行现场图像采集，根据采集的图像对现场作业人员进行姿态估计，提取骨架信息来获取姿态特征值，对多帧图像进行多目标跟踪，并根据现场作业人运动轨迹特征值与特征向量库进行行为判断，异常则发出报警提示。
5.为了达到上述目的，本发明采用以下技术方案：
6.本发明的一个方面，提供了一种基于特征物体与人体关键点的异常行为识别方法，包括下述步骤：
7.通过fcos的特征物体检测方法检测出物体所在位置；
8.根据获得的物体所在位置，结合人员工装穿戴检测中得到人体关键点信息进行动作预测；
9.结合facenet进行人脸识别；
10.输出告警结果。
11.作为优选的技术方案，所述通过fcos的特征物体检测出物体所在位置，具体为：
12.将待检测物体当做特征点，通过检测物体的中心点坐标以及表示物体的矩形框距离中心点上下左右四个方向的距离来得到物体的位置表示；
13.得到一系列对目标物体的提议框之后，使用非极大值抑制方法得到最终检测结果，所述提议框为通过检测物体的中心点坐标以及表示物体的矩形框距离中心点上下左右四个方向的距离矩形区域。
14.作为优选的技术方案，所述根据获得的物体所在位置，结合人员工装穿戴检测中
得到人体关键点信息进行动作预测，具体为：
15.根据获得的物体所在位置，结合人员工装穿戴检测中得到的人体关键点信息，综合考虑各个关键点之间的位置关系，判断两者之间存在的语义逻辑，进行违规行为检测。
16.作为优选的技术方案，通过前后帧的检测信息进行动作预测，具体为：
17.当初始帧开始检测到某一异常行为或者行为的一部分时，对相邻的多个关键帧进行检测，若相邻帧中不存在异常行为的检测结果，则放弃检测之后的连续关键帧图像；若检测到若多帧连续出现同一潜在违规行为，则判定识别到特定违规行为。
18.作为优选的技术方案，所述结合facenet进行人脸识别，具体为：
19.将每张人脸输入深度卷积神经网络，映射到一个d维欧氏空间计算l2距离来代表人脸相似性；
20.采用三元组损失函数判断输入人脸图片是否与样本库内人脸图片为同一个人；
21.输出结果。
22.作为优选的技术方案，所述结合facenet进行人脸识别，通过triplet mining方法进行训练，将相同人脸映射出的特征向量的欧式距离尽量的靠近，将不同人脸间特征向量的欧式距离尽量拉远，完成对人脸特征向量的提取。
23.本发明的另一个方面，提供了一种基于特征物体与人体关键点的异常行为识别系统，应用于上述的基于特征物体与人体关键点的异常行为识别方法，包括特征物体检测模块、人体关键点检测模块、人脸识别模块以及结果输出模块；
24.所述特征物体检测模块用于通过fcos的特征物体检测方法检测出物体所在位置；
25.所述人体关键点检测模块用于根据获得的物体所在位置，结合人员工装穿戴检测中得到人体关键点信息进行动作预测；
26.所述人脸识别模块用于结合facenet进行人脸识别；
27.所述结果输出模块用于输出告警结果。
28.本发明的另一个方面，提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的基于特征物体与人体关键点的异常行为识别方法。本发明与现有技术相比，具有如下优点和有益效果：
29.(1)本发明采用更加轻量级的网络模型focs算法。该算法基于少数非线性卷积形成特征图从而达到对网络参数量的优化效果，并且仍能保持平均精确度0.9左右，能很好的解决行为识别算法与嵌入式设备难以兼容的问题。
30.(2)本发明针对传统人体行为监控平台人力物力成本高、反应时效慢且在进行视频行为算法研究时，难以快速切换场景及适应性的检测等缺陷。可以准确地检测出被监控区域发生的异常行为事件，还能及时地发出相应的警报，最大可能地降低突发异常事件或事故带来的生命财产损失。实时高效的异常行为检测系统能大大提高监控系统的智能化水平。
附图说明
31.图1是本发明实施例基于特征物体与人体关键点的异常行为识别方法的流程图；
32.图2是本发明实施例fcos生成检测框原理示意图；
33.图3是本发明实施例结合关键点与特征物体检测的人员违规行为识别方法流程
图；
34.图4是本发明实施例facenet人脸识别流程图；
35.图5是本发明实施例基于特征物体与人体关键点的异常行为识别系统的结构示意图；
36.图6是本发明实施例的存储介质的结构示意图。
具体实施方式
37.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
38.实施例
39.本发明结合人体关键点与特征物体检测进行现场作业人员进行姿态估计，提取骨架信息来获取姿态特征值，对多帧图像进行多目标跟踪，并根据现场作业人员运动轨迹特征值与特征向量库进异常行为识别。针对需要完成的人员跨越安全围栏、拆除标识牌等作业人员违规行为识别，通过对目标人员和特征物体(安全围栏、标识牌等)在图片上的位置关系来进行行为预测。
40.如图1所示，本实施例的一种基于特征物体与人体关键点的异常行为识别方法，包括以下步骤：
41.s1、通过fcos的特征物体检测出物体所在位置；
42.作为优选的技术方案，步骤s1中的基于fcos的特征物体检测方法具体如下：
43.本发明拟采用fcos算法对特征物体(安全围栏、标识牌等)进行检测。fcos(fully convolutional one-stage object detection)是一种新提出的无锚点(anchor free)的单阶段(one-stage)目标检测方法，如图2所示，核心是将待检测物体当做特征点，通过检测物体的中心点坐标以及表示物体的矩形框距离中心点上下左右四个方向的距离来得到物体的位置表示，物体表示示意图如图所示。在得到一系列对目标物体的提议框之后，fcos使用非极大值抑制(non-maximum suppression)方法得到最终检测结果。其兼顾了对象检测的准确率(map，mean average precision)和实时性(fps，frames per second)的要求，成为目前最优且应用最广泛的目标检测模型之一。考虑到作业现场监控对算法运行速度以及计算量的实际需求，本项目选用fcos对特征物体进行检测。
44.s2、根据获得的物体所在位置，结合人员工装穿戴检测中得到人体关键点信息进行动作预测；
45.作为优选的技术方案，步骤s2中的基于关键点位置与特征物体检测的人员动作预测方法具体如下：
46.通过一个检测网络检测出特征物体所在位置，结合人员工装穿戴检测中得到的人体关键点信息，判断两者之间存在的语义逻辑(是否接触等)。同时，如果单纯判断图片中是否存在物体关键点与特征物体的轮廓存在重合，容易因为二维图片缺少深度信息，造成语义逻辑判断错误。此时，需要综合考虑各个关键点之间的位置关系。例如，当头的关键点与脚的关键点处于大致水平位置时，大概率判断监控人员处于跌倒状态；当手的关键点高于
头的关键点，腿和膝盖的关键点处于弯曲状态且人体关键点与检测得到的安全围栏重合，即可根据人体姿态判断大概率处于跨越安全围栏动作。
47.对于复杂的异常行为，可以考虑引入前后帧的检测信息进行实现，即当初始帧开始检测到某一异常行为或者行为的一部分时，对相邻的多个关键帧进行检测，若相邻帧中不存在异常行为的检测结果，则放弃检测之后的连续关键帧图像；若检测到若多帧连续出现同一潜在违规行为，则判定识别到特定违规行为。结合关键点与特征物体检测的人员违规行为识别方法流程图如图3所示。
48.s3、结合facenet进行人脸识别；
49.作为优选的技术方案，步骤s3中的基于facenet的工作人员人脸识别和作业现场监管技术具体如下：
50.本发明拟采用facenet对进入作业现场的人员进行人脸识别，并通过高位监控摄像头对电房内管理人员履职是否到位进行监控。facenet采取大量人脸图片进行训练，利用相同人脸在不同角度等姿态照片下有高内聚性，不同人脸有低耦合性等特点，结合卷积神经网络和triplet mining方法实现人脸识别。triplet mining在训练时将相同人脸映射出的特征向量的欧式距离尽量的靠近，将不同人脸间特征向量的欧式距离尽量拉远，从而完成对人脸特征向量的提取。
51.基于facenet的工作人员身份认证主要流程如图4所示。首先，将每张人脸输入深度卷积神经网络，映射到一个d维欧氏空间计算l2距离来代表人脸相似性。借助三元组损失函数判断输入人脸图片是否与样本库内人脸图片为同一个人，最后输出结果。
52.s4、输出告警结果。
53.如图5所示，在本技术的另一个实施例中，提供了一种基于特征物体与人体关键点的异常行为识别系统，该系统包括特征物体检测模块、人体关键点检测模块、人脸识别模块以及结果输出模块；
54.所述特征物体检测模块用于通过fcos的特征物体检测方法检测出物体所在位置；
55.所述人体关键点检测模块用于根据获得的物体所在位置，结合人员工装穿戴检测中得到人体关键点信息进行动作预测；
56.所述人脸识别模块用于结合facenet进行人脸识别；
57.所述结果输出模块用于输出告警结果。
58.在此需要说明的是，上述实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，该系统是应用于上述实施例的一种基于特征物体与人体关键点的异常行为识别方法。
59.如图6所示，在本技术的另一个实施例中，还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现一种基于特征物体与人体关键点的异常行为识别方法，具体为：
60.s1、通过fcos的特征物体检测方法检测出物体所在位置；
61.s2、根据获得的物体所在位置，结合人员工装穿戴检测中得到人体关键点信息进行动作预测；
62.s3、结合facenet进行人脸识别；
63.s4、输出告警结果。
64.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
65.上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：

1.一种基于特征物体与人体关键点的异常行为识别方法，其特征在于，包括下述步骤：通过fcos的特征物体检测方法检测出物体所在位置；根据获得的物体所在位置，结合人员工装穿戴检测中得到人体关键点信息进行动作预测；结合facenet进行人脸识别；输出告警结果。2.根据权利要求1所述的基于特征物体与人体关键点的异常行为识别方法，其特征在于，所述通过fcos的特征物体检测出物体所在位置，具体为：将待检测物体当做特征点，通过检测物体的中心点坐标以及表示物体的矩形框距离中心点上下左右四个方向的距离来得到物体的位置表示；得到一系列对目标物体的提议框之后，使用非极大值抑制方法得到最终检测结果，所述提议框为通过检测物体的中心点坐标以及表示物体的矩形框距离中心点上下左右四个方向的距离矩形区域。3.根据权利要求1所述的基于特征物体与人体关键点的异常行为识别方法，其特征在于，所述根据获得的物体所在位置，结合人员工装穿戴检测中得到人体关键点信息进行动作预测，具体为：根据获得的物体所在位置，结合人员工装穿戴检测中得到的人体关键点信息，综合考虑各个关键点之间的位置关系，判断两者之间存在的语义逻辑，进行违规行为检测。4.根据权利要求3所述的基于特征物体与人体关键点的异常行为识别方法，其特征在于，通过前后帧的检测信息进行动作预测，具体为：当初始帧开始检测到某一异常行为或者行为的一部分时，对相邻的多个关键帧进行检测，若相邻帧中不存在异常行为的检测结果，则放弃检测之后的连续关键帧图像；若检测到若多帧连续出现同一潜在违规行为，则判定识别到特定违规行为。5.根据权利要求1所述的基于特征物体与人体关键点的异常行为识别方法，其特征在于，所述结合facenet进行人脸识别，具体为：将每张人脸输入深度卷积神经网络，映射到一个d维欧氏空间计算l2距离来代表人脸相似性；采用三元组损失函数判断输入人脸图片是否与样本库内人脸图片为同一个人；输出结果。6.根据权利要求5所述的基于特征物体与人体关键点的异常行为识别方法，其特征在于，所述结合facenet进行人脸识别，通过triplet mining方法进行训练，将相同人脸映射出的特征向量的欧式距离尽量的靠近，将不同人脸间特征向量的欧式距离尽量拉远，完成对人脸特征向量的提取。7.一种基于特征物体与人体关键点的异常行为识别系统，其特征在于，应用于权利要求1-6中任一项所述的基于特征物体与人体关键点的异常行为识别方法，包括特征物体检测模块、人体关键点检测模块、人脸识别模块以及结果输出模块；所述特征物体检测模块用于通过fcos的特征物体检测方法检测出物体所在位置；所述人体关键点检测模块用于根据获得的物体所在位置，结合人员工装穿戴检测中得到人体关键点信息进行动作预测；
所述人脸识别模块用于结合facenet进行人脸识别；所述结果输出模块用于输出告警结果。8.一种存储介质，存储有程序，其特征在于：所述程序被处理器执行时，实现权利要求1-6任一项所述的基于特征物体与人体关键点的异常行为识别方法。

技术总结

本发明公开了一种基于特征物体与人体关键点的异常行为识别方法、系统及介质，该方法包括通过FCOS的特征物体检测方法检测出物体所在位置；根据获得的物体所在位置，结合人员工装穿戴检测中得到人体关键点信息进行动作预测；结合FaceNet进行人脸识别；输出告警结果。本发明针对传统人体行为监控平台人力物力成本高、反应时效慢且在进行视频行为算法研究时，难以快速切换场景及适应性的检测等缺陷。可以准确地检测出被监控区域发生的异常行为事件，还能及时地发出相应的警报，最大可能地降低突发异常事件或事故带来的生命财产损失，实时高效的异常行为检测系统能大大提高监控系统的智能化水平。系统的智能化水平。系统的智能化水平。