一种基于目标跟踪的行为识别方法、设备及存储介质与流程

1.本发明涉及行为识别领域，具体涉及一种基于目标跟踪的行为识别方法、设备及存储介质。

背景技术：

2.近年来许多活动场所都布置了高清摄像头监控异常事件的发生，但是仍然需要保安人员费时费力地对监控内容进行观察分析。随着人工智能技术的成熟，人们开始利用人工智能来实现安防智能监控。其中，安防智能监控需要运用到计算机视觉领域上的几个热点研究技术:目标检测技术，目标跟踪技术，行为识别技术。
3.目前主流的行为识别方法的流程为视频摄像头采集视频流数据，通过交换机和路由器传输到工控主机。工控机对视频流进行解码，抽取出视频流的所有图像帧，接着使用行为识别算法对单个图像帧进行识别，无法利用连续帧与帧之间的关联信息，识别准确度低且识别速度慢。

技术实现要素：

4.本发明的目的是提供一种基于目标跟踪的行为识别方法、设备及存储介质，可以利用连续帧与帧之间的关联信息，提高识别速度和识别准确度。
5.为实现上述目的，本发明提供了如下的技术方案：
6.第一方面，本发明提供了一种基于目标跟踪的行为识别方法，其特征在于，包括如下步骤：
7.s1.采集连续图像，并将采集的连续图像解码为图像帧数据{f1,f2,f3....,fn}；
8.s2.设置行为识别算法的最大帧长度为x，输入步骤s1中的图像帧数据{f1,f2,f3....,fn}；
9.s3.基于步骤s2，将图像帧数据f1输入目标跟踪算法，得到图像帧数据f1的推理结果r1；
10.s4.基于步骤s3，将图像帧数据f2和图像帧数据f1的推理结果r1输入目标跟踪算法，得到图像帧数据f2的推理结果r2；
11.s5.重复步骤s4,依次输入单个图像帧数据和上一个图像帧数据的推理结果至目标跟踪算法，得出此图像帧数据的推理结果，最终可得图像跟踪结果r＝{r1,r2,r3.....rn}；
12.s6.基于步骤s5，当r的长度大于x时，取r的前x个结果{r1,r2,r3.....rx}输入至行为识别算法中，获取行为识别结果p，记录并保存结果p；
13.s7.剔除r中最前面的推理结果r1，重复步骤s6。
14.优选的，在步骤s1中，获取图像帧数据后，对图像帧进行图像模糊度评价。
15.进一步的，图像模糊度评价方法为：
16.灰度化及拉普拉斯算子滤波：将rgb彩图像转为灰度图像，并利用拉普拉斯算子
进行滤波，实现图像的预处理；
17.方差计算：图像模糊程度越严重图像方差越低，清晰图像方差较高，当方差小于阈值200时，即判断图像为模糊图像。
18.进一步的，当判断图像为模糊图像时，需结合上帧图像防止误判，这样可以提高处理效率，也可以提高输出图像的真实性，具体方法为：
19.当一帧图像是模糊的，则当前帧图像和上一帧图像的方差比值大于阈值5时，即判断图像为非模糊图像；
20.当上一图像是非模糊的，则当前帧图像和上一帧图像的方差比值大于阈值0.3时，即判断图像为非模糊图像；
21.其他情况均为模糊图像。
22.进一步的，对模糊图像帧进行特定图像去模糊工作，图像去模糊采用基于g络的图像去模糊深度学习网络进行去模糊工作，训练网络的数据集包含kohler标准数据集、gopro数据集以及红外模糊-清晰图像对数据集中的一种或多种。
23.优选的，在步骤s2中，将f1的先验知识默认为r0,r0为空。
24.优选的，步骤s1中采集的图像为红外或非红外视屏资源。
25.第二方面，本发明提供一种基于目标跟踪的行为识别设备，其特征在于：包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现上述的步骤。
26.第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的步骤。
27.本发明的有益效果是：
28.1)原先单帧的行为识别，需要对每一帧的图像进行从头识别，而大部分场景下，连续两帧之间的差异均较小，在本技术中，前一帧图像的识别结果可作为后一帧图像识别的先验知识，从而大大减小后一帧的图像处理时间，进而提高整个视屏行为识别的速度。
29.2)在本技术中，可以利用连续图像帧之间的时间关联信息，确认不同帧图像的人员是否为同一人，一个复杂动作可能会持续十几帧以上，通过连续帧的画面信息来进行人员的行为判断可以大大提高准确率。
30.3)本技术通过对图像帧的模糊度评价以及对模糊图像进行去模糊，可改善可视化效果。
附图说明
31.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
32.图1是本发明的步骤图；
33.图2是本发明的流程图。
具体实施方式
34.实施例1
35.如图1和图2所示，本发明提供了一种基于目标跟踪的行为识别方法，包括如下步
骤：
36.s1.采集连续图像，图像为红外或非红外视屏资源，并将采集的连续图像解码为图像帧数据{f1,f2,f3....,fn}。
37.获取图像帧数据后，对图像帧进行图像模糊度评价。
38.图像模糊度评价方法为：
39.灰度化及拉普拉斯算子滤波：将rgb彩图像转为灰度图像，并利用拉普拉斯算子进行滤波，实现图像的预处理；
40.方差计算：图像模糊程度越严重图像方差越低，清晰图像方差较高，当方差小于阈值200时，即判断图像为模糊图像。
41.当判断图像为模糊图像时，需结合上帧图像防止误判，这样可以提高处理效率，也可以提高输出图像的真实性，具体方法为：
42.当一帧图像是模糊的，则当前帧图像和上一帧图像的方差比值大于阈值5时，即判断图像为非模糊图像；
43.当上一图像是非模糊的，则当前帧图像和上一帧图像的方差比值大于阈值0.3时，即判断图像为非模糊图像；
44.其他情况均为模糊图像。
45.对模糊图像帧进行特定图像去模糊工作，图像去模糊采用基于g络的图像去模糊深度学习网络进行去模糊工作，训练网络的数据集包含kohler标准数据集、gopro数据集以及红外模糊-清晰图像对数据集中的一种或多种。
46.s2.设置行为识别算法的最大帧长度为x，输入步骤s1中的图像帧数据{f1,f2,f3....,fn}，将f1的先验知识默认为r0,r0为空。
47.s3.基于步骤s2，将图像帧数据f1及r0输入目标跟踪算法，得到图像帧数据f1的推理结果r1。
48.s4.基于步骤s3，将图像帧数据f2和图像帧数据f1的推理结果r1输入目标跟踪算法，得到图像帧数据f2的推理结果r2，将前一帧图像的识别结果可作为后一帧图像识别的先验知识，从而大大减小后一帧的图像处理时间，进而提高整个视屏行为识别的速度。
49.s5.重复步骤s4,依次输入单个图像帧数据和上一个图像帧数据的推理结果至目标跟踪算法，得出此图像帧数据的推理结果，最终可得图像跟踪结果r＝{r1,r2,r3.....rn}。
50.s6.基于步骤s5，当r的长度大于x时，取r的前x个结果{r1,r2,r3.....rx}输入至行为识别算法中，获取行为识别结果p，记录并保存结果p，通过连续帧的画面信息来进行人员的行为判断可以大大提高准确率。
51.s7.剔除r中最前面的推理结果r1，重复步骤s6。
52.实施例2
53.本发明提供一种基于目标跟踪的行为识别设备，其特征在于：包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如实施例1中任一项所述的步骤。
54.实施例3
55.本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器
执行时实现如实施例1中任一项所述的步骤。
56.本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
57.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种基于目标跟踪的行为识别方法，其特征在于，包括如下步骤：s1.采集连续图像，并将采集的连续图像解码为图像帧数据{f1,f2,f3....,fn}；s2.设置行为识别算法的最大帧长度为x，输入步骤s1中的图像帧数据{f1,f2,f3....,fn}；s3.基于步骤s2，将图像帧数据f1输入目标跟踪算法，得到图像帧数据f1的推理结果r1；s4.基于步骤s3，将图像帧数据f2和图像帧数据f1的推理结果r1输入目标跟踪算法，得到图像帧数据f2的推理结果r2；s5.重复步骤s4,依次输入单个图像帧数据和上一个图像帧数据的推理结果至目标跟踪算法，得出此图像帧数据的推理结果，最终可得图像跟踪结果r＝{r1,r2,r3.....rn}；s6.基于步骤s5，当r的长度大于x时，取r的前x个结果{r1,r2,r3.....rx}输入至行为识别算法中，获取行为识别结果p，记录并保存结果p；s7.剔除r中最前面的推理结果r1，重复步骤s6。2.根据权利要求1所述的一种基于目标跟踪的行为识别方法，其特征在于：在步骤s1中，获取图像帧数据后，对图像帧进行图像模糊度判定。3.根据权利要求2所述的一种基于目标跟踪的行为识别方法，其特征在于：图像模糊度判定方法为：灰度化及拉普拉斯算子滤波：将rgb彩图像转为灰度图像，并利用拉普拉斯算子进行滤波，实现图像的预处理；方差计算：图像模糊程度越严重图像方差越低，清晰图像方差较高，当方差小于阈值200时，即判断图像为模糊图像。4.根据权利要求3所述的一种基于目标跟踪的行为识别方法，其特征在于：当判断图像为模糊图像时，需结合上帧图像防止误判，具体方法为：当一帧图像是模糊的，则当前帧图像和上一帧图像的方差比值大于阈值5时，即判断图像为非模糊图像；当上一图像是非模糊的，则当前帧图像和上一帧图像的方差比值大于阈值0.3时，即判断图像为非模糊图像；其他情况均为模糊图像。5.根据权利要求2所述的一种基于目标跟踪的行为识别方法，其特征在于：对模糊图像帧进行特定图像去模糊工作，图像去模糊采用基于g络的图像去模糊深度学习网络进行去模糊工作，训练网络的数据集包含kohler标准数据集、gopro数据集以及红外模糊-清晰图像对数据集中的一种或多种。6.根据权利要求1所述的一种基于目标跟踪的行为识别方法，其特征在于：在步骤s2中，将f1的先验知识默认为r0,r0为空。7.根据权利要求1所述的一种基于目标跟踪的行为识别方法，其特征在于：步骤s1中采集的图像为红外或非红外视屏资源。8.一种基于目标跟踪的行为识别设备，其特征在于：包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如权利要求1-6中任一项所述的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-6任一项所述的步骤。

技术总结

本发明涉及行为识别领域，具体涉及一种基于目标跟踪的行为识别方法、设备及存储介质，包括如下步骤，采集连续图像，并将采集的连续图像解码为图像帧数据；设置行为识别算法的最大帧长度为X，输入图像帧数据；依次输入单个图像帧数据和上一个图像帧数据的推理结果至目标跟踪算法，得出此图像帧数据的推理结果，最终可得图像跟踪结果R；当R的长度大于X时，取R的前X个结果输入至行为识别算法中，获取行为识别结果P，记录并保存结果P；剔除R中最前面的一个推理结果，重复步骤，本发明可以利用连续帧与帧之间的关联信息，提高识别速度和识别准确度。确度。确度。