一种挖掘机动作识别方法、系统、设备和存储介质与流程

1.本发明涉及挖掘机动作识别技术领域，尤其涉及一种挖掘机动作识别方法、系统、设备和存储介质。

背景技术：

2.埋地线缆由于深埋底下，不仅可以美观城市市容市貌，还能减少大风、城市活动对线路电网的安全运行的威胁。但是，埋地线路也存在不足，线缆一般埋在地下，不易察觉。随着时间推移，有些地面线缆标志被损坏，造成后续线缆无法定位，给附近的工程施工、改造带来了巨大困难，经常会出现不经意间线缆被挖掘机挖断，给周围居民和企事业单位生产生活带来麻烦。
3.为此，现有的技术通常是通过人工监督挖掘机的挖掘操作，待挖掘机靠近埋地电缆标志时，阻止挖掘机进一步操作，但挖掘机施工频繁，无法实时配备人工监督挖掘机工作，导致存在挖掘机挖断电缆的风险。

技术实现要素：

4.本发明提供了一种挖掘机动作识别方法、系统、设备和存储介质，解决了现有的技术通常是通过人工监督挖掘机的挖掘操作，待挖掘机靠近埋地电缆标志时，阻止挖掘机进一步操作，但挖掘机施工频繁，无法实时配备人工监督挖掘机工作，导致存在挖掘机挖断电缆的风险的技术问题。
5.本发明第一方面提供的一种挖掘机动作识别方法，包括：
6.获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像；
7.按照预设倍率调节所述环境图像，生成中间图像并输入目标检测网络；
8.通过所述目标检测网络提取所述中间图像的挖掘机特征，生成对应的热力预测图；
9.根据所述热力预测图求解所述挖掘机对应的关节点位置，并构建各个关节点之间的向量图，生成所述挖掘机的运动特征；
10.计算多个预设的标准动作聚类中心与所述运动特征之间的角度距离；
11.将所述角度距离的最小值对应的标准动作聚类中心对应的标准动作确定为所述挖掘机的运动动作。
12.可选地，所述目标检测网络包括第一卷积层、第二卷积层、第三卷积层和高斯热图层；所述通过所述目标检测网络提取所述中间图像的挖掘机特征，生成对应的热力预测图的步骤，包括：
13.通过所述第一卷积层对所述中间图像进行卷积，生成对应的目标第一卷积特征图并输入所述第二卷积层；
14.通过所述第二卷积层对所述目标第一卷积特征图进行卷积，生成对应的目标第二卷积特征图并输入所述第三卷积层；
15.通过所述第三卷积层对所述目标第二卷积特征图进行卷积，生成对应的目标第三卷积特征图并输入所述高斯热图层；
16.通过所述高斯热图层对所述目标第三卷积特征图进行热图预测，生成对应的热力预测图。
17.可选地，所述通过所述第一卷积层对所述中间图像进行卷积，生成对应的目标第一卷积特征图并输入所述第二卷积层的步骤，包括：
18.通过所述第一卷积层对所述中间图像进行卷积，生成多个不同分辨率的初始第一卷积特征图；
19.按照最高分辨率对应的初始第一卷积特征图对剩余的所述初始第一卷积特征图进行卷积，生成多个更新第一卷积特征图；
20.采用所述最高分辨率对应的初始第一卷积特征图和多个所述更新第一卷积特征图进行融合，生成对应的目标第一卷积特征图并输入所述第二卷积层。
21.可选地，所述通过所述第二卷积层对所述目标第一卷积特征图进行卷积，生成对应的目标第二卷积特征图并输入所述第三卷积层的步骤，包括：
22.通过所述第二卷积层对所述目标第一卷积特征图进行卷积，生成多个不同分辨率的初始第二卷积特征图；
23.按照中间分辨率对应的初始第二卷积特征图对剩余的所述初始第二卷积特征图进行卷积，生成多个更新第二卷积特征图；
24.采用所述中间分辨率对应的初始第二卷积特征图和多个所述更新第二卷积特征图进行融合，生成对应的目标第二卷积特征图并输入所述第三卷积层。
25.可选地，所述通过所述第三卷积层对所述目标第二卷积特征图进行卷积，生成对应的目标第三卷积特征图并输入所述高斯热图层的步骤，包括：
26.通过所述第三卷积层对所述目标第二卷积特征图进行卷积，生成多个不同分辨率的初始第三卷积特征图；
27.按照最低分辨率对应的初始第三卷积特征图对中间分辨率对应的初始第三卷积特征图进行卷积，生成多个更新第三卷积特征图；
28.按照所述最低分辨率对应的初始第三卷积特征图对最高分辨率对应的初始第三卷积特征图进行预设次数的卷积，生成多个更新第四卷积特征图；
29.采用所述最低分辨率对应的初始第三卷积特征图、多个所述更新第三卷积特征图和多个所述更新第四卷积特征图进行融合，生成对应的目标第三卷积特征图并输入所述高斯热图层。
30.可选地，所述根据所述热力预测图求解所述挖掘机对应的关节点位置，并构建各个关节点之间的向量图，生成所述挖掘机的运动特征的步骤，包括：
31.采用编解码技术求解所述热力预测图的最大激活位置，确定所述挖掘机对应的关节点位置；
32.构建各个关节点之间的向量图，将所述向量图中的关节点旋转角确定为所述挖掘机的运动特征。
33.可选地，所述计算多个预设的标准动作聚类中心与所述运动特征之间的角度距离的步骤，包括：
34.计算预设的标准动作聚类中心对应的标准动作旋转角与所述运动特征对应的关节点旋转角之间的欧氏距离；
35.计算全部所述欧氏距离的欧氏距离和值；
36.计算所述欧氏距离和值和预设偏移量的和值，生成角度距离。
37.本发明第二方面提供的一种挖掘机动作识别系统，包括：
38.环境图像模块，用于获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像；
39.目标检测网络模块，用于按照预设倍率调节所述环境图像，生成中间图像并输入目标检测网络；
40.热力预测图模块，用于通过所述目标检测网络提取所述中间图像的挖掘机特征，生成对应的热力预测图；
41.运动特征模块，用于根据所述热力预测图求解所述挖掘机对应的关节点位置，并构建各个关节点之间的向量图，生成所述挖掘机的运动特征；
42.角度距离模块，用于计算多个预设的标准动作聚类中心与所述运动特征之间的角度距离；
43.运动动作模块，用于将所述角度距离的最小值对应的标准动作聚类中心对应的标准动作确定为所述挖掘机的运动动作。
44.本发明第三方面提供的一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一项所述的挖掘机动作识别方法的步骤。
45.本发明第四方面提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述任一项所述的挖掘机动作识别方法。
46.从以上技术方案可以看出，本发明具有以下优点：
47.本发明通过获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像；按照预设倍率调节环境图像，生成中间图像并输入目标检测网络；通过目标检测网络提取中间图像的挖掘机特征，生成对应的热力预测图；根据热力预测图求解挖掘机对应的关节点位置，并构建各个关节点之间的向量图，生成挖掘机的运动特征；计算多个预设的标准动作聚类中心与运动特征之间的角度距离；将角度距离的最小值对应的标准动作聚类中心对应的标准动作确定为挖掘机的运动动作。解决了现有的技术通常是通过人工监督挖掘机的挖掘操作，待挖掘机靠近埋地电缆标志时，阻止挖掘机进一步操作，但挖掘机施工频繁，无法实时配备人工监督挖掘机工作，导致存在挖掘机挖断电缆的风险的技术问题。本发明通过利用线缆附近的监控视频，对挖掘机等重型机械的破坏动作进行识别，智能分析其中潜在的针对线缆的危险动作，并及时给予预警。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
49.图1为本发明实施例一提供的一种挖掘机动作识别方法的步骤流程图；
50.图2为本发明实施例二提供的一种挖掘机动作识别方法的步骤流程图；
51.图3为本发明实施例二提供的轻量化hrnet网络结构示意图；
52.图4为本发明实施例二提供的轻量化hrnet网络中的多分辨率操作方式结构示意图；
53.图5为本发明实施例二提供的轻量化hrnet网络的通道卷积结构示意图；
54.图6为本发明实施例二提供的轻量化hrnet网络的点卷积结构示意图；
55.图7为本发明实施例三提供的一种挖掘机动作识别系统的结构框图。
具体实施方式
56.本发明实施例提供了一种挖掘机动作识别方法、系统、设备和存储介质，用于解决现有的技术通常是通过人工监督挖掘机的挖掘操作，待挖掘机靠近埋地电缆标志时，阻止挖掘机进一步操作，但挖掘机施工频繁，无法实时配备人工监督挖掘机工作，导致存在挖掘机挖断电缆的风险的技术问题。
57.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
58.请参阅图1，图1为本发明实施例一提供的一种挖掘机动作识别方法的步骤流程图。
59.本发明提供的一种挖掘机动作识别方法，包括以下步骤：
60.步骤101、获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像。
61.需要说明的是，待监测区域指的是监控摄像头拍摄的埋地线缆所处的环境区域；环境图像指的是监控视频拍摄到的挖掘机周边环境的图像。
62.在具体实施例中，实时获取待监测区域的监控视频，为了提取挖掘机的运动特征，按照监控视频的帧数顺序提取每一帧监控视频里关于挖掘机所处的环境图像。
63.步骤102、按照预设倍率调节环境图像，生成中间图像并输入目标检测网络。
64.需要说明的是，预设倍率视实际情况而定，在此不作限定。中间图像指的是将环境图像进行下采样之后生成的图像，下采样，通俗地理解为缩小图像，减少矩阵的采样点数。
65.在具体实施例中，由于挖掘机动作识别要求较高的实时识别性能，且挖掘机目标大，关节部位像素多，可以进行适当的下采样的同时，仍可以较好地定位挖掘机的主要关节位置，进行动作识别。实际中，根据计算设备的性能限制，将环境图像下采样一定的倍率，得到的中间图像输入目标检测网络，达到降低后续目标检测网络的规模。
66.步骤103、通过目标检测网络提取中间图像的挖掘机特征，生成对应的热力预测图。
67.需要说明的是，目标检测网络指的是人体姿态估计hrnet模型，但是本发明对原人体姿态估计hrnet模型结构进行了一系列的轻量化处理，同时运用dark的数据编解码技术，使提出的轻量化的hrnet模型能够在基本维持检测精度不变的情况下，大幅度地减少了模
型的参数和规模，适用于线缆附近的挖掘机视频监控中的实时动作识别。
68.具体地，在确保精度的基础上最大限度地对hrnet模型进行一系列的简化工作，一是使用了深度可分离卷积的思想，运用了3x3的卷积和1x1的卷积的组合运算进行替换原有的3x3卷积核。二是减少了原有模型中的并行子网数，以达到进一步减少模型参数量和规模的目的。
69.在本发明实施例中，使用轻量化处理的hrnet模型对中间图像进行三个阶段卷积，并将每阶段卷积之后得到的特征图进行融合，最后利用高斯模糊形成热力图的形式，生成对应的热力预测图。
70.步骤104、根据热力预测图求解挖掘机对应的关节点位置，并构建各个关节点之间的向量图，生成挖掘机的运动特征。
71.在具体实施例中，利用热力图定位的方式检测关节点，对每一个关节点都生成一张热力图，对关节点位置的概率值当做热力预测图的响应值，利用响应值的大小对最有可能出现关节点的坐标进行表示，构建各个关节点之间的向量图，将一系列关节点旋转角作为运动特征。
72.步骤105、计算多个预设的标准动作聚类中心与运动特征之间的角度距离。
73.需要说明的是，标准动作聚类中心使用的是一系列标准动作帧事先提取出的运动特征。标准动作聚类中心有很多个，按照每个标准动作设置一个标准动作聚类中心。
74.在具体实施例中，标准动作聚类中心与运动特征之间的距离是一系列对应的关节点旋转角之间欧氏距离的总和，加上一个偏移量360度，就是每个关节点处的动作与所有特定标准运动的角度距离。
75.步骤106、将角度距离的最小值对应的标准动作聚类中心对应的标准动作确定为挖掘机的运动动作。
76.需要说明的是，计算得到多个角度距离，将所有角度距离进行比较，选取出角度距离的最小值的视频帧作为当前帧所处的环境图像的特定运动帧。
77.在具体实施例中，比较多个角度距离，将角度距离的最小值对应的标准动作聚类中心对应的标准动作作为挖掘机的运动动作。也就是角度距离的最小值对应的标准动作聚类中心对应的标准动作识别出挖掘机的运动动作。
78.本发明通过获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像；按照预设倍率调节环境图像，生成中间图像并输入目标检测网络；通过目标检测网络提取中间图像的挖掘机特征，生成对应的热力预测图；根据热力预测图求解挖掘机对应的关节点位置，并构建各个关节点之间的向量图，生成挖掘机的运动特征；计算多个预设的标准动作聚类中心与运动特征之间的角度距离；将角度距离的最小值对应的标准动作聚类中心对应的标准动作确定为挖掘机的运动动作。解决了现有的技术通常是通过人工监督挖掘机的挖掘操作，待挖掘机靠近埋地电缆标志时，阻止挖掘机进一步操作，但挖掘机施工频繁，无法实时配备人工监督挖掘机工作，导致存在挖掘机挖断电缆的风险的技术问题。本发明通过利用线缆附近的监控视频，对挖掘机等重型机械的破坏动作进行识别，智能分析其中潜在的针对线缆的危险动作，并及时给予预警。
79.请参阅图2-图6，图2为本发明实施例二提供的一种挖掘机动作识别方法的步骤流程图。
80.本发明提供的一种挖掘机动作识别方法，包括以下步骤：
81.步骤201、获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像。
82.在本发明实施例中，步骤201的具体实施过程与步骤101类似，在此不再赘述。
83.步骤202、按照预设倍率调节环境图像，生成中间图像并输入目标检测网络。
84.在本发明实施例中，如图3所示，轻量化hrnet模型的网络结构主要由三个阶段构成，分别为第一阶段、第二阶段和第三阶段，由并行连接的子网所构成，其中的每一个子网由上而下每一级的分辨率都是上一级的一半大小，同时通道数增加了2倍。
85.第一阶段是由分辨率最高的一条子网组成，第二阶段由两条并行的子网组成，第三阶段则是由三条子网组成，上述三个阶段相互的连接融合使得网络的整体呈现出三条子网并行的结构。
86.轻量化的hrnet网络中用到了卷积模块，其中包含一序列的卷积和残差连接，构成了轻量化hrnet中的相同分辨率的特征加工过程。为了减少常规卷积的参数数量，提高网络的实时性，卷积过程使用的是深度可分离卷积来实现。
87.不同于常规的hrnet，深度可分离卷积把一个常规的卷积运算解剖变为两个卷积的方法。对于通道卷积来说，它的一个卷积核只会对一个通道进行计算，一个通道也只会被一个卷积核进行卷积操作，这种运算过程与上面提到的常规卷积是有很大不同的，常规卷积中的卷积核是需要一起处理输入图片中的每个通道。若输入的是同样的5
×
5像素的三通道彩图片，不同于常规卷积，只需要3个filter，对应3个通道即可，输出也是3个特征图，这时，通道卷积的参数量可计算为3
×3×
3＝27，如图5所示。
88.通道卷积完成后，其特征图的数量是与输入层的通道数相同的，并不能对特征图进行扩展，同时该运算对输入层的每个通道都会独立地进行卷积操作，并没有完全使用处于同一位置却不同通道上所包含的相关信息。此时就需要图6所示的点卷积发挥作用，对这些特征图进行加权组合并生成全新的特征图。
89.步骤203、通过目标检测网络提取中间图像的挖掘机特征，生成对应的热力预测图。
90.可选地，目标检测网络包括第一卷积层、第二卷积层、第三卷积层和高斯热图层；步骤203包括以下步骤s11-s14：
91.s11、通过第一卷积层对中间图像进行卷积，生成对应的目标第一卷积特征图并输入第二卷积层；
92.s12、通过第二卷积层对目标第一卷积特征图进行卷积，生成对应的目标第二卷积特征图并输入第三卷积层；
93.s13、通过第三卷积层对目标第二卷积特征图进行卷积，生成对应的目标第三卷积特征图并输入高斯热图层；
94.s14、通过高斯热图层对目标第三卷积特征图进行热图预测，生成对应的热力预测图。
95.在具体实施例中，第一卷积层是对中间图像对应的特征图进行上采样，上采样指的是在卷积神经网络中，由于输入图像通过卷积神经网络(cnn)提取特征后，输出的尺寸往往会变小，而有时我们需要将图像恢复到原来的尺寸以便进行进一步的计算(如图像的语义分割)，这个使图像由小分辨率映射到大分辨率的操作，叫做上采样；第二卷积层是按照
目标第一卷积特征图的各个分辨率大小进行采样，以中间分辨率为基准，对高分辨率的第一卷积特征图就进行下采样，对低分辨率的第一卷积特征图就进行上采样。第三卷积层则是以最低分辨率为基准，对中间分辨率和高分辨率的第二卷积特征图进行下采样。通过高斯热图将目标第三卷积特征图进行热图预测，生成对应的热力预测图，高斯热图预测的精度通常高于回归的方法。
96.可选地，步骤s11包括以下步骤s111-s113：
97.s111、通过第一卷积层对中间图像进行卷积，生成多个不同分辨率的初始第一卷积特征图；
98.s112、按照最高分辨率对应的初始第一卷积特征图对剩余的初始第一卷积特征图进行卷积，生成多个更新第一卷积特征图；
99.s113、采用最高分辨率对应的初始第一卷积特征图和多个更新第一卷积特征图进行融合，生成对应的目标第一卷积特征图并输入第二卷积层。
100.需要说明的是，轻量化hrnet模型的第一阶段是第一卷积层，对应的是图4所示中的最左边的多分辨率操作方式。多个不同分辨率在本发明实施例中设定为三个不同分辨率。
101.在本发明实施例中，通过第一卷积层对中间图像进行卷积，生成多个不同分辨率的初始第一卷积特征图，比较三个不同的分辨率，按照最高分辨率的初始第一卷积特征图为基准，将剩余的两个初始第一卷积特征图进行不同程度的上采样，直至这两个初始第一卷积特征图的分辨率与最高分辨率的初始第一卷积特征图同样大小，生成两个更新第一卷积特征图，将最高分辨率的初始第一卷积特征图和两个更新第一卷积特征图进行融合，生成目标第一卷积特征图并输入第二卷积层。
102.可选地，步骤s12包括以下步骤s121-s123：
103.s121、通过第二卷积层对目标第一卷积特征图进行卷积，生成多个不同分辨率的初始第二卷积特征图；
104.s122、按照中间分辨率对应的初始第二卷积特征图对剩余的初始第二卷积特征图进行卷积，生成多个更新第二卷积特征图；
105.s123、采用中间分辨率对应的初始第二卷积特征图和多个更新第二卷积特征图进行融合，生成对应的目标第二卷积特征图并输入第三卷积层。
106.需要说明的是，轻量化hrnet模型的第二阶段是第二卷积层，对应的是图4所示中的最中间的多分辨率操作方式。多个不同分辨率在本发明实施例中设定为三个不同分辨率。中等分辨率也就是中间分辨率。
107.在具体实施例中，通过第二卷积层将目标第一卷积特征图进行卷积，生成三个不同分辨率的初始第二卷积特征图，比较这三个初始第二卷积特征图的分辨率，以三者中中等分辨率的初始第二卷积特征图为基准，最高分辨率的初始第二卷积特征图经过空洞卷积下采样、最低分辨率的初始第二卷积特征图经过上采样后，直到均与中等分辨率的初始第二卷积特征图的分辨率同样大小，生成两个更新第二卷积特征图，将中等分辨率的初始第二卷积特征图和两个更新第二卷积特征图进行融合，生成目标第二卷积特征图并输入第三卷积层。
108.可选地，步骤s13包括以下步骤s131-s134：
109.s131、通过第三卷积层对目标第二卷积特征图进行卷积，生成多个不同分辨率的初始第三卷积特征图；
110.s132、按照最低分辨率对应的初始第三卷积特征图对中间分辨率对应的初始第三卷积特征图进行卷积，生成多个更新第三卷积特征图；
111.s133、按照最低分辨率对应的初始第三卷积特征图对最高分辨率对应的初始第三卷积特征图进行预设次数的卷积，生成多个更新第四卷积特征图；
112.s134、采用最低分辨率对应的初始第三卷积特征图、多个更新第三卷积特征图和多个更新第四卷积特征图进行融合，生成对应的目标第三卷积特征图并输入高斯热图层。
113.需要说明的是，轻量化hrnet模型的第三阶段是第三卷积层；对应的是图4所示中的最右边的多分辨率操作方式。多个不同分辨率在本发明实施例中设定为三个不同分辨率。中等分辨率也就是中间分辨率。
114.在具体实施例中，通过第三卷积层对目标第二卷积特征图进行卷积，生成三个不同分辨率的初始第三卷积特征图，比较这三个初始第三卷积特征图的分辨率，以三者中最低分辨率的初始第三卷积特征图为基准，最高分辨率的初始第三卷积特征图经过两次空洞卷积下采样、中等分辨率的初始第三卷积特征图经过下采样后，直到均与最低分辨率的初始第三卷积特征图的分辨率同样大小，生成更新第三卷积特征图和更新第四卷积特征图，将最低分辨率的初始第三卷积特征图、更新第三卷积特征图和更新第四卷积特征图进行融合，生成目标第三卷积特征图并输入高斯热图层。
115.步骤204、采用编解码技术求解热力预测图的最大激活位置，确定挖掘机对应的关节点位置。
116.需要说明的是，由于从训练代价的角度考虑，在训练目标检测网络时会将图像进行下采样处理达到缩小图像分辨率的目的，同时为了让网络能够使用热力图作为标签完成训练，需要将基于原图的坐标转变为下采样之后的坐标，然后再利用高斯模糊成为热力图的形式。反过来，为了获取挖掘机关节点在原图中的坐标，通过目标检测网络进行热力图预测之后，需要首先完成对应的分辨率恢复，然后转换成原始图像坐标表示。
117.在具体实施例中，由于在挖掘机环境图像分辨率变化的时候引入了量化误差，极有可能对整个预测结果产生的影响，本发明中挖掘机关节点坐标的下采样和恢复运用dark的编解码技术，即
118.μ＝m-(d
″
(m)-1d′
(m))；
119.其中，m为热力预测图中估计的最大激活位置，d
′
(m)表示在位置m处的一阶偏导，d
″
(m)表示在位置m处的二阶偏导，μ为亚像素的关节点位置。
120.由上述公式可知，一旦基于热力预测图的最大激活位置m，即可得知μ亚像素的关节点位置，就可以重建原始环境图像空间中的挖掘机关节点坐标。
121.步骤205、构建各个关节点之间的向量图，将向量图中的关节点旋转角确定为挖掘机的运动特征。
122.需要说明的是，基于挖掘机的关节点位置，以任意两个关节点为顶点，构建彼此全连接的有向图(也就是向量图)，在运动特征中增加两个关节点连接向量的方向信息，即图中相邻两条边对应的两个向量之间相对位置信息。
123.在具体实施例中，本发明运用简单的顶点间关系的聚类方法来具体说明，不单纯
使用余弦定理直接完成角度的计算，而是定义旋转角，用旋转角替代角度大小，将一系列旋转角作为运动特征。假设a和b都为单位矢量，那么矢量a逆时针旋转至矢量b的角度被定义为a的旋转角。
124.步骤206、计算多个预设的标准动作聚类中心与运动特征之间的角度距离。
125.可选地，步骤206包括以下步骤s21-s23：
126.s21、计算预设的标准动作聚类中心对应的标准动作旋转角与运动特征对应的关节点旋转角之间的欧氏距离；
127.s22、计算全部欧氏距离的欧氏距离和值；
128.s23、计算欧氏距离和值和预设偏移量的和值，生成角度距离。
129.需要说明的是，预设的偏移量为360度。
130.在具体实施例中，对于连续多帧的挖掘机运动，将每一帧提取出的运动特征都看作一个样本点，将完整视频形成的样本点进行固定簇数和聚类中心的聚类操作，簇数的值是与需要获取的特定运动的种类(如掘进、抬起等)相等，聚类中心使用的是一系列标准动作帧事先提取出的运动特征，聚类中心和样本点之间的距离是一系列对应的关节点旋转角之间欧式距离的总和，为了避免负值角度，加上一个偏移量360度，生成多个角度距离。
131.步骤207、将角度距离的最小值对应的标准动作聚类中心对应的标准动作确定为挖掘机的运动动作。
132.在具体实施例中，将所有的角度距离进行比较，选取最小值的角度距离对应的标准动作聚类中心对应的标准动作，当作该样本点对应的当前帧的挖掘机的运动动作。这是一种无监督的动作归类识别，无需任何训练过程，即可完成挖掘机运动视频特定运动帧的获取和识别任务。对线缆存在潜在威胁的运动及时给出预警，实现线缆附近挖掘机的危险动作识别。
133.本发明通过获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像；按照预设倍率调节环境图像，生成中间图像并输入目标检测网络；通过目标检测网络提取中间图像的挖掘机特征，生成对应的热力预测图；根据热力预测图求解挖掘机对应的关节点位置，并构建各个关节点之间的向量图，生成挖掘机的运动特征；计算多个预设的标准动作聚类中心与运动特征之间的角度距离；将角度距离的最小值对应的标准动作聚类中心对应的标准动作确定为挖掘机的运动动作。解决了现有的技术通常是通过人工监督挖掘机的挖掘操作，待挖掘机靠近埋地电缆标志时，阻止挖掘机进一步操作，但挖掘机施工频繁，无法实时配备人工监督挖掘机工作，导致存在挖掘机挖断电缆的风险的技术问题。本发明通过利用线缆附近的监控视频，对挖掘机等重型机械的破坏动作进行识别，智能分析其中潜在的针对线缆的危险动作，并及时给予预警。
134.请参阅图7，图7为本发明实施例三提供的一种挖掘机动作识别系统的结构框图。
135.本发明提供的一种挖掘机动作识别系统，包括：
136.环境图像模块701，用于获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像。
137.目标检测网络模块702，用于按照预设倍率调节环境图像，生成中间图像并输入目标检测网络。
138.热力预测图模块703，用于通过目标检测网络提取中间图像的挖掘机特征，生成对
应的热力预测图。
139.运动特征模块704，用于根据热力预测图求解挖掘机对应的关节点位置，并构建各个关节点之间的向量图，生成挖掘机的运动特征。
140.角度距离模块705，用于计算多个预设的标准动作聚类中心与运动特征之间的角度距离。
141.运动动作模块706，用于将角度距离的最小值对应的标准动作聚类中心对应的标准动作确定为挖掘机的运动动作。
142.可选地，目标检测网络包括第一卷积层、第二卷积层、第三卷积层和高斯热图层；热力预测图模块703包括：
143.输入第二卷积层子模块，用于通过所述第一卷积层对所述中间图像进行卷积，生成对应的目标第一卷积特征图并输入所述第二卷积层；
144.输入第三卷积层子模块，用于通过第二卷积层对目标第一卷积特征图进行卷积，生成对应的目标第二卷积特征图并输入第三卷积层；
145.输入高斯热图层子模块，用于通过第三卷积层对目标第二卷积特征图进行卷积，生成对应的目标第三卷积特征图并输入高斯热图层；
146.热力预测图子模块，用于通过高斯热图层对目标第三卷积特征图进行热图预测，生成对应的热力预测图。
147.可选地，输入第二卷积层子模块包括：
148.初始第一卷积特征图子模块，用于通过第一卷积层对中间图像进行卷积，生成多个不同分辨率的初始第一卷积特征图；
149.更新第一卷积特征图子模块，用于按照最高分辨率对应的初始第一卷积特征图对剩余的初始第一卷积特征图进行卷积，生成多个更新第一卷积特征图；
150.目标第一卷积特征图子模块，用于采用最高分辨率对应的初始第一卷积特征图和多个更新第一卷积特征图进行融合，生成对应的目标第一卷积特征图并输入所述第二卷积层。
151.可选地，输入第三卷积层子模块包括：
152.初始第二卷积特征图子模块，用于通过第二卷积层对目标第一卷积特征图进行卷积，生成多个不同分辨率的初始第二卷积特征图；
153.更新第二卷积特征图子模块，用于按照中间分辨率对应的初始第二卷积特征图对剩余的初始第二卷积特征图进行卷积，生成多个更新第二卷积特征图；
154.目标第二卷积特征图子模块，用于采用中间分辨率对应的初始第二卷积特征图和多个更新第二卷积特征图进行融合，生成对应的目标第二卷积特征图并输入第三卷积层。
155.可选地，输入高斯热图层子模块包括：
156.初始第三卷积特征图子模块，用于通过第三卷积层对目标第二卷积特征图进行卷积，生成多个不同分辨率的初始第三卷积特征图；
157.更新第三卷积特征图子模块，用于按照最低分辨率对应的初始第三卷积特征图对中间分辨率对应的初始第三卷积特征图进行卷积，生成多个更新第三卷积特征图；
158.更新第四卷积特征图子模块，用于按照最低分辨率对应的初始第三卷积特征图对最高分辨率对应的初始第三卷积特征图进行预设次数的卷积，生成多个更新第四卷积特征
图；
159.目标第三卷积特征图子模块，用于采用最低分辨率对应的初始第三卷积特征图、多个更新第三卷积特征图和多个更新第四卷积特征图进行融合，生成对应的目标第三卷积特征图并输入高斯热图层。
160.可选地，运动特征模块704包括：
161.关节点位置子模块，用于采用编解码技术求解热力预测图的最大激活位置，确定挖掘机对应的关节点位置；
162.构建向量图子模块，用于构建各个关节点之间的向量图，将向量图中的关节点旋转角确定为所述挖掘机的运动特征。
163.可选地，角度距离模块705包括：
164.欧氏距离子模块，用于计算预设的标准动作聚类中心对应的标准动作旋转角与运动特征对应的关节点旋转角之间的欧氏距离；
165.欧氏距离和值子模块，用于计算全部欧氏距离的欧氏距离和值；
166.角度距离子模块，用于计算欧氏距离和值和预设偏移量的和值，生成角度距离。
167.本发明实施例四还提供了一种电子设备，电子设备包括：存储器及处理器，存储器中储存有计算机程序；计算机程序被处理器执行时，使得处理器执行如上述任一实施例的挖掘机动作识别方法。
168.本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被执行时实现如上述任一实施例的挖掘机动作识别方法。
169.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
170.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
171.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
172.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
173.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全
部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
174.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：

1.一种挖掘机动作识别方法，其特征在于，包括：获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像；按照预设倍率调节所述环境图像，生成中间图像并输入目标检测网络；通过所述目标检测网络提取所述中间图像的挖掘机特征，生成对应的热力预测图；根据所述热力预测图求解所述挖掘机对应的关节点位置，并构建各个关节点之间的向量图，生成所述挖掘机的运动特征；计算多个预设的标准动作聚类中心与所述运动特征之间的角度距离；将所述角度距离的最小值对应的标准动作聚类中心对应的标准动作确定为所述挖掘机的运动动作。2.根据权利要求1所述的挖掘机动作识别方法，其特征在于，所述目标检测网络包括第一卷积层、第二卷积层、第三卷积层和高斯热图层；所述通过所述目标检测网络提取所述中间图像的挖掘机特征，生成对应的热力预测图的步骤，包括：通过所述第一卷积层对所述中间图像进行卷积，生成对应的目标第一卷积特征图并输入所述第二卷积层；通过所述第二卷积层对所述目标第一卷积特征图进行卷积，生成对应的目标第二卷积特征图并输入所述第三卷积层；通过所述第三卷积层对所述目标第二卷积特征图进行卷积，生成对应的目标第三卷积特征图并输入所述高斯热图层；通过所述高斯热图层对所述目标第三卷积特征图进行热图预测，生成对应的热力预测图。3.根据权利要求2所述的挖掘机动作识别方法，其特征在于，所述通过所述第一卷积层对所述中间图像进行卷积，生成对应的目标第一卷积特征图并输入所述第二卷积层的步骤，包括：通过所述第一卷积层对所述中间图像进行卷积，生成多个不同分辨率的初始第一卷积特征图；按照最高分辨率对应的初始第一卷积特征图对剩余的所述初始第一卷积特征图进行卷积，生成多个更新第一卷积特征图；采用所述最高分辨率对应的初始第一卷积特征图和多个所述更新第一卷积特征图进行融合，生成对应的目标第一卷积特征图并输入所述第二卷积层。4.根据权利要求2所述的挖掘机动作识别方法，其特征在于，所述通过所述第二卷积层对所述目标第一卷积特征图进行卷积，生成对应的目标第二卷积特征图并输入所述第三卷积层的步骤，包括：通过所述第二卷积层对所述目标第一卷积特征图进行卷积，生成多个不同分辨率的初始第二卷积特征图；按照中间分辨率对应的初始第二卷积特征图对剩余的所述初始第二卷积特征图进行卷积，生成多个更新第二卷积特征图；采用所述中间分辨率对应的初始第二卷积特征图和多个所述更新第二卷积特征图进行融合，生成对应的目标第二卷积特征图并输入所述第三卷积层。5.根据权利要求2所述的挖掘机动作识别方法，其特征在于，所述通过所述第三卷积层
对所述目标第二卷积特征图进行卷积，生成对应的目标第三卷积特征图并输入所述高斯热图层的步骤，包括：通过所述第三卷积层对所述目标第二卷积特征图进行卷积，生成多个不同分辨率的初始第三卷积特征图；按照最低分辨率对应的初始第三卷积特征图对中间分辨率对应的初始第三卷积特征图进行卷积，生成多个更新第三卷积特征图；按照所述最低分辨率对应的初始第三卷积特征图对最高分辨率对应的初始第三卷积特征图进行预设次数的卷积，生成多个更新第四卷积特征图；采用所述最低分辨率对应的初始第三卷积特征图、多个所述更新第三卷积特征图和多个所述更新第四卷积特征图进行融合，生成对应的目标第三卷积特征图并输入所述高斯热图层。6.根据权利要求1所述的挖掘机动作识别方法，其特征在于，所述根据所述热力预测图求解所述挖掘机对应的关节点位置，并构建各个关节点之间的向量图，生成所述挖掘机的运动特征的步骤，包括：采用编解码技术求解所述热力预测图的最大激活位置，确定所述挖掘机对应的关节点位置；构建各个关节点之间的向量图，将所述向量图中的关节点旋转角确定为所述挖掘机的运动特征。7.根据权利要求1所述的挖掘机动作识别方法，其特征在于，所述计算多个预设的标准动作聚类中心与所述运动特征之间的角度距离的步骤，包括：计算预设的标准动作聚类中心对应的标准动作旋转角与所述运动特征对应的关节点旋转角之间的欧氏距离；计算全部所述欧氏距离的欧氏距离和值；计算所述欧氏距离和值和预设偏移量的和值，生成角度距离。8.一种挖掘机动作识别系统，其特征在于，包括：环境图像模块，用于获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像；目标检测网络模块，用于按照预设倍率调节所述环境图像，生成中间图像并输入目标检测网络；热力预测图模块，用于通过所述目标检测网络提取所述中间图像的挖掘机特征，生成对应的热力预测图；运动特征模块，用于根据所述热力预测图求解所述挖掘机对应的关节点位置，并构建各个关节点之间的向量图，生成所述挖掘机的运动特征；角度距离模块，用于计算多个预设的标准动作聚类中心与所述运动特征之间的角度距离；运动动作模块，用于将所述角度距离的最小值对应的标准动作聚类中心对应的标准动作确定为所述挖掘机的运动动作。9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-7任一项所述的挖掘机动作识别方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1-7任一项所述的挖掘机动作识别方法。

技术总结

本发明公开了一种挖掘机动作识别方法、系统、设备和存储介质，本发明通过目标检测网络提取中间图像的挖掘机特征，生成对应的热力预测图；根据热力预测图求解挖掘机对应的关节点位置，并构建各个关节点之间的向量图，生成挖掘机的运动特征；计算多个预设的标准动作聚类中心与运动特征之间的角度距离；将角度距离的最小值对应的标准动作聚类中心对应的标准动作确定为挖掘机的运动动作。解决了现有的技术存在挖掘机挖断电缆的风险的技术问题。本发明通过利用线缆附近的监控视频，对挖掘机等重型机械的破坏动作进行识别，智能分析其中潜在的针对线缆的危险动作，并及时给予预警。并及时给予预警。并及时给予预警。