基于轻量化OpenPose时空图网络的行为检测方法

基于轻量化openpose时空图网络的行为检测方法
技术领域
1.本发明涉及计算机视觉异常行为检测技术领域，尤其涉及一种基于轻量化openpose时空图网络的行为检测方法。

背景技术：

2.日常生活中，导致人体摔倒的原因主要有两种，一种是因腿脚不方便被绊倒或滑到，另一种是因疾病引起的摔倒；摔倒时如果没有得到及时的救助，往往会导致伤情加重，甚至付出生命代价；因此，对于人体的摔倒进行检测显得尤为重要。
3.目前，常见的人体摔倒检测技术可分为三类，包括基于穿戴式，基于环境传感器以及基于计算机视觉。基于穿戴的方法是将传感器放置在腰带或手表等当中，但老年人可能会因记忆力衰退而忘记佩戴，或者因为不舒适而不去佩戴。基于环境传感器的方法，比如红外技术监测，但是有一些老人会红外线过敏，对老人的健康造成影响。基于计算机视觉的摔倒检测方法是利用一些摄像装置收集人体视频图像信息，采用图像处理技术处理图像信息并从中提取出人体特征，然后经过分析得到人体运动状态。一般可通过多种模式识别摔倒行为，例如外观、光流、深度以及人体骨架。其中，动态人体骨架通常传递重要的信息，目前多采用openpose模型进行骨架提取，该模型检测能力的各项性能指标大部分都是最好的，但若想将其应用于实际场景中，它仍存在着检测实时性差、模型参数过多、模型太大等不足之处。同时，骨架数据是非欧几里得结构数据，以往的卷积网络及循环神经网络忽略了至关重要的节点间关联信息，因此整体提升有限。

技术实现要素：

4.发明目的：本发明对openpose进行轻量化改进，并采用稠密连接机制对st-gcn网络优化，提高了人体行为检测的准确率和实时性。
5.技术方案：基于轻量化openpose时空图网络的行为检测方法，包括以下步骤：
6.(1)收集数据集，将图像预处理；
7.(2)将数据集送入轻量化openpo络，获取人体骨架序列；
8.(3)将人体骨架序列送入dst-gcn网络，从空间和时间维度提取空间结构特征和时间轨迹特征，形成高级时空特征；
9.(4)使用softmax分类器将高级时空特征分类为相应的动作类别；
10.(5)判断测试图像的动作类别。
11.所述步骤(2)包括：
12.(2.1)获取输入轻量化openpo络的数据的特征；
13.(2.2)特征提取后送入openpose模型的预测层，获取人体关键点的热力图以及不同关键点之间的亲和力，融合后得到人体骨架序列；将预测层中的7x7卷积结构替换为由1x7卷积、7x1卷积与7x7卷积三个卷积并联的结构，该三个卷积的输出经过bn操作后进行融合，同时在并联卷积层前采用一个1x1卷积来压缩输入并联卷积层的特征图通道数目。
14.所述轻量化openpo络采用mobilenet v1网络替换openpose模型中的vgg 19网络，并移除mobilenet v1网络中conv4_2/dw层的步幅，将扩张参数值设置为2，且轻量化openpo络仅采用mobilenet v1网络第一层到conv5_5层。
15.所述步骤(3)中dst-gcn网络采用稠密连接机制，将九层时空图卷积层设计为两个稠密块，前五层为一个稠密块，后四层为一个稠密块，在每一个稠密块中，每一层时空图卷积都与前面所有的时空图卷积进行连接，跨层将特征在通道上进行拼接，在两个稠密块之间设计一个过渡层来控制模型复杂度，通过1
×
1的卷积层来降低通道数，并使用步幅为2的平均池化层减半特征图的高和宽。
16.步骤(4)所述softmax分类器使用二个全连接层，第一个全连接层将维度从256降至64，同时使用dropout防止过拟合，第二个全连接层将维度降低至类别数，输出行为分类结果。
17.采用二分类交叉熵损失函数，加入l2正则项，使用adam优化器训练最优模型，其中包含l2正则化的目标损失函数为：
[0018][0019]
其中，l为目标损失函数，a为样本下标，m为样本数，为样本标签，正类为1，负类为0，ya为预测为正的概率，λ‖θ‖2为l2正则项,θ表示特征系数，λ为用户指定系数。
[0020]
步骤(5)所述测试阶段，选取一段监控视频，首先通过轻量化openpose获取监控视频中人体目标的骨架序列，并送入dst-gcn通过图卷积与时间卷积提取骨架序列高层次的时空特征图，然后将时空特征图送入分类器进行分类，输出摔倒与非摔倒的概率，概率高的为判断结果。
[0021]
基于轻量化openpose时空图网络的行为检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据上述任一项所述的基于轻量化openpose时空图网络的行为检测方法。
[0022]
有益效果：(1)采用二分类交叉熵损失函数，为进一步避免模型过拟合，加入l2正则项，使用adam优化器训练最优模型，适合求解带有大规模数据或参数的问题，有很高的计算效率和较低的内存需求。(2)对openpose进行轻量化，提高模型检测的实时性。(3)对st-gcn采用稠密连接机制进行改进，提高时空卷积层的长距离关联信息提取能力，提高判断准确率。
附图说明
[0023]
图1为本发明方法的流程图。
具体实施方式
[0024]
下面结合附图对本发明的技术方案作进一步说明。
[0025]
如图1所示，本发明提供一种技术方案：
[0026]
基于轻量化openpose时空图网络的行为检测方法，包括以下步骤：
[0027]
(1)收集数据集，将图像预处理；
[0028]
(2)将数据集送入轻量化openpo络，获取人体骨架序列；
[0029]
(3)将人体骨架序列送入dst-gcn网络，从空间和时间维度提取空间结构特征和时间轨迹特征，形成高级时空特征；
[0030]
(4)使用softmax分类器将高级时空特征分类为相应的动作类别；
[0031]
(5)判断测试图像的动作类别。
[0032]
所述步骤(2)包括：
[0033]
(2.1)获取输入轻量化openpo络的数据的特征；
[0034]
(2.2)特征提取后送入openpose模型的预测层，获取人体关键点的热力图以及不同关键点之间的亲和力，融合后得到人体骨架序列；将预测层中的7x7卷积结构替换为由1x7卷积、7x1卷积与7x7卷积三个卷积并联的结构，该三个卷积的输出经过bn操作后进行融合，同时在并联卷积层前采用一个1x1卷积来压缩输入并联卷积层的特征图通道数目。
[0035]
所述轻量化openpo络采用mobilenet v1网络替换openpose模型中的vgg 19网络，并移除mobilenet v1网络中conv4_2/dw层的步幅，将扩张参数值设置为2，且轻量化openpo络仅采用mobilenet v1网络第一层到conv5_5层。
[0036]
所述步骤(3)中dst-gcn网络采用稠密连接机制，将九层时空图卷积层设计为两个稠密块，前五层为一个稠密块，后四层为一个稠密块，在每一个稠密块中，每一层时空图卷积都与前面所有的时空图卷积进行连接，跨层将特征在通道上进行拼接，在两个稠密块之间设计一个过渡层来控制模型复杂度，通过1
×
1的卷积层来降低通道数，并使用步幅为2的平均池化层减半特征图的高和宽。
[0037]
步骤(4)所述softmax分类器使用二个全连接层，第一个全连接层将维度从256降至64，同时使用dropout防止过拟合，第二个全连接层将维度降低至类别数，输出行为分类结果。
[0038]
采用二分类交叉熵损失函数，加入l2正则项，使用adam优化器训练最优模型，其中包含l2正则化的目标损失函数为：
[0039][0040]
其中，l为目标损失函数，a为样本下标，m为样本数，为样本标签，正类为1，负类为0，ya为预测为正的概率，λ‖θ‖2为l2正则项,θ表示特征系数，λ为用户指定系数。
[0041]
步骤(5)所述测试阶段，选取一段监控视频，首先通过轻量化openpose获取监控视频中人体目标的骨架序列，并送入dst-gcn通过图卷积与时间卷积提取骨架序列高层次的时空特征图，然后将时空特征图送入分类器进行分类，输出摔倒与非摔倒的概率，概率高的为判断结果。
[0042]
基于轻量化openpose时空图网络的行为检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据上述任一项所述的基于轻量化openpose时空图网络的行为检测方法。
[0043]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：

1.基于轻量化openpose时空图网络的行为检测方法，其特征在于，包括以下步骤：(1)收集数据集，将图像预处理；(2)将数据集送入轻量化openpo络，获取人体骨架序列；(3)将人体骨架序列送入dst-gcn网络，从空间和时间维度提取空间结构特征和时间轨迹特征，形成高级时空特征；(4)使用softmax分类器将高级时空特征分类为相应的动作类别；(5)判断测试图像的动作类别。2.根据权利要求1所述的基于轻量化openpose时空图网络的行为检测方法，其特征在于，所述步骤(2)包括：(2.1)获取输入轻量化openpo络的数据的特征；(2.2)特征提取后送入openpose模型的预测层，获取人体关键点的热力图以及不同关键点之间的亲和力，融合后得到人体骨架序列；将预测层中的7x7卷积结构替换为由1x7卷积、7x1卷积与7x7卷积三个卷积并联的结构，该三个卷积的输出经过bn操作后进行融合，同时在并联卷积层前采用一个1x1卷积来压缩输入并联卷积层的特征图通道数目。3.根据权利要求1所述的基于轻量化openpose时空图网络的行为检测方法，其特征在于，所述轻量化openpo络采用mobilenet v1网络替换openpose模型中的vgg 19网络，并移除mobilenet v1网络中conv4_2/dw层的步幅，将扩张参数值设置为2，且轻量化openpo络仅采用mobilenet v1网络第一层到conv5_5层。4.根据权利要求1所述的基于轻量化openpose时空图网络的行为检测方法，其特征在于，所述步骤(3)中dst-gcn网络采用稠密连接机制，将九层时空图卷积层设计为两个稠密块，前五层为一个稠密块，后四层为一个稠密块，在每一个稠密块中，每一层时空图卷积都与前面所有的时空图卷积进行连接，跨层将特征在通道上进行拼接，在两个稠密块之间设计一个过渡层来控制模型复杂度，通过1
×
1的卷积层来降低通道数，并使用步幅为2的平均池化层减半特征图的高和宽。5.根据权利要求1所述的基于轻量化openpose时空图网络的行为检测方法，其特征在于，步骤(4)所述softmax分类器使用二个全连接层，第一个全连接层将维度从256降至64，同时使用dropout防止过拟合，第二个全连接层将维度降低至类别数，输出行为分类结果。6.根据权利要求1所述的基于轻量化openpose时空图网络的行为检测方法，其特征在于，采用二分类交叉熵损失函数，加入l2正则项，使用adam优化器训练最优模型，其中包含l2正则化的目标损失函数为：其中，l为目标损失函数，a为样本下标，m为样本数，为样本标签，正类为1，负类为0，y
a
为预测为正的概率，λ‖θ‖2为l2正则项,θ表示特征系数，λ为用户指定系数。7.根据权利要求1所述的基于轻量化openpose时空图网络的行为检测方法，其特征在于，步骤(5)所述测试阶段，选取一段监控视频，首先通过轻量化openpose获取监控视频中人体目标的骨架序列，并送入dst-gcn通过图卷积与时间卷积提取骨架序列高层次的时空特征图，然后将时空特征图送入分类器进行分类，输出摔倒与非摔倒的概率，概率高的为判
断结果。8.基于轻量化openpose时空图网络的行为检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-7任一项所述的基于轻量化openpose时空图网络的行为检测方法。

技术总结

本发明公开了基于轻量化OpenPose时空图网络的行为检测方法，包括以下步骤：(1)收集数据集，将图像预处理；(2)将数据集送入轻量化OpenPo络，获取人体骨架序列；(3)将人体骨架序列送入DST-GCN网络，从空间和时间维度提取空间结构特征和时间轨迹特征，形成高级时空特征；(4)使用Softmax分类器将高级时空特征其分类为相应的动作类别；(5)判断测试图像的动作类别。本发明先对OpenPose进行轻量化，提高模型检测的实时性，同时对ST-GCN采用稠密连接机制进行改进，提高时空卷积层的长距离关联信息提取能力，提高判断准确率。提高判断准确率。提高判断准确率。