一种遮挡条件下的变电站安全检测方法及装置

1.本发明属于变电站检测技术领域，具体涉及一种遮挡条件下的变电站安全检测方法及装置。

背景技术：

2.随着我国电网调度自动化的提高，变电站的无人值守运行是电力系统的发展趋势，无人值守是一种通过少人化无现金化的智慧管理，可以节约大量的人力成本，主要通过ai摄像头、边缘设备等，对电厂各个设施进行数据采集，进而通过大数据和云平台，进行智能运算，实现智能决策管控。
3.随着计算机技术的发展，变电站无人值守的优势越来越明显，但是，还存在一些问题，在无人值守的环境下，变电站的安全隐患是否能够及时监控并预警，是一个需要重点关注的问题，变电站的主要设备包括但不限于变压器、瓦斯继电器、油位计等核心设备，变压器是否存在破损、油位计(包括但不限于套管油位计和油枕油位计)等是否存在漏油、瓦斯继电器是否存在其他泄露等，对变电站的安全存在较为重大影响。
4.与此同时，在一些情况下可能会使得一些主要设备的部分被遮挡(比如灰尘、油渍、其他设备等)，这进一步加大了对这些主要设备进行安全监控预警的难度。
5110175519a公开了一种变电站的分合标识仪表识别方法、装置与存储介质，该方法包括：采集所述分合标识仪表的图像数据作为训练样本；其中，所述图像数据包括图像训练集和图像测试集；将所述图像测试集输入预设的图像识别模型，得到所述图像测试集中每个分合标识的若干个候选框和类别；其中，每个候选框对应一个类别分数；从所述若干个候选框中选取所述分合标识的最优候选框，将所述最优候选框确定为所述分合标识的最终检测框。该方法通过构建图像识别模型，在减少人工识别的工作量情况下，可以有效准确地识别分合标识仪表的工作状态，实时指示电力线路运行状态，保证电力系统的安全运行。cn110175519a主要是针对电力设备进行目标检测，但无法对遮挡情况下电气设备进行安全检测，
6112381778a公开了一种基于深度学习的变电站安全管控平台，包括：异物和外观缺陷自动识别模块：通过异物和外观缺陷检测的深度学习神经网络模型自动识别图像中各种异物和外观缺陷，标定出异物、外观缺陷的位置和种类；误闯禁区和超范围作业自动报警模块：通过误闯禁区和超范围作业自动报警的深度学习神经网络模型对误闯禁区和超范围作业的行为进行自动检测和报警；站内工作人员违章行为自动检测模块：通过站内工作人员违章行为自动检测的深度学习神经网络模型自动检测站内工作人员是否出现违章行为。cn112381778a虽然针对缺陷进行了检测，但主要是针对区域是否存在异物进行检测，而非本发明要解决的针对主要电力设备存在遮挡情况下的安全检测的问题。

技术实现要素：

7.为了解决部分遮挡条件下的电器设备的安全检测问题，本发明提供了一种遮挡条
件下的变电站安全检测方法。
8.本发明通过下述技术方案来实现，一种遮挡条件下的变电站安全检测方法，包括如下过程：
9.s1,通过ai摄像头采集视频流数据，并对视频流数据进行预处理，得到待检测图片；
10.s2，构建并训练改进的端对端的masknet网络模型，并通过训练改进的端对端的masknet网络模型对待检测图片进行遮挡特征识别，确定检测目标；
11.改进的端对端的masknet网络模型包括公共特征提取模块、非遮挡区域提取模块和识别卷积网络；
12.公共特征提取模块，包括特征压缩模块和特征扩展模块；其中，特征压缩模块采用了基于res-u-net的残差卷积模块，包括n个卷积块；特征扩展模块包括对应的n个反卷积块，沿着一条融合跳跃连接的特征扩展路径展开；从特征扩展路径上的第一个反卷积块开始，每一层输出的特征图和来自特征压缩路径的特征图拼接构成下一层反卷积操作的输入，使得特征压缩路径上的目标细节信息能够传输到具有高层语义信息的扩展特征层路径上；
13.非遮挡区域提取模块包括遮挡区域监督分割模块和公共特征处理模块，遮挡区域监督分割模块进行遮挡区域监督分割，得到遮挡区域图像和非遮挡区域特征图，由卷积层和sigmoid层组成，其监督的标签由自动数据增强中遮挡区域图像生成操作所生成；非遮挡区域特征图通过相乘操作把其作用到公共特征处理模块的输出上，进一步强化非遮挡区域的目标特征，形成非遮挡区域的特征图，遮挡区域图像用于后续引导遮挡区域监督分割模块的学习；
14.s3，获取检测目标对应的安全识别模型，对检测目标进行安全识别，得到安全识别结果。
15.进一步优选，所述识别卷积网络，由卷积层、全连接层和softmax层组成。其输入是强化了非遮挡区域的特征图，通过识别卷积网络，输出目标识别结果。
16.本实施例s2中，训练改进的端对端的masknet网络模型所用的训练数据集和测试数据集构建方式如下：获取含遮挡区域的电力设备图像，进行裁剪和图像对齐，把所有的图像对齐到同一尺度空间，然后进行随机数据增强，扩充每个目标的学习样本数。
17.本实施例s2中，通过训练改进的端对端的masknet网络模型对待检测图片进行遮挡特征识别，确定检测目标的过程如下：
18.公共特征提取：待检测图片输入到公共特征提取模块进行特征提取，生成特征图；
19.非遮挡区域提取：公共特征提取模块提取的特征图输入遮挡区域监督分割模块，输出为一个单通道的遮挡区域图像，用于指示该目标区域是否遮挡；采用监督学习的方式，监督标签由历史遮挡区域图像生成，每次提取遮挡区域图像作为下一次训练的历史遮挡区域图像，并采用随机梯度下降算法优化交叉熵损失函数训练遮挡区域监督分割模块，并提取出非遮挡区域特征图；公共特征提取模块提取的特征图同时输入公共特征处理模块进行处理；
20.融合识别阶段：将非遮挡区域特征图通过相乘操作把其作用到公共特征提取模块的输出上，强化未遮挡区域的目标特征，弱化遮挡区域，并引导随后的识别卷积网络进行目
标识别。
21.进一步优选，分别采用每个待识别的电力设备的历史图像数据对改进后的端对端的masknet网络模型进行训练，最终得到不同待识别电力设备的分类方式，实现快速识别待识别的电力设备。
22.进一步优选，步骤3中，检测目标为变压器时，采用的安全识别模型是变压器破损检测模型。
23.进一步优选，步骤3中，检测目标为瓦斯继电器时，采用的安全识别模型是瓦斯继电器泄露检测模型，瓦斯继电器泄露检测模型为yolov4-tiny模型。
24.进一步优选，步骤3中，检测目标为油位计时，采用的安全识别模型是油位计漏油检测模型，油位计漏油检测模型采用hrnet+cascade-rcnn的网络结构。
25.本发明还提供一种用于实现遮挡条件下的变电站安全检测方法的装置，所述装置存储执行遮挡条件下的变电站安全检测方法的计算机程序指令。
26.本发明的有益效果：通过改进的端对端的masknet网络模型对待检测图片进行遮挡特征识别，将非遮挡区域特征图通过相乘操作把其作用到公共特征提取模块的输出上，强化未遮挡区域的目标特征，弱化遮挡区域，便于准确确定目标类型，以保证选择对应的安全识别模型对目标进行安全检测，提高安全检测的效率和准确性。
附图说明
27.图1为本发明的流程图。
28.图2为端对端的masknet网络模型示意图。
29.图3为hrnet的网络结构示意图。
具体实施方式
30.下面结合附图和实施例进一步详细阐明本发明。
31.参照图1，一种遮挡条件下的变电站安全检测方法，包括如下过程：
32.s1,通过ai摄像头采集视频流数据，并对视频流数据进行预处理，得到待检测图片；
33.本实施例步骤s1中，ai摄像头实时进行数据采集，得到实时视频流数据，按照预设的频率，从实时视频流中提取预设数量的视频帧图像，作为视频采样数据，用于分析该实时视频流中是否存在遮挡特征的图像，若存在，则作为待检测图片，采用本发明的方法进行安全识别，若不存在，则采用现有技术的安全检测模型或者步骤s3中的方法进行安全检测即可。
34.其中，预设的频率可以是预设的时间频率，即多长时间间隔进行一次视频帧图像提取，比如，间隔0.1秒提取一个视频帧图像，也可以是预设的视频帧频率，即间隔多少个视频帧进行一次视频帧图像的提取，比如，每间隔3个视频帧图像，提取一个视频帧图像。采用这种方式，是为了避免数据过多，导致传输过程中产生数据堵塞，同时，也减少不必要的运算数据，提高后续图像识别处理的效率。
35.s2，构建并训练改进的端对端的masknet网络模型，并通过训练改进的端对端的masknet网络模型对待检测图片进行遮挡特征识别，确定检测目标；
36.本实施例步骤s2中，对待检测图片进行遮挡特征识别，可以采用端对端的神经网络，针对电厂设备的特性，本实施例采用基于端对端的masknet网络模型。电厂设备的目标识别不同于其他比如汽车车牌识别、人脸识别，电厂设备一般位置固定，同一设备识别目标为同一目标(车牌、人脸往往是针对不同目标)，因而，本实施例基于这一特性，对端对端的masknet网络模型进行改进，以便更好识别待检测图片上的目标，采用改进后的模型进行待检测图片识别的过程如下图2所示，包括公共特征提取模块、非遮挡区域提取模块和识别卷积网络。
37.公共特征提取模块，包括特征压缩模块和特征扩展模块。其中，特征压缩模块采用了基于res-u-net的残差卷积模块，包括n个卷积块；特征扩展模块包括对应的n个反卷积块，沿着一条融合跳跃连接的特征扩展路径展开。从特征扩展路径上的第一个反卷积块开始，每一层输出的特征图和来自特征压缩路径的特征图拼接构成下一层反卷积操作的输入，使得特征压缩路径上的目标细节信息能够传输到具有高层语义信息的扩展特征层路径上。
38.非遮挡区域提取模块包括遮挡区域监督分割模块和公共特征处理模块，公共特征处理模块由三个卷积层(依次卷积核为128的3*3卷积层、卷积核为64的3*3卷积层、卷积核为1的3*3卷积层)构成，用于处理公共特征提取模块提取的特征图，遮挡区域监督分割模块进行遮挡区域监督分割，得到遮挡区域图像和非遮挡区域特征图，由卷积层和sigmoid层组成，其监督的标签由自动数据增强中遮挡区域图像生成操作所生成；非遮挡区域特征图通过相乘操作把其作用到公共特征处理模块的输出上，进一步强化非遮挡区域的目标特征，形成非遮挡区域的特征图，并后续引导识别遮挡区域监督分割模块的有效学习。
39.识别卷积网络，由卷积层、全连接层和softmax层组成。其输入是强化了非遮挡区域的特征图，通过识别卷积网络，输出目标识别结果。
40.s3，获取检测目标对应的安全识别模型，对检测目标进行安全识别，得到安全识别结果。检测目标主要包括变压器、瓦斯继电器、油位计等，这些设备相对应的安全识别模型，分别对应为变压器破损检测模型、油位计漏油检测模型、瓦斯继电器泄露检测模型等。
41.本实施例s2中，训练改进的端对端的masknet网络模型所用的训练数据集和测试数据集构建方式如下：获取含遮挡区域的电力设备图像，进行裁剪和图像对齐，把所有的图像对齐到同一尺度空间，然后进行随机数据增强，扩充每个目标的学习样本数。数据增强方式包括，一定程度的缩放、平移、旋转操作和颜调整操作；划分训练数据集和测试数据集用于训练和测试改进的端对端的masknet网络模型。
42.同时采用了自动为目标生成遮挡区域的增强操作，且把生成的遮挡区域mask作为非遮挡区域提取网络模块学习的监督信号。
43.本实施例s2中，通过训练改进的端对端的masknet网络模型对待检测图片进行遮挡特征识别，确定检测目标的过程如下：
44.公共特征提取：待检测图片输入到公共特征提取模块进行特征提取，生成特征图。在本方案中，也可根据实际应用需要，设定一个或多个公共区域。
45.非遮挡区域提取：公共特征提取模块提取的特征图输入遮挡区域监督分割模块，输出为一个单通道的遮挡区域图像，用于指示该目标区域是否遮挡。采用监督学习的方式，监督标签由历史遮挡区域图像生成，每次提取遮挡区域图像作为下一次训练的历史遮挡区
域图像，并采用随机梯度下降算法优化交叉熵损失函数训练遮挡区域监督分割模块，并提取出非遮挡区域特征图。公共特征提取模块提取的特征图同时输入公共特征处理模块进行处理。
46.融合识别阶段：将非遮挡区域特征图通过相乘操作把其作用到公共特征提取模块的输出上，强化未遮挡区域的目标特征，弱化遮挡区域，并引导随后的识别卷积网络进行目标识别。采用随机梯度下降算法优化softmax损失函数获得训练后的识别卷积网络。
47.本实施例中，通过改进后的端对端的masknet网络模型，能有效提高特定目标在遮挡条件下的识别准确率，在实际应用中，可以根据需要，分别采用每个待识别的电力设备对该改进后的端对端的masknet网络模型进行训练，最终得到不同待识别电力设备的分类方式，实现快速识别待识别的电力设备。
48.进一步地，本实施例对变压器破损检测模型可采用现有主流的图像识别模型，例如yolov3模型、yolov4模型、fcn模型等。
49.进一步地，瓦斯继电器气体缺陷的出现需要等待时间的累积，故无需进行实时监控，只需每间隔一段时间获取摄像头的视频流，抽取5-10帧图片进行用本发明的方法进行检测。瓦斯继电器观察窗气体异常主要通过气体的颜进行分析判别，采用瓦斯继电器泄露检测模型对瓦斯继电器进行安全检测，包括：1.首先需要对现场的套管图像进行采样，包括正常气体、异常气体的继电器各自500张左右，图像需要从不同角度拍摄。2.对图像中观察窗的部位进行标注，训练yolov4-tiny模型，专门用于检测观察窗的位置；3.裁剪yolov4-tiny检测到的观察窗的box，输入至训练好的mobilenet的气体分类模型中，分析气体是否正常。
50.进一步地，油位计油位异常的缺陷的在变电站中经常出现，渗漏油缺陷的出现需要等待时间的累积，故无需进行实时监控，只需每间隔一段时间获取摄像头的视频流，抽取5-10帧图片用本发明的方法进行检测。需要现场拍摄的图片用于改进后的端对端的masknet网络模型的训练。但是，油位计油位异常需要重新训练一个resnet101-套管油位计状态分类模型，裁剪yolov4-tiny检测到的观察窗的box，将裁剪图像输入至resnet101-套管油位计状态分类模型中，获得分类结果，即正常和异常状态。
51.但是，针对渗漏油缺陷检测，难点在于油漏在地面和金属表面上会产生一定的暗影，而在雨天、光线不好的情况下，这种阴影特征将会不明显，普通的目标检测算法难以进行判别。作为一个优选方式，在输入层将图像进行特殊的预处理，使得油体的特征更加明显，用复杂的深度卷积神经网络hrnet+cascadercnn算法，对特殊处理后的输入图像进行目标检测，输出检测结果。
52.cascade r-cnn算法是faster-rcnn的进阶网络，它级联多个检测网络，以达到不断优化预测结果的目的与普通的级联不同，它的多个检测网络是根据不同iou阈值确定的正负样本进行训练，这是该算法的一大亮点。
53.cascade-r-cnn与迭代式的bbox结构以及integral loss相似，和faster-rcnn模型最大的不同点在于cascade-r-cnn中的检测模型是基于前面一个阶段的输出进行训练，而不是像faster-rcnn一样3个检测模型都是基于最初始的数据进行训练。cascade-r-cnn和integral loss的差别也比较明显，cascade r-cnn中每个阶段的输入预测框框是前一个阶段的预测框框输出，而integral loss其实没有这种的思想，仅仅是检测模型基于不同的
iou阈值训练。
54.在cascade-rcnn网络优化方面，本发明使用了hrnet+cascade-rcnn的网络结构。高分辨率网络(hrnet)，可以在整个训练过程中保持高分辨率表达的能力。从高分辨率子网作为第一阶段开始，逐步增加高分辨率到低分辨率子网(逐渐增加高分辨率到低分辨率子网)，形成更多的阶段，增加多分辨率子网并联。在整个过程中，通过在并行的多分辨率子网络上重复交换信息来进行多尺度的重复融合。通过网络输出的高分辨率表示来估计关键点。生成的hrnet网络如图3所示，将cascade-rcnn的网络连接改成hrnet的结构形式，在各个数据集中的准确率都有大幅度提高，同时对网络进行了剪枝，提高了hrnet+cascade-rcnn的网络推理速度。
55.本实施例还提供一种用于实现遮挡条件下的变电站安全检测方法的装置，所述装置存储执行遮挡条件下的变电站安全检测方法的计算机程序指令。
56.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
57.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
58.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
59.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
60.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。

技术特征：

1.一种遮挡条件下的变电站安全检测方法，其特征是，包括如下过程：s1,通过ai摄像头采集视频流数据，并对视频流数据进行预处理，得到待检测图片；s2，构建并训练改进的端对端的masknet网络模型，并通过训练改进的端对端的masknet网络模型对待检测图片进行遮挡特征识别，确定检测目标；改进的端对端的masknet网络模型包括公共特征提取模块、非遮挡区域提取模块和识别卷积网络；公共特征提取模块，包括特征压缩模块和特征扩展模块；其中，特征压缩模块采用了基于res-u-net的残差卷积模块，包括n个卷积块；特征扩展模块包括对应的n个反卷积块，沿着一条融合跳跃连接的特征扩展路径展开；从特征扩展路径上的第一个反卷积块开始，每一层输出的特征图和来自特征压缩路径的特征图拼接构成下一层反卷积操作的输入，使得特征压缩路径上的目标细节信息能够传输到具有高层语义信息的扩展特征层路径上；非遮挡区域提取模块包括遮挡区域监督分割模块和公共特征处理模块，遮挡区域监督分割模块进行遮挡区域监督分割，得到遮挡区域图像和非遮挡区域特征图，由卷积层和sigmoid层组成，其监督的标签由自动数据增强中遮挡区域图像生成操作所生成；非遮挡区域特征图通过相乘操作把其作用到公共特征处理模块的输出上，进一步强化非遮挡区域的目标特征，形成非遮挡区域的特征图，遮挡区域图像用于后续引导遮挡区域监督分割模块的学习；s3，获取检测目标对应的安全识别模型，对检测目标进行安全识别，得到安全识别结果。2.根据权利要求1所述的遮挡条件下的变电站安全检测方法，其特征是，所述识别卷积网络由卷积层、全连接层和softmax层组成。3.根据权利要求1所述的遮挡条件下的变电站安全检测方法，其特征是，训练改进的端对端的masknet网络模型所用的训练数据集和测试数据集构建方式如下：获取含遮挡区域的电力设备图像，进行裁剪和图像对齐，把所有的图像对齐到同一尺度空间，然后进行随机数据增强，扩充每个目标的学习样本数。4.根据权利要求1所述的遮挡条件下的变电站安全检测方法，其特征是，通过训练改进的端对端的masknet网络模型对待检测图片进行遮挡特征识别，确定检测目标的过程如下：公共特征提取：待检测图片输入到公共特征提取模块进行特征提取，生成特征图；非遮挡区域提取：公共特征提取模块提取的特征图输入遮挡区域监督分割模块，输出为一个单通道的遮挡区域图像，用于指示该目标区域是否遮挡；采用监督学习的方式，监督标签由历史遮挡区域图像生成，每次提取遮挡区域图像作为下一次训练的历史遮挡区域图像，并采用随机梯度下降算法优化交叉熵损失函数训练遮挡区域监督分割模块，并提取出非遮挡区域特征图；公共特征提取模块提取的特征图同时输入公共特征处理模块进行处理；融合识别阶段：将非遮挡区域特征图通过相乘操作把其作用到公共特征提取模块的输出上，强化未遮挡区域的目标特征，弱化遮挡区域，并引导随后的识别卷积网络进行目标识别。5.根据权利要求1所述的遮挡条件下的变电站安全检测方法，其特征是，分别采用每个待识别的电力设备的历史图像数据对改进后的端对端的masknet网络模型进行训练，最终
得到不同待识别电力设备的分类方式，实现快速识别待识别的电力设备。6.根据权利要求1所述的遮挡条件下的变电站安全检测方法，其特征是，步骤3中，检测目标为变压器时，采用的安全识别模型是变压器破损检测模型。7.根据权利要求1所述的遮挡条件下的变电站安全检测方法，其特征是，步骤3中，检测目标为瓦斯继电器时，采用的安全识别模型是瓦斯继电器泄露检测模型，瓦斯继电器泄露检测模型为yolov4-tiny模型。8.根据权利要求1所述的遮挡条件下的变电站安全检测方法，其特征是，步骤3中，检测目标为油位计时，采用的安全识别模型是油位计漏油检测模型，油位计漏油检测模型采用hrnet+cascade-rcnn的网络结构。9.采用随机梯度下降算法优化softmax损失函数获得训练后的识别卷积网络。10.一种用于实现权利要求1-9任意一项所述的遮挡条件下的变电站安全检测方法的装置，其特征是，所述装置存储执行遮挡条件下的变电站安全检测方法的计算机程序指令。

技术总结

本发明涉及一种遮挡条件下的变电站安全检测方法及装置，该方法通过AI摄像头采集视频流数据，并对视频流数据进行预处理，得到待检测图片；构建并训练改进的端对端的MASKNET网络模型，并通过训练改进的端对端的MASKNET网络模型对待检测图片进行遮挡特征识别，确定检测目标；获取检测目标对应的安全识别模型，对检测目标进行安全识别，得到安全识别结果。本发明可以弱化遮挡区域的影响，准确识别目标类型，并根据目标类型选择对应的安全识别模型，保证安全检测的效率和准确性。保证安全检测的效率和准确性。保证安全检测的效率和准确性。