一种输电线路杆塔本体缺陷的检测方法及系统与流程

1.本发明涉及输电线路安全检测技术领域，尤其是一种输电线路杆塔本体缺陷的检测方法及系统。

背景技术：

2.输电线路巡检作业是保障输电线路稳定运行的重要基础，但随着电网建设的不断深入，输电线路架设的需求多与高人工运维成本之间的矛盾逐渐增大。而无人机巡检作为信息时代新兴起的巡检技术，它具有成本低廉、操作简单、不受环境影响等优势，能够有效缓解电网建设需求和人工运维成本之间的矛盾。因此如何应用无人机拍摄的输电线路巡检图像加速电网智能化成为目前电力领域的发展热点。
3.深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。在大数据的时代背景下，得益于图形处理器的飞速发展，深度学习技术在输电线路巡检领域发挥了重要作用。
4.在无人机拍摄的输电线路图像中，要巡检的缺陷种类众多。基于深度学习技术主要依赖目标的特征完成目标的识别，因此输电线路巡检工作仍面临着巨大的挑战，目前缺陷识别的准确率较低。

技术实现要素：

5.本发明提供了一种输电线路杆塔本体缺陷的检测方法及系统，用于解决现有基于深度学习技术对输电线图杆塔的缺陷识别率较低的问题。
6.为实现上述目的，本发明采用下述技术方案：
7.本发明第一方面提供了一种输电线路杆塔本体缺陷的检测方法，所述方法包括以下步骤：
8.实时或定时获取输电线路杆塔本体的初始图像；
9.基于预设的大金具标签，从所述初始图像中切分出大金具子图像；
10.对每个所述大金具子图像，基于预设隐患检测类型字典，若当前大金具子图像内包含小金具，则切分出符合预设分辨率的小金具子图像；
11.将大金具子图像输入训练好的第一检测模型，将小金具子图像输入训练好的第二检测模型，得到缺陷标签，将所述缺陷标签及大金具子图像、小金具子图像均映射到初始图像上，形成包含大金具、小金具及缺陷标签的检测结果。
12.进一步地，所述第一检测模型为大金具缺陷检测模型，所述第二检测模型为小金具缺陷检测模型，缺陷检测模型均为yolov5模型。
13.进一步地，所述缺陷检测模型训练前，还包括步骤：
14.构建训练数据集，所述训练数据集包括输电线路杆塔本体缺陷的数据集；
15.基于缺陷检测类型以及金具间的嵌入关系，将所述训练数据集分为大金具缺陷检测数据集和小金具缺陷检测数据集。
16.进一步地，所述大金具缺陷检测数据集的构建过程具体为：
17.对于所述数据集图像中的标签，若标签类别属于大金具类型，则保留当前标签，得到包含大金具标签的图像数据集；
18.判断所述图像数据集中各图像的分辨率，若分辨率大于第一预设分辨率阈值，则将当前图像切分，得到若干大金具子图像；
19.基于所述大金具子图像和输电线路杆塔本体缺陷图像，形成大金具缺陷检测数据集。
20.进一步地，所述小金具缺陷检测数据集的构建过程具体为：
21.基于预构建的隐患检测类型字典，判断每个大金具子图像是否包含小金具的检测类型；
22.若是，则判断当前大金具子图像中是否包含其他大金具，若不包含其他大金具，则基于当前大金具子图像的分辨率，切分出预设分辨率的小金具子图像；
23.将得到的所述小金具子图像和输电线路杆塔本体缺陷图像，形成小金具缺陷检测数据集。
24.进一步地，所述隐患检测类型字典包括大金具隐患检测类型字典和小金具隐患检测类型字典，所述隐患检测类型字典的构成方式为{缺陷类型：缺陷坐标}。
25.进一步地，所述大金具的金具检测类型包括扇形板、均压环、防震锤、三角联板、lk型联板、lx型联板、ll型联、船型垂线夹、预绞式垂线夹、绝缘子以及杆塔塔身。
26.进一步地，所述小金具的金具检测类型包括销钉、螺母和螺栓。
27.本发明第二方面提供了一种输电线路杆塔本体缺陷的检测系统，所述系统包括：
28.图像采集模块，用于实时或定时获取输电线路杆塔本体的初始图像，
29.第一子图像提取模块，基于预设的大金具标签，从所述初始图像中切分出大金具子图像；
30.第二子图像提取模块，用于对每个所述大金具子图像，基于预设隐患检测类型字典，若当前大金具子图像内包含小金具，则切分出符合预设分辨率的小金具子图像；
31.模型检测模块，将大金具子图像输入训练好的第一检测模型，将小金具子图像输入训练好的第二检测模型，得到缺陷标签，将所述缺陷标签及大金具子图像、小金具子图像均映射到初始图像上，形成包含大金具、小金具及缺陷标签的检测结果。
32.本发明第三方面提供了一种计算机存储介质，所述计算机存储介质中存储有计算机指令，所述计算机指令在所述系统上运行时，使所述系统执行所述方法的步骤。
33.发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
34.1、本发明根据缺陷检测类型，将检测对象分别大金具和小金具，使用大金具切片图像和原始图像混合训练模型，它能够有效的学习到大金具特征，准确的识别大金具。通过测试，大金具的识别精度(map)可以达到80.1％以上；此外，根据大金具和小金具的嵌套关系得到小金具的训练数据集，可以帮助模型提升小金具识别的准确率，本发明针对输电线路杆塔本体缺陷的小金具的识别精度(map)可以达到84.1％。
35.2、本发明基于yolov5目标检测算法，通过金具嵌入关系构建大金具缺陷检测数据集和小金具缺陷检测数据集分别训练yolov5目标检测算法，以提升检测算法对输电线路杆塔本体缺陷隐患识别的准确率，保障了电力的安全传输。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1是本发明所述检测方法实施例的流程示意图；
38.图2是本发明所述检测模型训练的流程示意图；
39.图3是本发明所述系统实施例的结构示意图。
具体实施方式
40.为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
41.本发明基于输电线杆塔路缺陷检测存在问题：(1)由于缺陷类型繁多，且有的缺陷类型间的特征相似，导致总体的缺陷识别率偏低。(2)大尺度隐患类别的识别精度要远高于小尺度隐患类别的隐患类别识别精度。(3)并且隐患类别的精测精度往往不和缺陷类别数量成正比，存在大尺度隐患类别少于小尺度隐患类别，但其检测精度要高于小尺度隐患类别。结合上述问题，本发明提出大小金具分开训练的策略，使用大金具切片图像和原始图像混合训练模型，它能够有效的学习到大金具特征，准确的识别大金具。通过测试；此外，根据大金具和小金具的嵌套关系得到小金具的训练数据，可以帮助模型提升小金具识别的准确率。
42.如图1所示，本发明实施例提供的一种输电线路杆塔本体缺陷的检测方法，包括以下步骤：
43.实时或定时获取输电线路杆塔本体的初始图像；
44.基于预设的大金具标签，从所述初始图像中切分出大金具子图像；
45.对每个所述大金具子图像，基于预设隐患检测类型字典，若当前大金具子图像内包含小金具，则切分出符合预设分辨率的小金具子图像；
46.将大金具子图像输入训练好的第一检测模型，将小金具子图像输入训练好的第二检测模型，得到缺陷标签，将所述缺陷标签及大金具子图像、小金具子图像均映射到初始图像上，形成包含大金具、小金具及缺陷标签的检测结果。
47.其中所述第一检测模型为大金具缺陷检测模型，所述第二检测模型为小金具缺陷检测模型，缺陷检测模型均为yolov5模型。
48.如图2所示，所述缺陷检测模型训练前的数据集处理及训练过程示意，具体为：
49.s1.通过输电线路场景下无人机拍摄的历史输电线路杆塔本体缺陷图像，提取输电线路杆塔本体图像的正负样本，正样本为输电线路杆塔本体所包含的金具，所述负样本为复杂的背景信息；以正样本构建识别杆塔本体图像中的金具的数据集。
50.s2.根据所述数据集中的检测类型将步骤s1中的数据集构建为包含大金具检测类型的数据集。
51.s3.根据所述数据集中的检测类型和金具间的嵌入关系将步骤s1中的数据集包含小金具检测类型的数据集。
52.s4.使用步骤s2获取的包含大金具检测类型的数据集和步骤s3包含小金具检测类型的数据集分别训练yolov5模型，以训练出能够识别大尺度金具第一检测模型和能够识别小金具的第二检测模型，且检测模型基于训练样本中缺陷标签的标识，在识别出大小金具的同时能够识别出杆塔本体缺陷。
53.s5.对步骤s4所述识别大尺度金具和小尺度金具的yolov5模型进行模型推理，以用于对输电线路杆塔本体缺陷图像进行检测，以检测出大尺度目标(大金具)、小尺度目标(小金具)和缺陷。
54.所述步骤s1具体包括：
55.s11:通过无人机巡检输电线路，在无人机巡检输线路过程中，无人机搭载的摄像头对输电线路进行实时或定时飞行拍摄，通过无线视频图像传输将拍摄的输电线路画面传输到地面监控系统，进而提取到历史输电线路杆塔本体缺陷图像数据。
56.s12:再通过系统存储中获取基于步骤s11中历史输电线路杆塔本体缺陷图像对应的真实金具信息，所述真实金具信息包括真实的金具的类型、真实的金具的位置。
57.所述步骤s2具体包括：
58.s21:根据历史输电线路杆塔本体缺陷图像中的目标检测类型将目标检测类型分为大金具和小金具。
59.s22:步骤s21所述大金具的金具检测类型具体包括扇形板、均压环、防震锤、三角联板、lk型联板、lx型联板、ll型联、船型垂线夹、预绞式垂线夹、绝缘子以及杆塔塔身缺陷；
60.s23:根据所述步骤s21、s22和s12，对输电线路杆塔本体缺陷图像进行大金具标签筛选。如果标签类别属于大金具的金具类型，则保留该标签。因此可得到关于大金具检测类别的输电线路杆塔本体缺陷图像。
61.s24:根据步骤s23获得的关于大金具检测类别的输电线路杆塔本体缺陷图像按比例进行切分。当所述输电线路杆塔本体缺陷图像的分辨率大于第一预设分辨率阈值2000*3000时，则对所述输电线路杆塔本体缺陷图像切分成4份，构建4个包含大金具检测类别的子图像。否则对关于大金具检测类别的输电线路杆塔本体缺陷图像不做处理。
62.s25:根据步骤s24获取的包含大金具类型的子图像和历史输电线路杆塔本体缺陷图像数据，构建关于大金具检测类别的数据集。
63.所述步骤s3具体包括：
64.s31:根据输电线路杆塔本体缺陷图像中的目标检测类型将目标检测类型分为大金具和小金具。
65.s32:步骤s31所述小金具的缺陷检测类型具体包括销钉、螺母\螺母和螺栓。
66.s33:根据步骤s31、步骤s32和步骤s12中的所述输电线路杆塔本体缺陷图像做小
金具子图像提取处理，获得的包含小金具的子图像。根据步骤s12和获取的输电线路杆塔本体缺陷图像中的真实金具信息和步骤s13划分的检测类型构建关于大金具检测类型字典和小金具检测类型字典。
67.s34:根据步骤s33获取关于大金具检测类型字典和小金具检测类型字典，判断每一个大金具是否包含有小金具的检测类型，如果有则进行步骤s35；如果没有，则判断下一个大金具是否包含有小金具的检测类型。
68.s35:根据步骤s33获取关于大金具检测类型字典和小金具检测类型字典,所述大金具是否包含其他大金具。如果所述大金具不包含其他大金具则进行步骤s36；否则，对该大金具不做处理，并回到步骤s34。
69.s36：判断所述大金具的分辨率是否大于第二预设分辨率阈值640*640，如果所述大金具分辨率大于640*640，则根据所述大金具的标签坐标信息切分出包含小金具的子图像，并将小金具的标签映射至子图像域；如果所述大金具的分辨率小于640*640，则以所述大金具为中心，切分出预设分辨率640*640的包含小金具的子图像，并将小金具的标签映射至子图像域。
70.s37:根据步骤s31-步骤s37切分出的包含小金具的输电线路杆塔本体缺陷图像与其对应的标签数据构建关于小金具检测类别的数据集。
71.将步骤s2获取的包含大金具检测类型的数据集和步骤s3包含小金具检测类型的数据集分别构建训练集、验证集和测试集。
72.所述步骤s5具体包括:
73.s51:通过步骤s3所述模型在测试集上的推理，得识别出所述测试集中输电线路杆塔本体图像中大金具检测类型及对应坐标和小金具检测类型和对应坐标。
74.s52:根据步骤s51所述模型推理给出的小金具坐标识别结果映射回原始图像域。
75.s52:所述验证模块用于采用所述测试集对训练后的目标检测模型进行测试，以及采用验证集验证输电线路杆塔本体图像的识别结果，判断输电线路杆塔本体图像是否存在安全隐患。
76.如图3所示，本发明实施例还提供了一种输电线路杆塔本体缺陷的检测系统，所述系统包括图像采集模块、第一子图像提取模块、第二子图像提取模块和模型检测模块。
77.图像采集模块用于实时或定时获取输电线路杆塔本体的初始图像，第一子图像提取模块基于预设的大金具标签，从所述初始图像中切分出大金具子图像；第二子图像提取模块，用于对每个所述大金具子图像，基于预设隐患检测类型字典，若当前大金具子图像内包含小金具，则切分出符合预设分辨率的小金具子图像；模型检测模块，将大金具子图像输入训练好的第一检测模型，将小金具子图像输入训练好的第二检测模型，得到缺陷标签，将所述缺陷标签及大金具子图像、小金具子图像均映射到初始图像上，形成包含大金具、小金具及缺陷标签的检测结果。
78.本发明的检测系统能够实现检测方法实施例的各种实现方式，并取得相同的技术效果。
79.本发明还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机指令，所述计算机指令在所述系统上运行时，使所述系统执行所述方法的步骤。
80.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范
围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

技术特征：

1.一种输电线路杆塔本体缺陷的检测方法，其特征是，所述方法包括以下步骤：实时或定时获取输电线路杆塔本体的初始图像；基于预设的大金具标签，从所述初始图像中切分出大金具子图像；对每个所述大金具子图像，基于预设隐患检测类型字典，若当前大金具子图像内包含小金具，则切分出符合预设分辨率的小金具子图像；将大金具子图像输入训练好的第一检测模型，将小金具子图像输入训练好的第二检测模型，得到缺陷标签，将所述缺陷标签及大金具子图像、小金具子图像均映射到初始图像上，形成包含大金具、小金具及缺陷标签的检测结果。2.根据权利要求1所述输电线路杆塔本体缺陷的检测方法，其特征是，所述第一检测模型为大金具缺陷检测模型，所述第二检测模型为小金具缺陷检测模型，缺陷检测模型均为yolov5模型。3.根据权利要求2所述输电线路杆塔本体缺陷的检测方法，其特征是，所述缺陷检测模型训练前，还包括步骤：构建训练数据集，所述训练数据集包括输电线路杆塔本体缺陷的数据集；基于缺陷检测类型以及金具间的嵌入关系，将所述训练数据集分为大金具缺陷检测数据集和小金具缺陷检测数据集。4.根据权利要求3所述输电线路杆塔本体缺陷的检测方法，其特征是，所述大金具缺陷检测数据集的构建过程具体为：对于所述数据集图像中的标签，若标签类别属于大金具类型，则保留当前标签，得到包含大金具标签的图像数据集；判断所述图像数据集中各图像的分辨率，若分辨率大于第一预设分辨率阈值，则将当前图像切分，得到若干大金具子图像；基于所述大金具子图像和输电线路杆塔本体缺陷图像，形成大金具缺陷检测数据集。5.根据权利要求4所述输电线路杆塔本体缺陷的检测方法，其特征是，所述小金具缺陷检测数据集的构建过程具体为：基于预构建的隐患检测类型字典，判断每个大金具子图像是否包含小金具的检测类型；若是，则判断当前大金具子图像中是否包含其他大金具，若不包含其他大金具，则基于当前大金具子图像的分辨率，切分出预设分辨率的小金具子图像；将得到的所述小金具子图像和输电线路杆塔本体缺陷图像，形成小金具缺陷检测数据集。6.根据权利要求5所述输电线路杆塔本体缺陷的检测方法，其特征是，所述隐患检测类型字典包括大金具隐患检测类型字典和小金具隐患检测类型字典，所述隐患检测类型字典的构成方式为{缺陷类型：缺陷坐标}。7.根据权利要求1所述输电线路杆塔本体缺陷的检测方法，其特征是，所述大金具的金具检测类型包括扇形板、均压环、防震锤、三角联板、lk型联板、lx型联板、ll型联、船型垂线夹、预绞式垂线夹、绝缘子以及杆塔塔身。8.根据权利要求1所述输电线路杆塔本体缺陷的检测方法，其特征是，所述小金具的金具检测类型包括销钉、螺母和螺栓。
9.一种输电线路杆塔本体缺陷的检测系统，其特征是，所述系统包括：图像采集模块，用于实时或定时获取输电线路杆塔本体的初始图像，第一子图像提取模块，基于预设的大金具标签，从所述初始图像中切分出大金具子图像；第二子图像提取模块，用于对每个所述大金具子图像，基于预设隐患检测类型字典，若当前大金具子图像内包含小金具，则切分出符合预设分辨率的小金具子图像；模型检测模块，将大金具子图像输入训练好的第一检测模型，将小金具子图像输入训练好的第二检测模型，得到缺陷标签，将所述缺陷标签及大金具子图像、小金具子图像均映射到初始图像上，形成包含大金具、小金具及缺陷标签的检测结果。10.一种计算机存储介质，所述计算机存储介质中存储有计算机指令，其特征是，所述计算机指令在权利要求9所述系统上运行时，使所述系统执行如权利要求1-8任一项所述方法的步骤。

技术总结

本发明提供了一种输电线路杆塔本体缺陷的检测方法及系统，方法包括实时或定时获取输电线路杆塔本体的初始图像，基于预设的大金具标签，从所述初始图像中切分出大金具子图像；对每个所述大金具子图像，基于预设隐患检测类型字典，若当前大金具子图像内包含小金具，则切分出符合预设分辨率的小金具子图像；将大金具子图像和小金具子图像分别输入检测模型，将识别结果均映射到初始图像上，形成包含大金具、小金具及缺陷标签的检测结果。本发明根据缺陷检测类型，它能够有效的学习到大金具特征，准确的识别大金具。通过测试，大金具的识别精度(mAP)可以达到80.1％以上，针对输电线路杆塔本体缺陷的小金具的识别精度(mAP)可以达到84.1％。到84.1％。到84.1％。