(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202110046360.5
(22)申请日 2021.01.14
(71)申请人 国网安徽省电力有限公司
地址 230000 安徽省合肥市包河区黄山路9
号
申请人 国网安徽省电力有限公司电力科学
研究院
中国科学技术大学先进技术研究院
(72)发明人 李金中 王小明 王子磊 谢毓广
高博 徐斌 汪玉 胡效鸣 (74)专利代理机构 北京国林贸知识产权代理有
限公司 11001
代理人 李桂玲 杜国庆
(51)Int.Cl.
G06Q 10/00(2012.01)
G06T 17/00(2006.01)G06F 30/20(2020.01)G06F 30/10(2020.01)G06K 9/00(2006.01)G06T 7/00(2017.01)G06T 7/33(2017.01)G06N 3/04(2006.01)G06N 3/08(2006.01)G07C 1/20(2006.01)G01N 21/88(2006.01)
(54)发明名称一种基于无人机图像的光伏电站智能巡检方法及系统(57)摘要本发明公开了一种基于无人机图像的光伏电站智能巡检方法及系统，系统包括无人机数据导入模块、巡检数据解析模块、深度学习算法模块、数字光伏电站模块、巡检结果管理模块和巡检回放模块；本发明通过在多模态巡检图像数据上引入深度学习算法，实现更加精确的光伏缺陷检测；通过建立数字光伏电站，实现光伏电站总体布局的表达和巡检过程的回放；通过虚拟场景图像与真实采集图像的配准，实现真实场景中光伏板位置与编号的获取；通过回放功能直观展示单批次巡检过程与结果，实现了光伏板缺陷的精确检测；构建巡检回放功能，通过巡检过程可视化，便于运维人员的直观调试和巡检管理，大幅提升光伏电站的自动化运维水平，有效提高光伏
电站的巡检效率。权利要求书2页 说明书8页 附图2页CN 112633535 A 2021.04.09
C N 112633535
A
1.一种基于无人机图像的光伏电站智能巡检方法，包括无人机按照指定巡检轨迹飞行获取光伏板图像，对获取的光伏板图像进行解析处理输出光伏板故障定位，其特征在于，所述对获取的光伏板图像进行解析处理输出光伏板故障定位包括：
一，建立一个数字光伏电站：由实际光伏电站鸟瞰图像分别生成与实际光伏电站场景图像相一致的虚拟仿真场景图像和语义实例图像；虚拟仿真场景图像和语义实例图像相互匹配，所述虚拟仿真场景图像包括光伏板模型和场景布局，场景布局包括了光伏板模型布局和环境因素，光伏板模型布局含有基于地理经纬度定位坐标信息；所述语义实例图像是将布局的不同光伏板模型用渲染图像和编号加以区分表达；
二，将获取的光伏板图像进行像素提取，将提取的像素输入缺陷判定神经网络模型，缺陷判定神经网络模型输出判定结果，其中：对于缺陷结果的输出包括缺陷类型信息以及缺陷边界框坐标；
三，将输出的缺陷类型信息以及缺陷边界框坐标映射到所述语义实例图像中，从语义实例图像中获取
缺陷所在光伏板编号信息，并根据虚拟仿真场景图像和语义实例图像相互匹配关系，将缺陷边界框显示在虚拟仿真场景图像光伏板模型中对光伏板故障定位；
四，存储巡检结果数据用于巡检回放查询并输出最终光伏板故障定位；
其中：所述缺陷判定神经网络模型是根据光伏板缺陷类型事先深度学习建立的模型。
2.根据权利要求1所述的方法，其特征在于，所述光伏板图像包括连续间隔拍照的可见光图像和红外光图像，可见光图像用于判定光伏板表面是否有杂物遮挡以及杂物类型，红外光图像用于判定光伏板表面是否有热斑区块，其中：间隔图像至少有三分之一重叠。
3.根据权利要求1所述的方法，其特征在于，所述指定轨迹是从虚拟仿真场景图像中根据光伏板模型布局含有的地理经纬度定位坐标信息制定的轨迹。
4.根据权利要求1所述的方法，其特征在于，所述巡检结果数据包括无人机飞行轨迹的经纬度和高度信息、图像的拍摄时间和缺陷类型以及缺陷位置和缺陷位置所在光伏板编号的信息。
5.根据权利要求1所述的方法，其特征在于，所述缺陷判定神经网络模型使用的是Faster‑RCNN目标检测模型。
6.根据权利要求1所述的方法，其特征在于，所述输出最终光伏板故障定位是：无人机按照指定巡检轨迹重复飞行多次，对每一次获取光伏板图像进行解析处理分别输出光伏板故障定位，对每一次的光伏板故障定位进行比对，将重复出现的光伏板故障定位作为最终光伏板故障定位输出。
7.一种实现权利要求1所述光伏电站智能巡检方法的系统，其特征在于，所述系统包括：无人机数据导入模块、巡检数据解析模块、深度学习算法模块、数字光伏电站模块、巡检结果管理模块和巡检回放模块；其中：
所述无人机数据导入模块是将无人机巡检所采集的红外光图像、可见光图像进行预处理，并导入到巡检数据解析模块中；
所述巡检数据解析模块是利用深度学习算法将巡检图像数据解析为所需的巡检结果，包括经纬度、高度、拍摄时间、缺陷类型、缺陷位置及所在光伏板的编号；
所述深度学习算法模块为巡检数据解析模块提供支撑，包括缺陷检测算法和图像配准算法，缺陷检测算法从多模态巡检图像中检测出各类缺陷，图像配准算法将数字光伏电站
模块的虚拟仿真场景图像与实际采集的真实光伏电站图像进行配准；
所述数字光伏电站模块为实际的光伏电站建立对应的虚拟仿真场景图像和语义实例图像，为深度学习
算法模块生成场景图像、语义实例图像虚拟数据，进而可视化巡检回放模块的巡检过程；
所述巡检结果管理模块用于存储和管理光伏电站巡检的数据，包括原始巡检数据和解析的巡检结果，并支持巡检结果的查询；
所述巡检回放模块是将单个批次的巡检过程数据和结果数据进行可视化，实现在数字光伏电站中的回放展示。
8.根据权利要求7所述系统，其特征在于，所述缺陷检测算法是采用Faster‑RCNN目标检测模型对巡检图片中的光伏板缺陷进行检测；所述图像配准算法是使用BFMatcher特征点匹配方法对两张图像的特征点位置和对应的描述符进行匹配，根据随机抽样一致算法ransac去除不合格的特征匹配点对后，利用剩余匹配特征点对计算仿射变换矩阵，从而实现真实巡检图像和虚拟场景图像之间的配准。
9.根据权利要求8所述系统，其特征在于，所述Faster‑RCNN目标检测模型对巡检图片中的光伏板缺陷进行检测包括：首先使用预训练的卷积神经网络作为特征提取器，生成卷积特征图，而后用区域候选网络RPN进行候选区域的提取，最后对卷积神经网络提取的特征和包含相关物体的边界框采用特征区域池化RoI Pooling处理，以调整边界框坐标。
10.根据权利要求7所述系统，其特征在于，所述为实际的光伏电站建立对应的虚拟仿真场景图像和语
义实例图像的过程是：首先用无人机现场拍摄的光伏电站鸟瞰照片，利用虚幻4引擎在虚拟场景中搭建真实电站场景的1:1虚拟模型，构建出虚拟光伏板的三维模型，根据光伏板编号与经纬度坐标数据，调整每块光伏板在场景中的具体位置，使数字光伏电站中的光伏板布局与实际电站一致，得到的虚拟仿真光伏电站场景图像；在图像中生成的每张虚拟场景光伏板图片时，利用虚幻4引擎构建图像生成插件，在生成每张光伏板虚拟场景图像的同时渲染获得光伏板实例的掩膜图像，对不同的光伏板组件采用对应的编号进行表达，最终生成与光伏电站真实采集图像相匹配的虚拟仿真场景图像和语义实例图像。
一种基于无人机图像的光伏电站智能巡检方法及系统
技术领域
[0001]本发明涉及一种基于无人机图像的光伏电站智能巡检方法及系统。
背景技术
[0002]光伏发电是直接将太阳能转化成电能的产业。由于常规能源具有储量有限、污染高等缺点，因而环保可靠且可再生的光伏发电系统迅速发展。基于太阳能的光伏发电系统分为集中式和分布式，集中式光伏电站一般占地面积广，建设位置大多位于一些偏远地区、自然环境较为恶劣；分布式电站一
般建在屋顶、大棚和大面积水池上。在光伏电站运行中，光伏板容易受到鸟粪污染、树枝树叶遮挡、风吹日晒老化等因素的影响，随着时间推移可能出现裂痕、热斑等问题，影响光伏板的发电效率。这给光伏电站的管理人员带来了巨大的运维压力，需要定期巡视光伏电站以检查光伏板是否存在缺陷。
[0003]传统的光伏电站运维主要依靠人工巡检，这种方式不仅成本高昂、工作效率低下，还需要依靠运维人员的经验进行判别，容易出现巡检不到位等问题。另外，在偏远地区，交通环境相对恶劣，导致光伏电站巡检工作成本高昂，效率低下。因此，人工巡检方式难以满足安全高效的光伏电站巡检需求。
[0004]随着无人机技术的发展和中国智能电网建设的推进，提出了基于视觉图像的光伏电站智能巡检系统，它能够大幅缩减运维所需人数及时间，节省人力运维成本，有效提升电站巡检效率。在已有的一些光伏电站智能巡检系统中，通常包含了巡检路径规划、无人机智能飞行、图像采集远距离图传、设备故障智能诊断、巡检报告生成等功能，已经开始实现从“手持设备巡检”到“无人机自动巡检”的转变。然而，如何充分地结合智能化技术，进一步提升光伏电站巡检的自动化水平和精细化程度成为下一阶段的发展方向。
[0005]在已有的光伏电站自动巡检系统中，公开号CN107356339A的《一种无人机光伏电站检测方法》采用巡检人员手动操纵无人机在电站中飞行完成巡检；公开号CN110276851A 的《一种应用无人
机在光伏电站中进行智能巡检的方法及其巡检装置》为光伏板粘贴编码标签，完成对缺陷光伏板的精准定位；公开号CN111459190A的《面向规模化集中式光伏电站自动巡检的无人机及巡检方法》利用可交换图像文件（EXIF）中包含的经纬度信息获取缺陷光伏板的大致坐标。针对地形复杂的光伏电站场景，这些巡检方法要么仍需要大量的人工操作，要么难以对光伏板组件进行精准定位，即光伏电站的缺陷检测能力和自动化程度仍较低，极大地限制了它们在实际场景中的实用性。
发明内容
[0006]本发明的目的是提出一种基于无人机图像的光伏电站智能巡检方法及系统，通过建立具有实例标注的数字光伏电站，通过虚拟场景图和真实采集图的配准，实现巡检图像中光伏板组件的自动定位与编号生成，利用深度学习算法处理可见光、红外等多模态数据，实现光伏板缺陷的精确检测。
[0007]为了实现上述目的，本发明的技术方案是：
一种基于无人机图像的光伏电站智能巡检方法，包括无人机按照指定巡检轨迹飞行获取光伏板图像，对获取的光伏板图像进行解析处理输出光伏板故障定位，其中，所述对获取的光伏板图像进行解析处理输出光伏板故障定位包括：
一，建立一个数字光伏电站：由实际光伏电站鸟瞰图像分别生成与实际光伏电站场景图像相一致的虚
拟仿真场景图像和语义实例图像；虚拟仿真场景图像和语义实例图像相互匹配，所述虚拟仿真场景图像包括光伏板模型和场景布局，场景布局包括了光伏板模型布局和环境因素，光伏板模型布局含有基于地理经纬度定位坐标信息；所述语义实例图像是将布局的不同光伏板模型用渲染图像和编号加以区分表达；
二，将获取的光伏板图像进行像素提取，将提取的像素输入缺陷判定神经网络模型，缺陷判定神经网络模型输出判定结果，其中：对于缺陷结果的输出包括缺陷类型信息以及缺陷边界框坐标；
三，将输出的缺陷类型信息以及缺陷边界框坐标映射到所述语义实例图像中，从语义实例图像中获取缺陷所在光伏板编号信息，并根据虚拟仿真场景图像和语义实例图像相互匹配关系，将缺陷边界框显示在虚拟仿真场景图像光伏板模型中对光伏板故障定位；
四，存储巡检结果数据用于巡检回放查询并输出最终光伏板故障定位；
其中：所述缺陷判定神经网络模型是根据光伏板缺陷类型事先深度学习建立的模型。
[0008]方案进一步是：所述光伏板图像包括连续间隔拍照的可见光图像和红外光图像，可见光图像用于判定光伏板表面是否有杂物遮挡以及杂物类型，红外光图像用于判定光伏板表面是否有热斑区块，其中：间隔图像至少有三分之一重叠。
[0009]方案进一步是：所述指定轨迹是从虚拟仿真场景图像中根据光伏板模型布局含有的地理经纬度定位坐标信息制定的轨迹。
[0010]方案进一步是：所述巡检结果数据包括无人机飞行轨迹的经纬度和高度信息、图像的拍摄时间和缺陷类型以及缺陷位置和缺陷位置所在光伏板编号的信息。
[0011]方案进一步是：所述缺陷判定神经网络模型使用的是Faster‑RCNN目标检测模型。[0012]方案进一步是：所述输出最终光伏板故障定位是：无人机按照指定巡检轨迹重复飞行多次，对每一次获取光伏板图像进行解析处理分别输出光伏板故障定位，对每一次的光伏板故障定位进行比对，将重复出现的光伏板故障定位作为最终光伏板故障定位输出。[0013]一种实现上述光伏电站智能巡检方法的系统，包括：无人机数据导入模块、巡检数据解析模块、深度学习算法模块、数字光伏电站模块、巡检结果管理模块和巡检回放模块；其中：
所述无人机数据导入模块是将无人机巡检所采集的红外光图像、可见光图像进行预处理，并导入到巡检数据解析模块中；
所述巡检数据解析模块是利用深度学习算法将巡检图像数据解析为所需的巡检结果，包括经纬度、高度、拍摄时间、缺陷类型、缺陷位置及所在光伏板的编号；
所述深度学习算法模块为巡检数据解析模块提供支撑，包括缺陷检测算法和图像配准算法，缺陷检测算法从多模态巡检图像中检测出各类缺陷，图像配准算法将数字光伏电站模块的虚拟仿真场景图像与实际采集的真实光伏电站图像进行配准；
所述数字光伏电站模块为实际的光伏电站建立对应的虚拟仿真场景图像和语义
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议