一种基于数据增强技术的红外图像光伏热斑识别方法与流程

1.本发明属于光伏电站运维技术领域，主要通过计算机深度学习技术进行光伏面板的热斑诊断，具体涉及基于数据增强技术的红外图像光伏热斑识别方法。

背景技术：

2.通常，在太阳光照下的热斑图片如图1所示，在红外线模式下的热斑如图2所示。从图1、2中可以看出，在红外线下的热斑更容易识别也更容易判断位置。红外线图像一般产生于8至14um的波长，比较于可见光(可以达到0.4至0.8um波长)具备更好的在烟雾中的穿透能力，而且不会因为剧烈光源和闪光而影响成像的效果，红外热成像是用被动成像的方式来生成图像，不需要通过太阳光以及额外的光源进行补光拍摄，具有隐蔽性优良的特点。而且利用目标与周围环境的温差成像，与周边温度范围内有对比度高、作用距离远、对于广范围的绿化面积以及低温的遮盖物具有一定穿透能力、易于发现光伏组件热斑单点以及点的目标等特点。在红外热像预知维护领域，普遍采用红外热像仪对所有电力电气组件、配电器变电站以及所有的配电线、电动机、变压器等等进行红外热成像检查，这样做就可以避免所有运行的设备不存在潜伏性的隐患，高效的防止停工、火灾等重大的工作事故发生。
3.但是，现有的红外光伏图像数据集是有限的，在有限数据情况下很难应用深度学习技术取得良好的结果。所以需要一种数据增强技术和深度学习相辅相成在有限的情况下得到最好的应用效果。为此，我们提出一种基于数据增强技术的红外图像光伏热斑识别方法

技术实现要素：

4.本发明的目的是提供一种基于数据增强技术的红外图像光伏热斑识别方法，以解决现有技术中红外光伏图像数据集是有限的，一次很难应用深度学习技术取得良好结果的问题。
5.为了实现上述目的，本发明采用的技术方案如下：
6.一种基于数据增强技术的红外图像光伏热斑识别方法，通过无人机拍摄得到光伏面板红外图像，然后通过数据增强技术得到更多的数据填充进入数据集中，最后训练yolox模型得到一个可以检测到光伏热斑的深度网络模型。
7.一种基于数据增强技术的红外图像光伏热斑识别方法，包括以下步骤：
8.s1.采用基于嵌入和混合的数据增强技术对红外图像进行数据处理；
9.s2.对步骤s1处理后的图片进行边缘检测，检测出组件边缘后才将其放入数据集中；
10.s3.对步骤s2中得到的数据进行进行目标识别。
11.进一步地，步骤s1中，所述嵌入和混合的数据增强技术包括嵌入和混合两种技术。
12.进一步地，所述嵌入的方法是对四张448*448图片进行标注，标注为a、b、c、d，并且将他们的标注框命名为a，b，c，d，生成出一张空白的背景图将abcd进行配平操作后，然后将
背景图分成平均的四个部分，将abcd分别放在背景图的四个部分，每个部分各自划定区域的图像进行剔除。通俗的意思就是将系统尺寸的四张图片识别出来的标签裁剪下来进行缩放或者扩大将其放在新图片的四个部分。
13.进一步地，所述混合数据增强技术就是通过线性插值的方法来扩充目标训练的分布来扩充数据集，具体表示为：
[0014][0015][0016][0017]
其中，λ～beta(α,α),α∈(0,∞)，(xi，yi)和(xi，yi)是原始的训练集中随机的两个样本，λ∈[0,1]，α是mixup的超参数，代表着两个图片的插值的程度。
[0018]
混合数据增强技术的直观来说就是将两张图片通过加权进行叠加。如图4所示。
[0019]
进一步地，步骤s2中边缘检测技术的实现步骤为：
[0020]
s2.1.对图像进行高斯平滑；
[0021]
s2.2.求梯度的方向和幅值；
[0022]
s2.3.非极大值抑制(nms)，在多个识别结果中选择最大值进行保留，将非极大值进行丢弃；
[0023]
s2.4.图像二值化，通过高低两个不同的阈值进行筛选。
[0024]
进一步地，所述步骤s2.1中，图像中的边缘信息用滤波器对于噪声进行过滤后通过高斯平滑来减弱噪声的影响，具体公式如下：
[0025][0026]
其中，表示卷积运算，σ表示高斯卷积的平滑因子，σ越大，图像越平滑。
[0027]
进一步地，所述步骤s2.2中，对平滑后的i(x，y)求偏导得到了偏导数i
x
′
与iy′
[0028][0029]
r(x,y)＝arctan[i
x
′
(x,y),iy′
(x,y)]
ꢀꢀꢀ
(4)
[0030]
其中m(x，y)为梯度方向，梯度的方向是函数f(x，y)变化最快的方向，当图像中存在边缘时，一定有较大的梯度值，r(x，y)为幅值。
[0031]
进一步地，所述步骤s2.3中，将点p(x，y)和最近的八个点进行比较，比较的方式按照导数减小的方向，若点p(x，y)小于周边的值，那么选取其中最大的值，并且从中可以得知p(x，y)就不是极大值并且将该点梯度的幅值置0。
[0032]
进一步地，步骤s2.4.中，图像二值化包括，第一步就是线用高阈值来对图像的边缘进行一个初步的检测，根据检测结果，如果高于高阈值的话就设置为255的标记，如果低于高阈值就设置为0的标记；为了使阈值能够满足多场景的运用，而不会因为固定的场景而有所限制，所以图像直方图就被利用来抉择出一个高阈值；于是列出了函数c(i)＝ni，其中
ni就是幅值大小为i的像素点的个数，其中相同幅值点在图像中出现的的概率为其中n为总的图像点的个数，随后，通过图像选择适合的高阈值，低阈值的值自然就可以设置为高阈值的二分之一，这样就可以实现图像二值化的检测。
[0033]
进一步地，所述目标识别包括使用循环生成对抗网络(cyclegan)进行交叉模态合成和使用yolo算法进行多目标检测两个阶段，使用循环生成对抗网络生成的合成图像以及源图像的注释来增强yolo检测器的训练数据集。
[0034]
进一步地，所述循环生成对抗网络(cyclegan)进行交叉模态合成方法，其允许源x和目标域y之间的双向翻译，使用两个生成器网络g1、g2，例如g1：x
→
y和g2：y
→
x，每个都与一个判别器网络、d1和d2相关联，然后进行对抗训练；其中g和d网络相互竞争，d用作二进制分类器，区分合成图像和真实目标图像，而g试图通过提高合成输出图像的质量来欺骗鉴别器，生成器网络g的输入是源域图像x∈x，其输出是合成图像，鉴别器d的输入是合成输出和来自目标域y∈y的未配对随机图像，
[0035]
进一步地，所述yolo检查方法包括，首先将图像拆分为s
×
s个单元，每个网格单元预测三个组件：b个边界框的坐标(x,y,w,h)、置信度得分p(object)以及c个类别的类别概率以边界框中是否存在对象为条件。
[0036]
优选地，所述yolo算法采用yolox，yolox能在三个不同的尺度上进行预测，为了更稳定的预测，yolox使用了与尺度相关的框先验。
[0037]
且综上所述，由于采用了上述技术方案，发明的有益技术效果是：
[0038]
图像深度学习中，有一个非常重要的关键点是需要大量的样本去训练模型，一但样本量不足那么模型可能陷入到过拟合的状况，不能达到很好的检测目标效果。一种基于数据增强技术的红外图像光伏热斑识别方法，使用了数据增强技术以应对图片样本数量不足的情况，克服了现有的红外光伏图像数据集在有限数据情况下很难应用深度学习技术取得良好结果的技术问题。
附图说明
[0039]
图1为热斑太阳光照图。
[0040]
图2为热斑红外线图。
[0041]
图3为基于嵌入的数据增强步骤。
[0042]
图4为基于混合的数据增强步骤。
[0043]
图5为边缘检测步骤。
[0044]
图6为基于循环生成对抗网络的目标识别过程。
[0045]
图7为目标识别yolox模型的主要网络架构。
具体实施方式
[0046]
为了使发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释发明，并不用于限定发明。
[0047]
一种基于数据增强技术的红外图像光伏热斑识别方法，包括：
[0048]
采用基于嵌入和混合的数据增强技术；
[0049]
采用边缘检测技术；由于会出现无人机拍摄的图片中没有光伏组件的情况，所以对所有图片进行边缘检测，检测出组件边缘后才将其放入数据集中；
[0050]
对数据集中的数据进行进行目标识别。
[0051]
其中，边缘检测技术的实现步骤为：
[0052]
1.对图像进行高斯平滑；
[0053]
图像中的边缘信息用滤波器对于噪声进行过滤后通过高斯平滑来减弱噪声的影响，具体公式如下：
[0054][0055]
其中，表示卷积运算，σ表示高斯卷积的平滑因子，σ越大，图像越平滑。
[0056]
2.求梯度的方向和幅值；
[0057]
对平滑后的i(x，y)求偏导得到了偏导数i
x
'与iy'
[0058][0059]
r(x,y)＝arctan[i
x
′
(x,y),iy′
(x,y)]
ꢀꢀꢀ
(2)
[0060]
其中m(x，y)为梯度方向，梯度的方向是函数f(x，y)变化最快的方向，当图像中存在边缘时，一定有较大的梯度值，r(x，y)为幅值。
[0061]
3.非极大值抑制(nms)；
[0062]
与目标识别中的非极大值抑制类似，就是在多个识别结果中选择最大值进行保留，将非极大值进行丢弃，这样就不会出现重复的线条出现。具体来说，就是将点p(x，y)和最近的八个点进行比较，比较的方式按照导数减小的方向，若点p(x，y)小于周边的值，那么选取其中最大的值，并且从中可以得知p(x，y)就不是极大值并且将该点梯度的幅值置0。
[0063]
4.图像二值化
[0064]
图像二值化指的是通过高低两个不同的阈值进行筛选，第一步就是线用高阈值来对图像的边缘进行一个初步的检测，根据检测结果，如果高于高阈值的话就设置为255的标记，如果低于高阈值就设置为0的标记。这样的好处是边缘图像会呈现周围噪声并不会影响太大但是随之而来的就是出现图像失真这样的问题，这时使用就需要使用低阈值的方式来弥补刚刚失真的现象；那么新边缘可以填充掉高阈值检测到的图像边缘的缝隙中，弥补边缘部分的失准的情况并且对边缘部分精细的提取的原因主要就是因为图像的分布是连续性，所以可以进行弥补。为了使阈值能够满足多场景的运用，而不会因为固定的场景而有所限制，所以图像直方图就被利用来抉择出一个高阈值。于是列出了函数c(i)＝ni，其中ni就是幅值大小为i的像素点的个数，其中相同幅值点在图像中出现的的概率为其中n为总的图像点的个数，最后，通过图像选择适合的高阈值，低阈值的值自然就可以设置为高阈值的二分之一，这样就可以实现双阈值的检测。
[0065]
其中，边缘检测函数，将低高阈值分别设置为100和200，得到如图5所示的边缘效
果，其中从边缘图片中可以看出热斑出现时的光伏块的边缘也会把热斑轮廓勾画出来，但仅仅只限制于独立存在的热斑个体，而当出现强光照射所出现的反射时也有出现热斑类似的不规则条纹，所以仅仅靠边缘检测算法远远不够，而是需要后续标注数据集并且通过训练后的预测才能将热斑进行识别。
[0066]
进行目标识别，具体识别工作流程如图6所示有2个阶段：使用循环生成对抗网络(cyclegan)进行交叉模态合成和使用yolo算法进行多目标检测。yolo因其速度和精度而被选为检测器，这种方法首先将图像拆分为s
×
s个单元。每个网格单元预测三个组件：(1)b个边界框的坐标(x,y,w,h)，(2)置信度得分p(object)，以及(3)c个类别的类别概率以边界框中是否存在对象为条件。采用的yolox的架构如图5所示。它在三个不同的尺度上进行预测。为了更稳定的预测，使用了与尺度相关的框先验。这些是从训练数据集中学习的。
[0067]
循环生成对抗网络是一种无监督深度学习方法，它允许源x和目标域y之间的双向翻译。它使用两个生成器网络g1、g2，例如g1：x
→
y和g2：y
→
x，每个都与一个判别器网络、d1和d2相关联，然后进行对抗训练。g和d网络相互竞争。d用作二进制分类器，试图区分合成图像和真实目标图像，而g试图通过提高合成输出图像的质量来欺骗鉴别器。生成器网络g的输入是源域图像x∈x，其输出是合成图像，鉴别器d的输入是合成输出和来自目标域y∈y的未配对随机图像。然后使用使用循环生成对抗网络生成的合成图像以及源图像的注释来增强yolo检测器的训练数据集。
[0068]
以上所述为发明的较佳实施例，并不用以限制发明，凡在发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在发明的保护范围之内。

技术特征：

1.一种基于数据增强技术的红外图像光伏热斑识别方法，其特征在于：通过无人机拍摄得到光伏面板红外图像，然后通过数据增强技术得到更多的数据填充进入数据集中，最后训练yolox模型得到一个可以检测到光伏热斑的深度网络模型。2.根据权利要求1所述的一种基于数据增强技术的红外图像光伏热斑识别方法，包括以下步骤：s1.采用基于嵌入和混合的数据增强技术对红外图像进行数据处理；s2.对步骤s1处理后的图片进行边缘检测，检测出组件边缘后才将其放入数据集中；s3.对步骤s2中得到的数据进行进行目标识别。3.根据权利要求2所述的一种基于数据增强技术的红外图像光伏热斑识别方法，其特征在于：所述嵌入和混合的数据增强技术包括嵌入和混合两种技术，所述嵌入的方法是对四张448*448图片进行标注，标注为a、b、c、d，并且将他们的标注框命名为a，b，c，d，生成出一张空白的背景图将abcd进行配平操作后，然后将背景图分成平均的四个部分，将abcd分别放在背景图的四个部分，每个部分各自划定区域的图像进行剔除。4.根据权利要求2所述的一种基于数据增强技术的红外图像光伏热斑识别方法，其特征在于：所述混合数据增强技术就是通过线性插值的方法来扩充目标训练的分布来扩充数据集，具体表示为：据集，具体表示为：据集，具体表示为：其中，λ～beta(α,α),α∈(0,∞)，(xi，yi)和(xi，yi)是原始的训练集中随机的两个样本，λ∈[0,1]，α是mixup的超参数，代表着两个图片的插值的程度，混合数据增强技术的直观来说就是将两张图片通过加权进行叠加。5.根据权利要求2所述的一种基于数据增强技术的红外图像光伏热斑识别方法，其特征在于：步骤s2中边缘检测技术的实现步骤为：s2.1.对图像进行高斯平滑；s2.2.求梯度的方向和幅值；s2.3.非极大值抑制(nms)，在多个识别结果中选择最大值进行保留，将非极大值进行丢弃；s2.4.图像二值化，通过高低两个不同的阈值进行筛选。6.根据权利要求5所述的一种基于数据增强技术的红外图像光伏热斑识别方法，其特征在于：所述步骤s2.1中，图像中的边缘信息用滤波器对于噪声进行过滤后通过高斯平滑来减弱噪声的影响，具体公式如下：其中，表示卷积运算，σ表示高斯卷积的平滑因
子，σ越大，图像越平滑。7.根据权利要求5所述的一种基于数据增强技术的红外图像光伏热斑识别方法，其特征在于：所述步骤s2.2中，对平滑后的i(x，y)求偏导得到了偏导数i
x
'与i
y
'r(x,y)＝arctan[i
x’(x,y),i
y’(x,y)]
ꢀꢀꢀꢀ
(4)其中m(x，y)为梯度方向，梯度的方向是函数f(x，y)变化最快的方向，当图像中存在边缘时，一定有较大的梯度值，r(x，y)为幅值。8.根据权利要求2所述的一种基于数据增强技术的红外图像光伏热斑识别方法，其特征在于：将点p(x，y)和最近的八个点进行比较，比较的方式按照导数减小的方向，若点p(x，y)小于周边的值，那么选取其中最大的值，并且从中可以得知p(x，y)就不是极大值并且将该点梯度的幅值置0。9.根据权利要求5所述的一种基于数据增强技术的红外图像光伏热斑识别方法，其特征在于：图像二值化包括，第一步就是线用高阈值来对图像的边缘进行一个初步的检测，根据检测结果，如果高于高阈值的话就设置为255的标记，如果低于高阈值就设置为0的标记；为了使阈值能够满足多场景的运用，而不会因为固定的场景而有所限制，所以图像直方图就被利用来抉择出一个高阈值；于是列出了函数c(i)＝n
i
，其中n
i
就是幅值大小为i的像素点的个数，其中相同幅值点在图像中出现的的概率为其中n为总的图像点的个数，随后，通过图像选择适合的高阈值，低阈值的值自然就可以设置为高阈值的二分之一，这样就可以实现图像二值化的检测。10.根据权利要求2所述的一种基于数据增强技术的红外图像光伏热斑识别方法，其特征在于：所述目标识别方法，包括使用循环生成对抗网络(cyclegan)进行交叉模态合成和使用yolo算法进行多目标检测两个阶段，使用循环生成对抗网络生成的合成图像以及源图像的注释来增强yolo检测器的训练数据集；所述循环生成对抗网络(cyclegan)进行交叉模态合成方法，其允许源x和目标域y之间的双向翻译，使用两个生成器网络g1、g2，每个都与一个判别器网络：d1和d2相关联，然后进行对抗训练；其中g和d网络相互竞争，d用作二进制分类器，其用于区分合成图像和真实目标图像；g通过提高合成输出图像的质量来欺骗鉴别器，生成器网络g的输入是源域图像x∈x，其输出是合成图像，鉴别器d的输入是合成输出和来自目标域y∈y的未配对随机图像，所述yolo检查方法包括，首先将图像拆分为s
×
s个单元，每个网格单元预测三个组件：b个边界框的坐标(x,y,w,h)、置信度得分p(object)以及c个类别的类别概率以边界框中是否存在对象为条件，所述yolo算法采用yolox，yolox能在三个不同的尺度上进行预测，为了更稳定的预测，yolox使用了与尺度相关的框先验。

技术总结

本发明属于光伏电站运维技术领域，主要通过计算机深度学习技术进行光伏面板的热斑诊断，具体涉及基于数据增强技术的红外图像光伏热斑识别方法。一种基于数据增强技术的红外图像光伏热斑识别方法，通过无人机拍摄得到光伏面板红外图像，然后通过数据增强技术得到更多的数据填充进入数据集中，最后训练YOLOX模型得到一个可以检测到光伏热斑的深度网络模型。本发明使用了数据增强技术以应对图片样本数量不足的情况，克服了现有的红外光伏图像数据集在有限数据情况下很难应用深度学习技术取得良好结果的技术问题。得良好结果的技术问题。得良好结果的技术问题。