(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011024273.1
新疆的发展与进步(22)申请日 2020.09.25
(71)申请人 西安交通大学
地址 710049 陕西省西安市咸宁西路28号
(72)发明人 贺丽君 李典芝 陈弼余 石楠
牟书辉 李凡
(74)专利代理机构 西安通大专利代理有限责任
公司 61200
代理人 闵岳峰
(51)Int.Cl.
G06T 7/00(2017.01)
G06T 7/13(2017.01)
G06T 7/136(2017.01)九年级化学教学案例
G06T 7/44(2017.01)
G06T 5/00(2006.01)
G06N 3/04(2006.01)G06N 3/08(2006.01)
ica
金属学报
(54)发明名称一种基于GAN的图像修复的缺陷检测方法(57)摘要本发明公开了一种基于GAN的图像修复的缺陷检测方法。该方法设计了基于GAN的图像修复网络，通过对于无缺陷样本图像数据进行预处理，实现了基于少量无缺陷样本的学习任务，解决了实际工业应用场景当中的正负样本不均衡问题；通过将该网络结合边缘检测Loss，增强了网络的元件复原能力；与此同时，采用了感兴趣区域(ROI)提取以及边缘移除的后处理方法，大幅度地提升了网络的缺陷检测精度，较好地实现了工业元件产品的缺陷检测任务。在150幅工业元件产品测试图像数据(其中139幅有缺陷，11幅无缺陷)上的测试结果验证了本发明针对于工业
元件产品上的缺陷进行检测的有效性。权利要求书2页 说明书5页 附图2页CN 112085734 A 2020.12.15
C N 112085734
A
岩石力学与工程学报1.一种基于GAN的图像修复的缺陷检测方法，其特征在于，包括以下步骤：
1)针对于原始的1000幅无缺陷样本训练图像数据进行预处理，即对其依次进行图像数据增广、图像数据灰度值调整以及图像数据加噪，生成4000幅用于GAN网络训练的训练图像数据；
2)增加边缘检测Loss，将其同GAN网络的生成器Loss与判别器Loss进行加权求和，作为GAN网络的生成器的总损失，用于生成器的训练；
3)针对于待检测图像提取感兴趣区域ROI，生成ROI图像，将其同残差图像进行图像融合，随后进行阈值处理，生成初步的缺陷检测图像；
4)针对于GAN网络的重建图像进行边缘检测，利用该检测结果去除初步的缺陷检测图像中所不需要的边缘区域，得到最终的缺陷检测结果。
2.根据权利要求1所述的一种基于GAN的图像修复的缺陷检测方法，其特征在于，步骤1)中，通过分析元件的主要缺陷类型，包括：缺陷的大小与颜、缺陷的具体形态以及缺陷在元件中所处的位置，结合元件本身的颜特征，针对于原始的1000幅无缺陷样本训练图像数据进行预处理。
3.根据权利要求2所述的一种基于GAN的图像修复的缺陷检测方法，其特征在于，步骤1)中，具体实现方法如下：
首先是图像数据增广，对图像数据分别进行水平翻转、垂直翻转以及对角线翻转处理，并在此基础之上采用50％的概率进行滤波，令图像更加平滑，滤波方式随机选取均值滤波、中值滤波以及高斯滤波这三种类型，共生成4000幅数据增广图像；
其次是图像数据灰度值调整，对数据增广后的4000幅图像数据，进行灰度值取值范围的更改，在原灰度值取值的基础上，令其灰度值取值随机整体上调0～80，灰度值取值小于50的黑部分仍保持原灰度值取值，不进行更改，令训练图像数据更加接近于测试图像数据；
最后是图像数据加噪，按照90％的概率决定是否对其进行加噪，噪声类型随机选取曲线噪声、直线噪
声、圆形噪声以及椭圆噪声这四种类型，噪声的灰度值取值随机选取0～255范围之间的任意灰度值取值，噪声的个数以及大小均在预先设定好的取值范围内进行随机选取；
将加噪前与加噪后的各4000张图像数据作为最终所需要的训练数据，送入GAN网络中进行训练。
4.根据权利要求1所述的一种基于GAN的图像修复的缺陷检测方法，其特征在于，步骤2)中，在GAN网络的生成器的总损失当中增加了边缘检测的Loss，即分别对于GAN网络的输入图像和重建图像进行Sobel边缘检测，计算其边缘检测结果之间的L2_loss，作为边缘检测的Loss，同GAN网络的生成器Loss与判别器Loss进行加权求和，作为GAN网络的生成器的总损失，用于生成器的训练，其计算公式如下：
g_total_loss＝2*g_loss+0.05*d_loss+2*edge_loss。
5.根据权利要求1所述的一种基于GAN的图像修复的缺陷检测方法，其特征在于，步骤3)中，针对于待检测图像提取其感兴趣区域ROI，令感兴趣区域为白，不感兴趣区域为黑，将ROI图像同GAN网络所生成的重建图像与输入图像之间的残差图像按照0.5:0.5的比例进行图像融合，其计算公式如下：危机管理理论
result＝residual_image*0.5+roi_image*0.5
对于融合过后的图像结果进行灰度直方图的计算，从而确定该图像的最佳阈值，利用该阈值进行图像
分割，最后对于分割结果利用3×3大小的十字结构的内核进行先腐蚀后膨胀的处理，消除孤立点的存在，得到初步的缺陷检测图像。
6.根据权利要求1所述的一种基于GAN的图像修复的缺陷检测方法，其特征在于，步骤4)中，针对于GAN网络的重建图像进行Laplace边缘检测，利用该检测结果将所不需要的边缘区域从初步的缺陷检测结果中移除，得到最终的缺陷检测结果。
一种基于GAN的图像修复的缺陷检测方法
技术领域
[0001]本发明属于图像识别技术领域，具体涉及一种基于GAN的图像修复的缺陷检测方法。
背景技术
[0002]在工业元件的生产过程当中，缺陷检测环节对于保证元件的出厂质量而言是非常关键的，含有缺陷的工业元件产品需要被准确检出，以保证工业元件出厂的良品率。[0003]传统的缺陷检测方法，如：图像预处理与机器学习相结合等，虽然在某些特定的应用中已经取得了较好的效果，但其仍然存在许多的不足之处，如：鲁棒性差、计算量巨大以及无法精确的检测到缺陷的大小与形状等。
[0004]近年来，随着深度学习领域的迅速发展，基于深度学习的方法也逐渐地被广泛应用到工业场景之中，基于深度学习的缺陷检测方法相较于传统的缺陷检测方法而言，可以获得更好的检测效果，并且进一步地节省了大量的人力与物力资源，提高了工业元件的生产效率。
[0005]但是考虑到在实际的工业应用场景之中，无缺陷样本的数量要远远大于有缺陷样本，正负样本的不均衡问题会加大缺陷检测网络的训练难度，令缺陷检测网络难以得到充分的训练，从而影响最终的缺陷检测效果。
发明内容
[0006]针对目前基于深度学习的缺陷检测方法存在的问题，本发明提供了一种基于GAN 的图像修复的缺陷检测方法。
[0007]本发明采用如下技术方案来实现：
[0008]一种基于GAN的图像修复的缺陷检测方法，包括以下步骤：
[0009]1)针对于原始的1000幅无缺陷样本训练图像数据进行预处理，即对其依次进行图像数据增广、图像数据灰度值调整以及图像数据加噪，生成4000幅用于GAN网络训练的训练图像数据；
[0010]2)增加边缘检测Loss，将其同GAN网络的生成器Loss与判别器Loss进行加权求和，作为GAN网络的生成器的总损失，用于生成器的训练；
[0011]3)针对于待检测图像提取感兴趣区域ROI，生成ROI图像，将其同残差图像进行图像融合，随后进行阈值处理，生成初步的缺陷检测图像；
[0012]4)针对于GAN网络的重建图像进行边缘检测，利用该检测结果去除初步的缺陷检测图像中所不需要的边缘区域，得到最终的缺陷检测结果。
[0013]本发明进一步的改进在于，步骤1)中，通过分析元件的主要缺陷类型，包括：缺陷的大小与颜、缺陷的具体形态以及缺陷在元件中所处的位置，结合元件本身的颜特征，针对于原始的1000幅无缺陷样本训练图像数据进行预处理。
[0014]本发明进一步的改进在于，步骤1)中，具体实现方法如下：
[0015]首先是图像数据增广，对图像数据分别进行水平翻转、垂直翻转以及对角线翻转处理，并在此基础之上采用50％的概率进行滤波，令图像更加平滑，滤波方式随机选取均值滤波、中值滤波以及高斯滤波这三种类型，共生成4000幅数据增广图像；
[0016]其次是图像数据灰度值调整，对数据增广后的4000幅图像数据，进行灰度值取值范围的更改，
在原灰度值取值的基础上，令其灰度值取值随机整体上调0～80，灰度值取值小于50的黑部分仍保持原灰度值取值，不进行更改，令训练图像数据更加接近于测试图像数据；
[0017]最后是图像数据加噪，按照90％的概率决定是否对其进行加噪，噪声类型随机选取曲线噪声、直线噪声、圆形噪声以及椭圆噪声这四种类型，噪声的灰度值取值随机选取0～255范围之间的任意灰度值取值，噪声的个数以及大小均在预先设定好的取值范围内进行随机选取；
[0018]将加噪前与加噪后的各4000张图像数据作为最终所需要的训练数据，送入GAN网络中进行训练。
[0019]本发明进一步的改进在于，步骤2)中，在GAN网络的生成器的总损失当中增加了边缘检测的Loss，即分别对于GAN网络的输入图像和重建图像进行Sobel边缘检测，计算其边缘检测结果之间的L2_loss，作为边缘检测的Loss，同GAN网络的生成器Loss与判别器Loss 进行加权求和，作为GAN网络的生成器的总损失，用于生成器的训练，其计算公式如下：[0020]g_total_loss＝2*g_loss+0.05*d_loss+2*edge_loss。
[0021]本发明进一步的改进在于，步骤3)中，针对于待检测图像提取其感兴趣区域ROI，令感兴趣区域为白，不感兴趣区域为黑，将ROI图像同GAN网络所生成的重建图像与输入图像之间的残差图像按照0.5:0.5的比例进行图像融合，其计算公式如下：
[0022]result＝residual_image*0.5+roi_image*0.5
[0023]对于融合过后的图像结果进行灰度直方图的计算，从而确定该图像的最佳阈值，利用该阈值进行图像分割，最后对于分割结果利用3×3大小的十字结构的内核进行先腐蚀后膨胀的处理，消除孤立点的存在，得到初步的缺陷检测图像。
[0024]本发明进一步的改进在于，步骤4)中，针对于GAN网络的重建图像进行Laplace边缘检测，利用该检测结果将所不需要的边缘区域从初步的缺陷检测结果中移除，得到最终的缺陷检测结果。
[0025]本发明至少具有以下的有益效果：
[0026]本发明提供了一种基于GAN的图像修复的缺陷检测方法。该方法设计了基于GAN的图像修复网络，通过对于无缺陷样本图像数据进行预处理，实现了基于少量无缺陷样本的学习任务，解决了实际工业应用场景当中的正负样本不均衡问题；通过将该网络结合边缘检测Loss，增强了网络的元件复原能力；与此同时，采用了感兴趣区域(ROI)提取以及边缘移除的后处理方法，大幅度地提升了网络的缺陷检测精度，较好地实现了工业元件产品的缺陷检测任务。
[0027]进一步，本发明中的预处理模块，主要针对于原始的1000幅无缺陷样本训练图像数据进行预处理，即对其依次进行图像数据增广、图像数据灰度值调整以及图像数据加噪，生成4000幅用于GAN网络训练的训练图像数据，解决了正负样本的不均衡问题。
[0028]进一步，本发明中的边缘检测Loss模块，增加了边缘检测Loss，将其同GAN网络的
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议