(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010821216.X
(22)申请日 2020.08.14
(71)申请人 湖南理工学院
地址 414000 湖南省岳阳市学院路、金鄂东
路
申请人 湖南拓视觉信息技术有限公司
(72)发明人 郭龙源 段厚裕 周武威 欧先锋
张国云 吴健辉 鲁敏 滕书华
(74)专利代理机构 广东有知猫知识产权代理有
限公司 44681
代理人 李小波
(51)Int.Cl.
G06T 7/00(2017.01)
G06T 7/11(2017.01)
G06N 3/08(2006.01)
G06N 3/04(2006.01)
(54)发明名称一种基于深度神经网络Mask R-CNN的缺陷检测算法(57)摘要本发明公开了一种基于深度神经网络Mask R ‑CNN的缺陷检测算法，属于缺陷检测技术领域，算法的具体步骤为：利用基于ResNet50的特征金字塔网络(FPN)提取特征，利用区域建议网络(RPN)提取缺陷区域的感兴趣区域(ROI)从而得到相应的锚框，利用全卷积神经网络(FCN)对ROI 内部的像素类别进行预测以实现缺陷分割，最后通过网络的全连接层实现每个ROI所属类别和相应锚框坐标的预测，针对磁瓦表面缺陷检测场景，该算法对MaskR ‑CNN中的特征金字塔网络(FPN)做了两点改进：在FPN中增加了C1模块，并取消C1模块特征提取层内的池化层；将CLAHE预处理模块加在FPN的特征提取层之前。实验结果表明，本发明的算法具有较强的泛化能力和鲁棒性， 可以对磁瓦图像进行精确的缺陷分割。权利要求书1页 说明书6页 附图5页CN 111986170 A 2020.11.24
C N 111986170
A
1.一种基于深度神经网络Mask R -CNN的缺陷检测算法，其特征在于：包括以下步骤：S1、利用基于ResNet50的特征金字塔网络(FPN)提取特征；
S2、利用区域建议网络(RPN)提取缺陷区域的感兴趣区域(ROI)从而得到相应的锚框；S3、利用全卷积神经网络(FCN)对ROI内部的像素类别进行预测以实现缺陷分割；
S4、最后通过网络的全连接层实现每个ROI所属类别和相应锚框坐标的预测。
2.根据权利要求1所述的一种基于深度神经网络MaskR -CNN的缺陷检测算法，其特征在于：
所述不同ROI的方法定义为如下公式：
3.根据权利要求2所述的一种基于深度神经网络MaskR -CNN的缺陷检测算法，其特征在于：所述k 0是标准值，设置为4。
4.根据权利要求1所述的一种基于深度神经网络MaskR -CNN的缺陷检测算法，其特征在于：所述Mask R -CNN的特征提取层前加入有限制对比度自适应直方图均衡化的CLAHE预处理模块。
5.根据权利要求4所述的一种基于深度神经网络MaskR -CNN的缺陷检测算法，其特征在于：所述CLAHE预处理模块在预处理中，必须对每个小区域进行对比度限幅，同时CLAHE通过限制AHE算法
的对比改善程度，克服AHE的过度放大噪声问题。
6.根据权利要求5所述的一种基于深度神经网络MaskR -CNN的缺陷检测算法，其特征在于：所述CLAHE预处理模块通过变换函数的斜度来放大给定像素周围的对比度，且斜度和其累积直方图斜度成正比，具体操作为先用预定的阈值用来裁剪直方图，然后其限制放大幅度通过计算CDF来达到，最后通过邻域的大小和直方图的分布来决定直方图的裁剪限幅。
7.根据权利要求6所述的一种基于深度神经网络MaskR -CNN的缺陷检测算法，其特征在于：所述裁剪限幅的部分平均放到直方图的空余部分，
并采用计算公式如下：
8.根据权利要求1所述的一种基于深度神经网络MaskR -CNN的缺陷检测算法，其特征在于：Mask R -CNN的损失函数Loss由三部分组成，
Loss＝L cls +L box +L mask #(1)。
9.根据权利要求1所述的一种基于深度神经网络MaskR -CNN的缺陷检测算法，其特征在于：所述FPN中增加有C1模块，并取消了C1模块中的池化层，所述C1模块的特征提取层结构包括down -top、top -down和lateral conn，所述down -top对应于Resnet50中的Residual Block结构，每层的Scale缩小2倍，所述top -down通过将高层低分辨率的特征图进行2倍上采样，所述lateral conn通过1x1卷积来减少C1的特征层个数的同时，保证特征层尺寸大小不变，然后和C2经过top -down上采样的特征图直接相加后输出，通过上述操作一直迭代到生成最后分辨率的特征图。
10.根据权利要求1-9所述的一种基于深度神经网络Mask R -CNN的缺陷检测算法，其特征在于：所述缺陷检测算法应用于磁瓦缺陷检测中。
权 利 要 求 书1/1页CN 111986170 A
一种基于深度神经网络Mask R-CNN的缺陷检测算法
技术领域
[0001]本发明涉及缺陷检测技术领域，更具体地说，涉及一种基于深度神经网络Mask R-CNN的缺陷检测算法。
背景技术
[0002]随着“中国制造2025”战略和“工业4.0”的提出，中国的传统制造业正面临产业转型和产业升级的巨大挑战，这推动了工业机器人、高精度数控机床和新能源汽车等产品的发展和广泛应用，对电机也提出了更高的性能指标，而磁瓦的表面质量直接影响着电机的使用性能。磁瓦表面缺陷检测技术具有检测效率高，成本低，可靠性较高等优点，对电机的生产具有十分重要的意义，对于企业的生存和发展也有促进作用。
[0003]Mask R-CNN是何凯明在之前的Faster R-CNN的基础上提出的新的卷积神经网络，Mask R-CNN实现了实例分割。该方法不仅能有效地检测目标，还能对目标完成高质量的语义分割。其主要思路就是在原始Faster R-CNN基础上添加一个分支，以此来实现对目标的语义分割。Mask R-CNN应用特征金字塔网络(FPN)来改进特征提取网络，较好地解决了特征提取层语义信息丢失严重的问题，大幅度提升了小目标缺陷的分割精度。对于缺陷轮廓分割不清晰的情况，Mask R-CNN将兴趣区域池化层替换成了兴趣区域对齐层，即通过双线性插值进一步利用特征图上的空间信息，从而更准确地预测出缺陷轮廓。
[0004]磁瓦图像具有光照不均、表面纹理复杂、对比度低等特点，传统的缺陷检测算法往往难以准确分割其中的缺陷。
发明内容
[0005] 1.要解决的技术问题
[0006]针对现有技术中存在的问题，本发明的目的在于提供一种基于深度神经网络Mask R-CNN的缺陷检测算法，它可以实现针对磁瓦表面缺陷检测场景，该算法对Mask R-CNN中的特征金字塔网络(FPN)做了两点改进：一方面在FPN中增加了C1模块，并取消C1模块特征提取层内的池化层；另一方面将CLAHE预处理模块加在FPN的特征提取层之前，结果表明，本发明的算法具有较强的泛化能力和鲁棒性，可以对磁瓦图像进行精确的缺陷分割。
[0007] 2.技术方案
[0008]为解决上述问题，本发明采用如下的技术方案。
[0009]一种基于深度神经网络Mask R-CNN的缺陷检测算法，包括以下步骤：
[0010]S1、利用基于ResNet50的特征金字塔网络(FPN)提取特征；
[0011]S2、利用区域建议网络(RPN)提取缺陷区域的感兴趣区域(ROI)从而得到相应的锚框；
[0012]S3、利用全卷积神经网络(FCN)对ROI内部的像素类别进行预测以实现缺陷分割；[0013]S4、最后通过网络的全连接层实现每个ROI所属类别和相应锚框坐标的预测。[0014]进一步的，所述不同ROI的方法定义为如下公式：
[0015]
[0016]进一步的，所述k0是标准值，设置为4。
[0017]进一步的，所述Mask R-CNN的特征提取层前加入有限制对比度自适应直方图均衡化的CLAHE预处理模块。
[0018]进一步的，所述CLAHE预处理模块在预处理中，必须对每个小区域进行对比度限幅，同时CLAHE通过限制AHE算法的对比改善程度，克服AHE的过度放大噪声问题。[0019]进一步的，所述CLAHE预处理模块通过变换函数的斜度来放大给定像素周围的对比度，且斜度和其累积直方图斜度成正比，具体操作为先用预定的阈值用来裁剪直方图，然后其限制放大幅度通过计算CDF来达到，最后通过邻域的大小和直方图的分布来决定直方图的裁剪限幅。
[0020]进一步的，所述裁剪限幅的部分平均放到直方图的空余部分，并采用计算公式如下：
[0021]
[0022]进一步的，Mask R-CNN的损失函数Loss由三部分组成，
[0023]Loss＝L cls+L box+L mask#(1)。
[0024]进一步的，所述FPN中增加有C1模块，并取消了C1模块中的池化层，所述C1模块的特征提取层结构包括down-top、top-down和lateral conn，所述down-top对应于Resnet50中的Residual Block结构，每层的Scale缩小2倍，所述top-down通过将高层低分辨率的特征图进行2倍上采样，所述lateral conn通过1x1卷积来减少C1的特征层个数的同时，保证特征层尺寸大小不变，然后和C2经过top-down上采样的特征图直接相加后输出，通过上述操作一直迭代到生成最后分辨率的特征图。
[0025]进一步的，所述缺陷检测算法应用于磁瓦缺陷检测中。
[0026] 3.有益效果
[0027]相比于现有技术，本发明的优点在于：
[0028]本方案可以实现针对磁瓦表面缺陷检测场景，该算法对Mask R-CNN中的特征金字塔网络(FPN)做了两点改进：一方面在FPN中增加了C1模块，并取消C1模块特征提取层内的池化层；另一方面将C
LAHE预处理模块加在FPN的特征提取层之前，结果表明，本发明的算法具有较强的泛化能力和鲁棒性，可以对磁瓦图像进行精确的缺陷分割。
附图说明
[0029]图1为本发明的算法流程图；
[0030]图2为本发明改进后的FPN结构图；
[0031]图3为本发明C1模块的特征提取层结构图；
[0032]图4为本发明CLAHE直接裁剪再分配的过程示意图；
[0033]图5为本发明CLAHE预处理模块后效果图；
[0034]图6为不同算法的检测效果对比图；
[0035]图7为Mask R-CNN和本发明改进算法结果对比表；
[0036]图8为本发明与常用检测算法的对比表。
具体实施方式
[0037]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0039]在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0040]实施例1：
[0041]请参阅图1-2，一种基于深度神经网络Mask R-CNN的缺陷检测算法，包括以下步骤：
[0042]S1、利用基于ResNet50的特征金字塔网络(FPN)提取特征；
[0043]S2、利用区域建议网络(RPN)提取缺陷区域的感兴趣区域(ROI)从而得到相应的锚框；
[0044]S3、利用全卷积神经网络(FCN)对ROI内部的像素类别进行预测以实现缺陷分割；[0045]S4、最后通过网络的全连接层实现每个ROI所属类别和相应锚框坐标的预测。[0046]Mask R-CNN的损失函数Loss由三部分组成，
[0047]Loss＝L cls+L box+L mask#(1)。
[0048]其中，L cls为分类损失，L box为bounding box回归误差，L mask为分支FCN的分割损失。[0049]FPN是将Resnet50网络中不改变feature map大小的层归为一个stage，即将ResNet50结构中的Conv2，Conv3，Conv4和Conv5对应FPN中的stage2，stage3，stage4和stage5。低层的stage与上一层的stage进行图像融合形成对应的P2-P5的结构。把融合后的结构进行的卷积以消除图像融合的混叠效应，并单独将P5进行0.5倍下采样形成P6结构。对于整个FPN结构而言一共有P2-P5五个输出，不同输出的特征图上对应的目标大小也不同，所以P2-P6这五个输出的特征图上对应的目标大小不同，因此使用P2-P6作为RPN的输入，我们需要确定不同的ROI对应的不同特征层，大尺寸ROI就使用高层特征层，比如P4，小尺寸ROI就用低层的特征层，比如P3。不同ROI的方法定义为如下公式：
[0050]
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议