(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010412967.6
(22)申请日 2020.05.15
(71)申请人 清华大学
地址 100084 北京市海淀区清华园
(72)发明人 罗贵明 何悦
(74)专利代理机构 北京清亦华知识产权代理事
务所(普通合伙) 11201
代理人 石茵汀
(51)Int.Cl.
G06T 7/00(2017.01)
G06T 7/11(2017.01)
G06T 7/30(2017.01)
G06T 5/00(2006.01)
G06N 3/08(2006.01)
G06N 3/04(2006.01)
(54)发明名称
(57)摘要
本发明提出了一种基于深度学习的二维PCB
外观缺陷实时自动检测技术，含有依赖于标准
PCB板作比对的CNN检测、无标准PCB板比对的CNN
检测(非监督学习检测)、混合CNN检测三种PCB缺
类缺陷，将待测PCB图片分割成多个图片块；利用
缺陷并标记疑似缺陷块；利用PCB缺陷类别特征
的疑似缺陷是假缺陷还是新类别的缺陷，将新类
别缺陷补充至缺陷图片库；利用PCB缺陷级别特
征判断疑似缺陷，若为假缺陷，则删除对应缺陷
并分析原因，若为真缺陷，则标记在缺陷记录中。
该方法检测PCB缺陷速度快、
精度高。权利要求书3页 说明书10页 附图4页CN 111754456 A 2020.10.09
C N 111754456
A
1.一种基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，包括以下步骤：
S1，通过PCB缺陷块图片库建立二维PCB缺陷块图片库，所述二维PCB缺陷块图片库包括二维PCB缺陷数据对图片库和二维PCB缺陷单数据图片库；
S2，通过CNN缺陷特征训练块，对所述二维PCB缺陷块图片库中的每一种类PCB缺陷，利用卷积神经网络进行训练，提取PCB缺陷类别特征；
S3，通过CNN缺陷级别特征训练块，对所述二维PCB缺陷块图片库中的每一种类PCB缺陷的级别，利用卷积神经网络进行训练，提取PCB缺陷级别特征；
S4，通过PCB图片提取块提取二维PCB图片，所述二维PCB图片包括二维标准PCB图片和二维待测PCB图片；
S5，通过滤波去噪块，对所述二维PCB图片进行去噪处理；
S6，通过图像配准块，对所述二维待测PCB图片与所述二维标准PCB图片配准；
S7，通过图像灰度值比对块，对所述二维标准PCB图片和所述二维待测PCB图片灰度值进行比对分析，得到二维PCB残差图片；
S8，通过图像分割定位块，对所述二维标准PCB图片、所述二维待测PCB图片和所述二维PCB残差图片进行分割定位，得到多个图片的图片块和对应的坐标；
S9，通过残差滤波块，对所述二维PCB残差图片的图片块过滤，消去因配准及其它因素产生的比对误差；
S10，缺陷搜索匹配块通过卷积神经网络训练的PCB缺陷特征，在多个图片块中搜索缺陷块，并进行缺陷块匹配；
S11，CNN缺陷识别块通过卷积神经网络对所述二维待测PCB图片中的缺陷进行识别；
S12，PCB缺陷分类块通过卷积神经网络训练的PCB缺陷类别特征对对所述二维待测PCB 图片中标记的缺陷进行分类，对不在类别中的缺陷进行判断，判断是否为假缺陷还是新的类别的缺陷，将所述新的类别的缺陷补充至缺陷块图片库；
S13，通过PCB缺陷疑似块，对所述二维待测PCB图片中每一类缺陷标记为疑似缺陷；
S14，PCB缺陷验证块通过卷积神经网络训练的PCB缺陷级别特征和分类信息，判断疑似缺陷块的真假性，若缺陷为假缺陷，则删除对应缺陷，并分析产生假缺陷的原因，若缺陷为真缺陷，则标记在缺陷记录中。
2.根据权利要求1所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，
所述二维PCB缺陷块图片库分为两类，一类为二维PCB缺陷块和对应无缺陷标准PCB块图片组成的数据对图片库，另一类为只有单个二维PCB缺陷块的数据图片库。
3.根据权利要求2所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，所述步骤S1还包括：
建立二维PCB缺陷块图片库。两类二维PCB缺陷块图片库包含PCB的多种已标记且分类和分级的PCB缺陷块图片，所述PCB缺陷块图片包括多尺度图片。
4.根据权利要求3所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，所述步骤S2和步骤S3还包括：
对所述二维PCB缺陷块图片库中的每一种类PCB缺陷，用卷积神经网络进行训练，提取
PCB缺陷类别特征；
对所述二维PCB缺陷块图片库中的每一种类PCB缺陷的级别，用卷积神经网络进行训练，提取PCB缺陷级别特征。
5.根据权利要求1所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，在S4中，通过PCB图片提取块提取的二维PCB图片包括两种：一种为提取二维标准PCB 图片和二维待测PCB图片；另一种为只提取二维待测PCB图片。
6.根据权利要求5所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，所述S4还包括：
在比对标准PCB的检测方法和PCB混合检测方法中，提取二维待测PCB图片和对应的二维标准PCB图片；
在无标准板比对PCB检测方法中，只提取二维待测PCB图片。
7.根据权利要求6所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，所述S5中，滤波去噪块对所述二维PCB图片进行去噪处理，包括：
利用算法对所述二维标准PCB图片和所述二维待测PCB图片进行去噪，在比对标准PCB 的检测方法和PCB混合检测方法中，对所述二维标准PCB图片和所述二维待测PCB图片去噪，去除图片中的噪声，修正底板颜对图片的影响，使得标准PCB图片、待测PCB图片、缺陷库中图片的底板颜一致；
在无标准板比对PCB检测方法中，只对所述二维待测PCB图片去噪，去除图片中的噪声，修正底板颜对图片的影响，使得待测PCB图片、缺陷库中图片的底板颜一致。
8.根据权利要求7所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，对所述二维标准PCB图片和所述二维待测PCB图片进行配准、灰度值比对、图像分割，进一步包括：
在比对标准PCB的检测方法和PCB混合检测方法中，所述S6、S7和S8，包括：
在比对标准PCB的检测方法和PCB混合检测方法中，将所述二维标准PCB图片和所述二维待测PCB图片配准，根据去噪处理后的二维标准PCB图片对所述二维待测PCB图片进行矫正，将所述二维标准PCB图片和所述二维待测PCB图片对比灰度值，计算图片残差得到二维PCB残差图片；将所述二维标准PCB图片、所述二维待测PCB图片和所述二维PCB残差图片进行分割得到多个图片块和对应的坐标；
对所述二维标准PCB图片进行配准，检测所述二维标准PCB图片是否存在旋转、形变、光线不均和光线反射，若存在，则利用算法进行矫正；
将所述二维待测PCB图片与处理后的二维标准PCB图片进行对比，判断位置、光线和颜是否一致，若不一致，则通过算法对所述二维待测PCB图片进行矫正。
9.根据权利要求7所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，在非比对参考的检测方法中，S8进一步包括：对所述二维待测PCB图片进行分割得到多个图片块和对应的坐标。
10.根据权利要求9所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，所述S9中，对所述二维PCB残差图片的图片块过滤，消去比对误差，删除所述二维PCB残差图片中没有残差的图片块；
所述S10和S12进一步包括：
在无标准板比对PCB的检测方法中，采用所述二维PCB缺陷单数据图片库；
在无标准板比对PCB的检测方法和PCB混合检测方法中，对所述二维PCB缺陷图片库和所述二维PCB缺陷图片库中的每一种类PCB缺陷，用卷积神经网络训练，提取PCB缺陷特征和PCB缺陷类别特征；
步骤S10通过卷积神经网络训练的PCB缺陷特征，在多个图片块中进行PCB缺陷搜索判别，采用单个二维PCB缺陷图片库卷积神经网络训练PCB缺陷的类别特征，步骤S12对所述二维待测PCB图片中标记的缺陷进行分类，对不在类别中的缺陷进行判断，判断是否为假缺陷还是新的类别的缺陷，将所述新的类别的缺陷补充至缺陷图片库。
11.根据权利要求9或10所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，
在比对标准PCB的检测方法和PCB混合检测方法中，分别对所述二维PCB缺陷图片库和所述二维PCB缺陷图片库中的每一种类PCB缺陷，用卷积神经网络训练，提取PCB缺陷特征和PCB缺陷类别特征。步骤S11和步骤S12还包括：
采用二维PCB缺陷块和对应无缺陷的标准PCB块图片组成的二维PCB缺陷数据对图片库，步骤S11通过卷积神经网络训练的PCB缺陷特征对，步骤S9对残差图片作缺陷识别，采用二维PCB缺陷图片库卷积神经网络训练PCB缺陷的类别特征对，步骤S12对所述二维待测PCB 图片中标记的缺陷进行分类，对不在类别中的缺陷进行判断，判断是否为假缺陷还是新的类别的缺陷，将所述新的类别的缺陷补充至缺陷图片库。
12.根据权利要求11所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，
在PCB混合检测方法中，步骤S12之后还包括：
利用卷积神经网络训练的所述二维PCB缺陷图片库的PCB缺陷特征对标记的疑似缺陷块进行搜索匹配，删除其中的假缺陷，提高识别精度；
在步骤S13之后，通过卷积神经网络训练的PCB缺陷特征，对疑似缺陷在所述缺陷图片中搜索匹配。
13.根据权利要求4或12所述的基于深度学习的二维PCB外观缺陷实时自动检测技术其特征在于，
对PCB缺陷验证，通过步骤S3卷积神经网络训练的PCB缺陷级别特征信息，判断PCB缺陷的真假性，若缺陷为假缺陷，则删除该假缺陷，并分析产生假缺陷的原因，若缺陷为真缺陷，则标记在缺陷记录中。
14.根据权利要求1-13所述的基于深度学习的二维PCB外观缺陷实时自动检测技术，其特征在于，在搜索和判断缺陷过程中，通过多次识别迭代，对缺陷进行逐次排除。
基于深度学习的二维PCB外观缺陷实时自动检测技术技术领域
[0001]本发明涉及缺陷检测技术领域，特别涉及一种基于深度学习的二维PCB外观缺陷实时自动检测技术。
背景技术
[0002]二维(2D)印刷电路板(PCB)是各种微电路版、主板制作的基础，其正确性是其它后续工序正确的保障。由于现代技术和精细工艺的不断发展，PCB的制作也越来越复杂、越来越精密。传统的外观检测已不适应复杂的PCB检测。
发明内容
[0003]本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
[0004]为此，本发明的目的在于提出一种基于深度学习的二维PCB外观缺陷实时自动检测技术，该方法具有速度快、精度高、泛化能力强，结构清晰等优点。
[0005]为达到上述目的，本发明实施例提出了一种基于深度学习的二维PCB外观缺陷实时自动检测技术，包括：
[0006]S1，通过搜集和标记PCB缺陷块图片，建立二维PCB缺陷块图片库，所述二维PCB缺陷块图片库包括二维PCB缺陷数据对图片库和二维PCB缺陷单数据图片库；
[0007]S2，对所述二维PCB缺陷块图片库中的每一种类PCB缺陷，利用卷积神经网络进行训练，提取PCB缺陷类别特征；
[0008]S3，对所述二维PCB缺陷块图片库中的每一种类PCB缺陷的级别，利用卷积神经网络进行训练，提取PCB缺陷级别特征；
[0009]S4，通过PCB生产流水线提取二维PCB图片，所述二维PCB图片包括二维标准PCB图片和二维待测PCB图片；
[0010]S5，通过滤波去噪块，对所述二维PCB图片进行去噪处理；
[0011]S6，通过图像配准块，对所述二维待测PCB图片与所述二维标准PCB图片配准；
[0012]S7，通过图像灰度值比对块，对所述二维标准PCB图片和所述二维待测PCB图片灰度值进行比对分析，得到二维PCB残差图片；
[0013]S8，通过图像分割定位块，对所述二维标准PCB图片、所述二维待测PCB图片和所述二维PCB残差图片进行分割定位，得到多个图片的图片块和对应的坐标；
[0014]S9，通过残差滤波块，对所述二维PCB残差图片的图片块过滤，消去因配准及其它因素产生比对误差；
[0015]S10，缺陷搜索匹配块，通过卷积神经网络训练的PCB缺陷特征，在多个图片块中搜索缺陷块，并进行缺陷块匹配；
[0016]S11，CNN缺陷识别块，通过卷积神经网络对所述二维待测PCB图片中的缺陷进行识别；
[0017]S12，PCB缺陷分类块，通过卷积神经网络训练的PCB缺陷类别特征对对所述二维待
说 明 书
1/10页CN 111754456 A
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议