基于图像和点云数据融合的板材表面缺陷检测方法和系统

1.本发明涉及机器视觉技术领域，具体涉及一种基于图像和点云数据融合的板材表面缺陷检测方法和系统。

背景技术：

2.金属板材是航空航天、轨道交通、船舶、能源等重大装备的重要原材料，板材的缺陷对于装备的耐用性、抗疲劳性等有很大的影响。为了提高装备的性能和使用寿命，需要对板材工件缺陷进行准确检测。对于板材的检测经历了人工目视、光学检测和机器视觉三个阶段。人工检测可以对不同的缺陷情况，做出相应的判断。但是人工缺陷检测也存在精度低、效率低等问题，且人工缺陷检测依赖人的行为习惯，检验员的疲劳会导致缺陷检测的漏检率增加。基于传统图像处理的外观缺陷检测方法图像处理步骤繁琐且缺乏鲁棒性。基于深度学习的缺陷检测方法又可以分为基于目标检测的缺陷检测和基于语义分割的缺陷检测。但是这种基于二维图像像素点的位置信息和颜信息进行缺陷识别和分类时，由于相机视野范围或者特性的限制，二维机器视觉其性能易受到光照强弱、零件颜等多种因素影响导致检测失败或误分类等问题。仅仅依靠单一的视觉传感器的缺陷检测，其检测效果缺乏可靠性。因此，在缺陷检测过程中，对缺陷部位的三维信息进行处理和分析就显得格外重要。
3.近年来，研究者们开始基于三维点云数据进行缺陷检测方案的探索。基于点云数据的表面缺陷检测算法大致可以分为：基于配准的缺陷检测、基于区域增长的缺陷检测、基于边缘的缺陷检测、基于深度学习的缺陷检测。基于配准的缺陷检测原理是通过比较源点云和目标点云之间的差异从而判断是否存在缺陷，但是该算法的复杂度较高，检测效果也极度依赖配准的精度。基于点云分割的缺陷检测思想是利用点云的分割算法实现对缺陷部位的分割与提取。基于边缘的缺陷检测首先通过检测缺陷边缘确定缺陷的大致位置，在此基础上对缺陷进行识别。基于深度学习的缺陷检测运用pointnet、pointnet++、pointsift、randla-net等语义分割网络解决基于点云数据的语义分割问题，但由于数据集规模较小，实际检测效果并不理想。目前，三维计算机视觉主要集中在三维语义分割和三维目标检测等领域，并未将二维图像与三维数据相结合来进行缺陷检测。
4.因此，需要提供一种板材表面缺陷检测方法，能够将二维图像检测结果和三维点云数据检测结果复合进行缺陷检测，旨在解决缺陷部位表征问题和某些场景下仅仅基于图像数据无法检测，但是具有明显深度信息的缺陷检测问题。

技术实现要素：

5.为了解决缺陷部位表征问题和某些场景下仅仅基于图像数据无法检测、但是具有明显深度信息的缺陷检测问题，提出了一种克服上述问题或者至少部分地解决上述问题的基于图像和点云数据融合的板材表面缺陷检测方法和系统。
6.根据本发明的一个方面，提供一种基于图像和点云数据融合的板材表面缺陷检测
方法，该方法包括：首先获取板材的原始图像和原始点云数据；然后对原始图像进行分割处理和标注，得到数据集，并对原始点云数据进行预处理，得到预处理后的点云数据；接着，将数据集输入se-unet网络中进行训练和缺陷检测，得到第一检测结果；基于区域增长分割算法对预处理后的点云数据进行分割，得到第二检测结果；基于密度聚类算法对第一检测结果和第二检测结果进行筛选和聚类，得到缺陷检测结果；最后，对缺陷检测结果进行量化表征和分类，得到缺陷表征结果和缺陷分类结果。
7.通过上述方案，能够将基于二维图像的缺陷检测结果和基于三维点云数据的缺陷检测结果进行聚类筛选，可以提高板材表面缺陷检测的准确性，并且将聚类后的缺陷检测结果进行量化表征和分类，得到最终的缺陷分类结果，能够为后续缺陷修复工作提供数据支持。
8.可选地，在根据本发明的方法中，se-unet网络包括编码器和解码器，其中编码器包括多个依次连接的卷积层、激活函数层、归一化层和最大池化层，编码器用于对输入的数据集图像进行特征提取得到多个不同尺度的特征图，解码器用于将特征提取后的特征图进行上采样，在解码器上采样过程中融合编码器下采样过程中的相同尺度的特征图，解码器中设置有通道注意力机制，通道注意力机制用于对图像不同通道的特征进行学习；解码器采用双线性插值对编码器生成的多个不同尺度的特征图进行上采样。
9.通过在se-unet网络中加入通道注意力机制对不同通道的特征进行学习各个特征通道的重要程度，对不同通道进行抑制或增强，从而提高图像特征提取的准确性。
10.可选地，在根据本发明的方法中，将数据集输入se-unet网络中进行训练，基于se-unet网络输出的预估值与真实值之间的交叉熵损失函数，得到训练好的se-unet网络；将待检测的板材图像输入训练好的se-unet网络中进行缺陷检测，得到第一检测结果。
11.可选地，在基于区域增长分割算法对预处理后的点云数据进行分割，得到第二检测结果的步骤中，可以基于k近邻域法确定点云数据中每个点的k邻域；基于k邻域中点集的协方差矩阵估计每个点的法线；基于每个点的相邻点的法向量估计每个点的曲率值；基于每个点的法线估计和曲率估计，利用区域增长分割算法，得到点云分割簇，将点云分割簇作为第二检测结果。
12.可选地，在基于k近邻域法确定点云数据中每个点的k邻域的步骤中，对于每个点，计算该点与点云数据集中其余各点之前的距离，并将距离值排序；选取距离值小于预定阈值的k个点集作为该点的k邻域。
13.可选地，基于每个点的法线估计和曲率估计，利用区域增长分割算法，得到点云分割簇，将点云分割簇作为第二检测结果的步骤包括：步骤1：将每个点的曲率值按照从小到大的顺序排序；步骤2：设置一个空的聚类区域、空的种子点序列和空的聚类数组；步骤3：将曲率值最小的点作为种子节点，将该种子节点放入种子序列中，搜索该种子节点的邻域点，计算种子节点与每一个邻域点的法线之间的夹角，将夹角小于预设阈值的邻域点加入该种子节点的聚类区域中，判断该邻域点的曲率值是否小于预设的曲率阈值，如果该邻域点的曲率值小于预设的曲率阈值，则将该邻域点加入种子序列中；步骤4：删除当前种子节点，在种子序列中选择新的种子节点，重复步骤3，直到种子序列为空，将聚类结果加入聚类数组中；
步骤5：从曲率值排序中查还未被聚类的点，将未被聚类的点作为种子节点加入种子序列中，重复步骤3和4，得到多个点云分割簇；步骤6：将点云分割簇中点数量小于预设数量的点云分割簇剔除，将点云分割簇中点数量最多的簇作为背景，背景之外的点云分割簇标记为异常点，得到第二检测结果。
14.可选地，在基于密度聚类算法对第一检测结果和第二检测结果进行筛选和聚类，得到缺陷检测结果的步骤中，可以设置距离阈值和点数量阈值；基于距离阈值和点数量阈值，将第一检测结果和第二检测结果中每一个点划分为核心点、可达点和离点，核心点为某一点在距离阈值邻域范围内至少有阈值数量的点，可达点为与核心点之间的距离在距离阈值内的点，离点为无法从任何其他点到达核心点的点；剔除离点，将核心点作为缺陷检测结果。
15.可选地，在对缺陷检测结果进行量化表征和分类，得到缺陷表征结果和缺陷分类结果的步骤中，可以统计每个缺陷部位的点云数量；基于三维凸包点检测算法计算缺陷检测结果中缺陷部位的凸包点，得到凸包点集，并基于凸包点集估计每个缺陷部位的表面积和体积；计算缺陷检测结果中缺陷部位的最小包围盒，并基于最小包围盒估计每个缺陷部位的长宽高；计算缺陷检测结果中每个缺陷部位在点云深度方向的方差；将每个缺陷部位的点云数量、表面积、体积、长、宽、高、在点云深度方向的方差作为缺陷表征结果；将缺陷表征结果输入支持向量机分类器中进行训练和测试，得到缺陷分类结果。
16.可选地，使用预设的缺陷数据集进行缺陷表征得到多个特征向量，对多个特征向量加标签得到训练集；将训练集输入支持向量机分类器中进行训练得到训练好的支持向量机分类器；将缺陷表征结果输入训练好的支持向量机分类器中进行分类，得到缺陷分类结果。
17.根据本发明的另一个方面，提供一种基于图像和点云数据融合的板材表面缺陷检测系统，该系统包括：激光扫描仪，用于获取板材的原始图像和原始点云数据；预处理模块，用于对原始图像进行分割处理和标注，得到数据集，并对原始点云数据进行预处理，得到预处理后的点云数据；第一检测模块，用于将数据集输入se-unet网络中进行训练和缺陷检测，得到第一检测结果；第二检测模块，用于基于区域增长分割算法对预处理后的点云数据进行分割，得到第二检测结果；聚类模块，用于基于密度聚类算法对第一检测结果和第二检测结果进行筛选和聚类，得到缺陷检测结果；量化表征和分类模块，用于对缺陷检测结果进行量化表征和分类，得到缺陷表征结构和缺陷分类结果。
18.根据本发明的方案，通过将基于二维图像的缺陷检测结果和基于三维点云数据的缺陷检测结果进行聚类筛选，可以提高板材表面缺陷检测的准确性，并且将聚类后的缺陷检测结果进行量化表征和分类，得到最终的缺陷分类结果，能够为后续缺陷修复工作提供数据支持。
19.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
20.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通
技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本发明的一个实施例的基于图像和点云数据融合的板材表面缺陷检测方法100的流程示意图；图2示出了根据本发明一个实施例的不同缺陷类型的板材原始图像；图3示出了根据本发明一个实施例的se-unet网络结构示意图；图4示出了根据本发明一个实施例的点云曲率估计示意图；图5示出了根据本发明一个实施例的dbscan聚类示意图；图6示出了根据本发明一个实施例的缺陷检测结果示意图；图7示出了根据本发明一个实施例的svm训练与测试流程示意图；图8示出了根据本发明一个实施例的基于图像和点云数据融合的板材表面缺陷检测系统800的结构示意图。
具体实施方式
21.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
22.板材在生产或使用过程中易出现缺损、划痕、凹坑、凸起等缺陷，即使是微小的缺陷也会影响整套装备的性能和寿命。为了提升装备的可靠性，需要对装备板材表面缺陷进行自动化检测。基于板材二维图像的缺陷检测，易受到光照强弱等多种因素的影响而导致检测失败或误分类的问题。因此，在缺陷检测过程中，对缺陷部位的三维信息进行处理和分析就格外重要。基于点云数据的表面缺陷检测算法大致可以分为：基于配准的缺陷检测、基于区域增长的缺陷检测、基于边缘的缺陷检测、基于深度学习的缺陷检测。
23.基于配准的缺陷检测原理是通过比较源点云和目标点云之间的差异从而判断是否存在缺陷，但是该算法的复杂度较高，检测效果也极度依赖配准的精度；基于点云分割的缺陷检测思想是利用点云的分割算法实现对缺陷部位的分割与提取。基于边缘的缺陷检测首先通过检测缺陷边缘确定缺陷的大致位置，在此基础上对缺陷进行识别。基于深度学习的缺陷检测运用pointnet、pointnet++、pointsift、randla-net等语义分割网络解决基于点云数据的语义分割问题，但由于数据集规模较小，实际检测效果并不理想。
24.由于相机视野范围或者特性的限制，二维机器视觉其性能容易受到光照、零件颜等等因素的干扰。仅仅依靠单一的视觉传感器的缺陷检测，其检测效果缺乏可靠性。而三维计算机视觉主要集中在三维语义分割和三维目标检测等领域。为了解决缺陷部位表征问题和某些场景下仅仅基于图像数据无法检测、但是具有明显深度信息的缺陷检测问题，本发明提出一种基于机器视觉的表面缺陷检测方法，将二维图像检测结果和三维点云数据检测结果复合汇总得到最终的缺陷部位检测结果。
25.图1示出了根据本发明的一个实施例的基于图像和点云数据融合的板材表面缺陷检测方法100的流程示意图。如图1所示，该方法始于步骤s110，获取板材的原始图像和原始点云数据。
26.可以使用激光扫描仪同时获取板材的二维图像和三维点云数据，为了实现缺陷检测的自动化，可以将激光扫描仪装载于机械臂末端，通过程序控制机械臂自动完成板材原始数据采集。在本发明的一个实施例中，通过激光扫描仪采集到分辨率为2064
×
1544的包含钢板麻点或麻坑、划痕、裂纹、结疤(重皮)4种不同角度的204张图片。图2示出了根据本发明一个实施例的不同缺陷类型的板材原始图像。如图2所示，(a)为麻点或麻坑缺陷类型的板材图像，(b)为划痕缺陷类型的板材图像，(c)为裂纹缺陷类型的板材图像，(d)为结疤缺陷类型的板材图像。
27.随后执行步骤s120，对原始图像进行分割处理和标注，得到数据集，并对原始点云数据进行预处理，得到预处理后的点云数据。
28.由于激光扫描仪获取的原始图像中缺陷目标太小会导致模型训练效果差，可以对原始图像进行分割，在本发明的一个实施例中，可以将每张图像分割成16张，最终可以得到3264张分辨率为512*384的图片，作为数据集。在得到数据集之后，需要对图像进行标注，可以采用labelme标注软件对数据集进行人工标注，0代表背景，1代表缺陷。表1示出了根据本发明一个实施例的数据集缺陷类型信息表。
29.表1数据集缺陷类型信息表如表1所示，在本发明的一个实施例中，总的有缺陷图像数量为715张，其中缺陷1图像201张，缺陷2图像198张，缺陷3图像151张，缺陷4图像165张，无缺陷图像2549张。
30.由于激光扫描仪获取的板材表面大量密集的点云数据，每个点包含三维坐标、激光反射强度、rgb颜等信息，扫描结果往往存在噪声，因此，还需要对原始点云数据进行去噪、采样、配准等预处理，以便剔除杂乱噪点和冗余数据。
31.随后执行步骤s130，将数据集输入se-unet网络中进行训练和缺陷检测，得到第一检测结果。
32.其中，se-unet网络是在unet网络的基础上加入通道注意力机制，图3示出了根据本发明一个实施例的se-unet网络结构示意图。如图3所示，se-unet网络结构是一个u型对称结构，该架构包括编码器，用于对输入的数据集图像进行特征提取，得到多个不同尺度的特征图；和解码器，用于将特征提取后的特征图进行上采样还原。网络输入为数据集中的图像，通过卷积层提取特征，并通过激活函数层、归一化层、最大池化后将图像大小变为原来的1/2，图像分辨率经最大池化后分别变为256*192、128*96、64*48、32*24。网络的上采样部分采用双线性插值(upsamplingbilinear2d)。并且在多个尺度的特征之间进行短向连接(concat)。
33.具体地，se-unet的编码器操作主要包括卷积、池化操作，se-unet卷积核大小为3
×
3，padding(填充)为1，stride(步长)为1。图像与卷积核进行卷积操作可以获取对应的特征图，对应的卷积运算可以表示为：
其中ic(x，y)为图像中输入图像感受野上的元素，为第l层上的第k个卷积核，为最终的卷积操作的结果。
34.经过卷积操作后，采用通道注意力机制对不同通道的特征进行学习，通过模型训练和学习，学习到任务所需的注意力，对任务的不同通道进行抑制或者增强。随后，将特征传入激活函数层，se-unet中采用的激活函数为relu函数。随着输入图像经过多层网络计算后，数据分布发生着变化，se-unet对此引入了batchnorm层来解决每层参数迭代更新后数据分布发生变化的问题。为了对输入特征图在空间上进行大小的调整，se-unet可以加入大小为2
×
2、stride为2最大池化层，用于逐步减小特征图大小。
35.se-unet网络解码器部分采用双线性插值，将低分辨率的特征图逐步还原成高分辨率的特征图。假设待求的为点p＝(x，y)的像素坐标，则p点的像素值表示为f(p)，其中已知每个顶点像素坐标为：q
12
＝(x1，y2)
tq22
＝(x2，y2)
tq11
＝(x1，y1)
tq21
＝(x2，y1)
t
可以先求得q
12
和q
22
之间的插值r1，q
11
和q
21
之间的插值r2部分的点像素估计值，表示如下：示如下：通过r1，r2再次进行线性插值，则p点的像素值估计表示如下：将图像分辨率由24*32逐步还原为384*512。在模型训练过程中采用交叉熵损失函数：其中y
ic
为符号函数，如果样本i的真实类别为c，则取1，否则取0。m为缺陷类别数量。p
ic
为样本i属于类别c的预测概率。最终，模型输出图像对应缺陷的类别。
36.接着执行步骤s140，基于区域增长分割算法对预处理后的点云数据进行分割，得到第二检测结果。
37.根据本发明的一个实施例，可以先采用区域增长分割算法进行点云分割；然后对点云分割结果密度聚类分析，剔除噪点并提取缺陷部位，得到第二检测结果。基于区域增长分割算法对点云数据进行分割的具体流程如下：1)根据k邻域法获取点云法线估计和曲率估计并将所有曲率从小到大排序；具体地，为了估计点云数据中每个点处的法线和曲率进行估计，需要确定该点局部邻域的大小。对于邻域的选取问题，可以采用k近邻域，即，针对点云数据中某个点，选取
距离该点最近的k个点组成的集合。假设点云数据集为p＝{p1，p2，...，pn}，n为点云个数，要得到pi点所对应的k近邻邻域集合，需要计算出所有点与pi之间的距离，并且将距离排序，到距离pi点最近的k个采样点集合nk(pi)＝{p1，p2，...，pk}，该点集即为所得到的k邻域。
38.对于点云的法线估计，可以采用pca(主成分分析)算法，求取k邻域点集的协方差，取协方差的第三个特征向量即为该点点云的法线估计。k邻域点集的协方差矩阵c表示如下：其中k是点pi邻近点的数目，表示最近邻元素的三维质心，λj是协方差矩阵的第j个特征值，是第j个特征向量。
39.对于点云的曲率估计，可以利用该点相邻点的法向量来估计。图4示出了根据本发明一个实施例的点云曲率估计示意图。如图4所示，假设要估计p点的曲率，设p点的单位法向量为n，qi的法向量为mi，坐标系p-xyn为局部坐标系，qi为点p的第i个邻近点，用一个过点p的密切圆来估计点p的法曲率，则p点相对于qi点的法曲率ki估计为：其中α是-n和pqi之间的夹角，β是n和mi之间的夹角。
40.2)设置一个空的聚类区域c，空的种子点序列q和聚类数组为l；3)将曲率最小的点作为种子节点，将该节点加入放到序列q中，然后搜索该种子节点的邻域点，计算子节点与每一个邻域节点的法线之间的夹角，如果小于设定的阈值，将邻域点加入到该聚类区域c中。进一步判断该邻域点的曲率值，如果小于设定的曲率阈值，将邻域点加入到种子序列q中；4)在邻域点判断完成后，删除当前种子点，然后在种子点序列q中，选择新的种子点，重复上述的步骤，直到q中序列位空，这样一个区域就生长完成，最后将该聚类结果加入到聚类数组l中；5)继续从排序完的曲率的序列中，到还没有被聚类的点，将该节点作为种子节点加入到种子序列q中，重复上述的步骤。
41.经过上述分割算法后，将得到一系列分割的簇的集合，其中每个簇都包含多个点云，每个簇中的点被视为表面特征分布比较相似的部分。经过分析发现有一个点数量最大的簇，可以将该簇视为背景，而其它簇被视为缺陷部位。
42.随后执行步骤s150，基于密度聚类算法对第一检测结果和第二检测结果进行筛选和聚类，得到缺陷检测结果。
43.经过区域增长分割算法提取到的分割部位虽然能够对缺陷部位进行提取，但也会得到较多的杂点，根据本发明的一个实施例，可以基于第一检测结果和第二检测结果，使用密度聚类算法dbscan(density-based spatial clustering of applications with noise)来对一些不符合要求的杂点进行剔除并准确获取到每个缺陷部位的点云数据。dbscan对区域增长分割后的结果进行筛选和聚类只需要两个参数，即距离阈值eps和点数量阈值minpts。在dbscan算法中，根据上述两个参数将所有聚类的点分成核心点、可达点、
离点三种类型。如果点p在其距离eps的邻域范围内至少有minpts个点(包括点p)，则该点称为核心点；如果一个点q与核心点p的距离在eps之内，那么该点就可以从p直接到达，则称该点q为可达点；所有无法从任何其他点到达的点都是离点或噪音点。图5示出了根据本发明一个实施例的dbscan聚类示意图。如图5所示，a为核心点，b、c为可达点、n为离点。在获取区域分割算法检测结果后，得到了诸多点集构成的缺陷部位候选点，进一步采用密度聚类，对候选点进行筛选和剔除。最终，实现将空间中的密度较高的缺陷部位组合在一起，将位于低密度区域的点云标记为噪点，剔除噪点后提取缺陷部位，得到缺陷检测结果。图6示出了根据本发明一个实施例的缺陷检测结果示意图。如图6所示，原始图像如图6(a)所示，采基于se-unet网络进行缺陷检测，得到的如图6(b)的第一检测结果。通过对比6(a)的原始图像与6(b)的检测结果，可以发现右下角的一个麻坑点在图像的检测中没有被成功检测到。但是，在点云数据缺陷第二检测结果中，如图6(d)所示，该麻坑被成功检测。在最终的缺陷检测结果6(f)中，该麻坑在密度聚类后满足缺陷的要求，可见只基于二维图像数据进行缺陷检测存在漏检现象。图6(c)为原始点云数据，图6(d)为采用区域增长分割算法点云第二检测结果。通过对比图6(b)第一检测结果和图6(d)第二检测结果，基于图像语义分割的缺陷检测整体效果较好，而点云缺陷检测在没有采用结合密度聚类的算法之前，存在较多杂点。但是在图像检测结果与点云检测结果复合后如图6(e)，可以看出采用密度聚类后，可以有效检测出所有缺陷，如图6(f)所示。
44.最后执行步骤s160，对缺陷检测结果进行量化表征和分类，得到缺陷表征结构和缺陷分类结果。
45.对缺陷检测结果的表征，能使我们对产生的缺陷进一步量化，是缺陷检测中不可或缺的一环。本方案通过对缺陷部位的点云数量、表面积、体积、点云的包围盒的长宽高、在z(深度)方向上的方差等参数信息估计实现对缺陷部位的量化表征。根据本发明的一个实施例，首先统计每个缺陷部位的点云数量；然后，利用三维凸包点检测算法求取缺陷部位的凸包点，从而得到点云的表面积和体积；借助pca主成分分析算法，得到缺陷部位包围盒的长宽高；最后求取缺陷部位在z方向上的方差，从而得到7个缺陷特征。
46.具体地，通过估计缺陷部位的表面积和体积，能够了解到点云缺陷部位的大小信息，进而分析得出物体表面的受损伤程度。由于缺陷部位不是一个规则的部分且难以用具体的公式来表示出来。本实施例通过求取缺陷部位的凸包来估计缺陷部位的表面积和体积。在几何学中，凸包定义为包含欧几里得空间的给定子集的所有凸集的交集。可以采用quickhull3d三维凸包算法对缺陷部位进行凸包点求解。首先通过quickhull 3d凸包算法获取分割结果的凸包点；然后基于凸包点集，计算该凸包的表面积和体积。对于不规则的凸包点集长宽高的估计可以采用最小包围盒来实现，其基本思想是用体积稍大且特性简单的包围盒将目标几何对象框起来，得到包围盒的长宽高作为点云缺陷部位的特征。首先借助pca分析，获取点云的三个主方向；然后在第一步的基础上，将输入的点云转换到与坐标系方向重合，建立变换到原点的点云的包围盒；最后通过输入点云到原点点云变换的逆变换得到输入点云的包围盒的长宽高。
47.点云z方向的方差是衡量点云数据在深度方向上的离散程度。如果工件表面没有缺陷，那么点云z方向上的方差将会非常小。因此，缺陷部位在点云z方向上的方差也是一个重要的指标，可用下式求解：
其中为z方向上的均值，n为点云数量。
48.经过密度聚类分割、缺陷表征后，仅仅实现了缺陷的定位，并没有实现缺陷分类。因此，还需要基于分割后的结果以及缺陷特征表征信息，对缺陷部位进行分类。根据本发明的一个实施例，可以采用支持向量机(support vector machines，svm)对板材缺陷类型分类，图7示出了根据本发明一个实施例的svm训练与测试流程示意图。如图7所示，在分类器训练阶段，可以使用缺陷数据集，对每种不同类型缺陷分别进行表征，将表征结果汇总后，得到多个特征向量，加上标注的标签信息，制作新的数据集；然后基于该数据集训练缺陷分类器。在测试阶段，直接使用已经训练好的缺陷分类器，最终得到缺陷分类结果。表2示出了根据本发明一个实施例的缺陷表征及分类结果。
49.表2缺陷表征及分类结果
如表2所示，对比原始缺陷类型，可以发现表,2编号4、5、9三个缺陷分类错误，除去误检测部分，总共为16个簇。针对这16个簇的svm分类器的分类准确率为：81.25％。表征结果实现了对缺陷三维中的复现，对缺陷进行了量化分析，可为后序缺陷的修复等工作提供数据支持。
50.通过上述实验实施例分析表明，采用本方案的板材表面缺陷检测方法，能很好实现对钢板表面缺陷的分割提取。在检测过程中，图像语义分割算法和点云结合密度聚类的改进区域增长分割算法具有互补性。在图像上因为弱光问题难以检测的部位，可能有丰富的深度信息。因此，点云的缺陷检测可以加以辅之。在点云的缺陷检测算法无法检测的微小缺陷，如划痕，由于缺陷尺度较小难以识别。因此，图像的缺陷检测可以加以辅助之。两种缺陷检测结果互补，提高了检测的可靠性，也增加了缺陷检测准确率。
51.图8示出了根据本发明一个实施例的基于图像和点云数据融合的板材表面缺陷检测系统800的结构示意图。如图8所示，该系统包括激光扫描仪810、预处理模块820、第一检测模块830、第二检测模块840、聚类模块850和量化表征和分类模块860。其中，激光扫描仪810可以同时获取板材的原始图像和原始点云数据；预处理模块820可以用于对原始图像进行分割处理和标注，得到数据集，并对原始点云数据进行预处理，得到预处理后的点云数据；第一检测模块830可以用于将数据集输入se-unet网络中进行缺陷检测，得到第一检测结果；第二检测模块840可以用于基于区域增长分割算法对预处理后的点云数据进行分割，得到第二检测结果；聚类模块850可以用于基于密度聚类算法对第一检测结果和第二检测结果进行筛选和聚类，得到缺陷检测结果；量化表征和分类模块860可以用于对缺陷检测结果进行量化表征和分类，得到缺陷表征结构和缺陷分类结果。
52.通过上述方案，将基于二维图像的缺陷检测结果和基于三维点云数据的缺陷检测结果进行聚类筛选，可以提高板材表面缺陷检测的准确性，并且将聚类后的缺陷检测结果进行量化表征和分类，得到最终的缺陷分类结果，能够为后续缺陷修复工作提供数据支持。
53.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
54.类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
55.本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
56.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单
元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
57.此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
58.此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
59.如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
60.尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

技术特征：

1.一种基于图像和点云数据融合的板材表面缺陷检测方法，其特征在于，包括：获取板材的原始图像和原始点云数据；对所述原始图像进行分割处理和标注，得到数据集，并对所述原始点云数据进行预处理，得到预处理后的点云数据；将所述数据集输入se-unet网络中进行训练和缺陷检测，得到第一检测结果；基于区域增长分割算法对所述预处理后的点云数据进行分割，得到第二检测结果；基于密度聚类算法对所述第一检测结果和第二检测结果进行筛选和聚类，得到缺陷检测结果；对所述缺陷检测结果进行量化表征和分类，得到缺陷表征结果和缺陷分类结果。2.根据权利要求1所述的板材表面缺陷检测方法，所述se-unet网络包括编码器和解码器，所述编码器包括卷积层、激活函数层、归一化层和最大池化层，所述编码器用于对输入的数据集图像进行特征提取，所述解码器用于将特征提取后的特征图进行上采样，在所述解码器上采样过程中融合所述编码器下采样过程中的特征图，其特征在于，所述解码器中设置有通道注意力机制，所述通道注意力机制用于对图像不同通道的特征进行学习；所述解码器采用双线性插值对编码器生成的特征图进行上采样。3.根据权利要求2所述的板材表面缺陷检测方法，其特征在于，所述将所述数据集输入se-unet网络中进行训练和缺陷检测，得到第一检测结果的步骤包括：将所述数据集输入se-unet网络中进行训练，基于se-unet网络输出的预估值与真实值之间的交叉熵损失函数，得到训练好的se-unet网络；将待检测的板材图像输入训练好的se-unet网络中进行缺陷检测，得到第一检测结果。4.根据权利要求1所述的板材表面缺陷检测方法，其特征在于，所述基于区域增长分割算法对所述预处理后的点云数据进行分割，得到第二检测结果的步骤包括：基于k近邻域法确定点云数据中每个点的k邻域；基于所述k邻域中点集的协方差矩阵估计每个点的法线；基于每个点的相邻点的法向量估计每个点的曲率值；基于每个点的法线估计和曲率估计，利用区域增长分割算法，得到点云分割簇，将所述点云分割簇作为第二检测结果。5.根据权利要求4所述的板材表面缺陷检测方法，其特征在于，所述基于k近邻域法确定点云数据中每个点的k邻域的步骤包括：对于每个点，计算该点与点云数据集中其余各点之前的距离，并将距离值排序；选取距离值小于预定阈值的k个点集作为该点的k邻域。6.根据权利要求4所述的板材表面缺陷检测方法，其特征在于，所述基于每个点的法线估计和曲率估计，利用区域增长分割算法，得到点云分割簇，将所述点云分割簇作为第二检测结果的步骤包括：步骤1：将每个点的曲率值按照从小到大的顺序排序；步骤2：设置一个空的聚类区域、空的种子点序列和空的聚类数组；步骤3：将曲率值最小的点作为种子节点，将该种子节点放入种子序列中，搜索该种子节点的邻域点，计算种子节点与每一个邻域点的法线之间的夹角，将夹角小于预设阈值的邻域点加入该种子节点的聚类区域中，判断该邻域点的曲率值是否小于预设的曲率阈值，
如果该邻域点的曲率值小于预设的曲率阈值，则将该邻域点加入种子序列中；步骤4：删除当前种子节点，在种子序列中选择新的种子节点，重复步骤3，直到种子序列为空，将聚类结果加入聚类数组中；步骤5：从曲率值排序中查还未被聚类的点，将未被聚类的点作为种子节点加入种子序列中，重复步骤3和4，得到多个点云分割簇；步骤6：将点云分割簇中点数量小于预设数量的点云分割簇剔除，将点云分割簇中点数量最多的簇作为背景，背景之外的点云分割簇标记为异常点，得到第二检测结果。7.根据权利要求1所述的板材表面缺陷检测方法，其特征在于，所述基于密度聚类算法对所述第一检测结果和第二检测结果进行筛选和聚类，得到缺陷检测结果的步骤包括：设置距离阈值和点数量阈值；基于所述距离阈值和点数量阈值，将第一检测结果和第二检测结果中每一个点划分为核心点、可达点和离点，所述核心点为某一点在距离阈值邻域范围内至少有阈值数量的点，所述可达点为与核心点之间的距离在距离阈值内的点，所述离点为无法从任何其他点到达核心点的点；剔除所述离点，将所述核心点作为缺陷检测结果。8.根据权利要求1所述的板材表面缺陷检测方法，其特征在于，所述对所述缺陷检测结果进行量化表征和分类，得到缺陷表征结果和缺陷分类结果的步骤包括：统计缺陷检测结果中每个缺陷部位的点云数量；基于三维凸包点检测算法计算所述缺陷检测结果中缺陷部位的凸包点，得到凸包点集，并基于所述凸包点集估计每个缺陷部位的表面积和体积；计算所述缺陷检测结果中缺陷部位的最小包围盒，并基于所述最小包围盒估计每个缺陷部位的长宽高；计算缺陷检测结果中每个缺陷部位在点云深度方向的方差；将每个缺陷部位的点云数量、表面积、体积、长、宽、高、在点云深度方向的方差作为缺陷表征结果；将所述缺陷表征结果输入支持向量机分类器中进行训练和测试，得到缺陷分类结果。9.根据权利要求8所述的板材表面缺陷检测方法，其特征在于，所述将所述缺陷表征结果输入支持向量机分类器中进行训练和测试，得到缺陷分类结果的步骤包括：使用预设的缺陷数据集进行缺陷表征得到多个特征向量，对所述多个特征向量加标签得到训练集；将所述训练集输入支持向量机分类器中进行训练得到训练好的支持向量机分类器；将缺陷表征结果输入训练好的支持向量机分类器中进行分类，得到缺陷分类结果。10.一种基于图像和点云数据融合的板材表面缺陷检测系统，其特征在于，所述系统包括：激光扫描仪，用于获取板材的原始图像和原始点云数据；预处理模块，用于对所述原始图像进行分割处理和标注，得到数据集，并对所述原始点云数据进行预处理，得到预处理后的点云数据；第一检测模块，用于将所述数据集输入se-unet网络中进行训练和缺陷检测，得到第一检测结果；
第二检测模块，用于基于区域增长分割算法对所述预处理后的点云数据进行分割，得到第二检测结果；聚类模块，用于基于密度聚类算法对所述第一检测结果和第二检测结果进行筛选和聚类，得到缺陷检测结果；量化表征和分类模块，用于对所述缺陷检测结果进行量化表征和分类，得到缺陷表征结构和缺陷分类结果。

技术总结

本发明公开了一种基于图像和点云数据融合的板材表面缺陷检测方法，属于机器视觉技术领域，包括：获取板材的原始图像和原始点云数据；对原始图像进行分割处理和标注，得到数据集，并对原始点云数据进行预处理，得到预处理后的点云数据；将数据集输入SE-Unet网络中进行缺陷检测，得到第一检测结果；基于区域增长分割算法对预处理后的点云数据进行分割，得到第二检测结果；基于密度聚类算法对第一检测结果和第二检测结果进行筛选和聚类，得到缺陷检测结果；对缺陷检测结果进行量化表征和分类，得到缺陷表征和分类结果。该方案能够提高板材表面缺陷检测的准确率，并提供缺陷量化表征和分类结果，能够为后续缺陷修复工作提供数据支持。持。持。