流水线上包装字符图像的归一化检测方法

本发明涉及到流水线上包装图像的归一化缺陷检测和字符识别，属于工业应用下的机器视觉领域的字符图像处理方法。

在实际应用的工业流水线上，机器对包装图像的检测往往决定了该批次商品包装质量的走向，所以保证能够简单、时效地对流水线上包装字符图像进行归一化检测在工业自动化应用、目标检测、缺陷检测等领域尤其重要。流水线上包装字符图像的归一化检测的重点内容主要体现在两点：第一是将灵活地将包装字符图像统一在同一水平线上；第二是准确定位到目标区域。

目前针对图像矫正和方向的统一的主流算法主要是先获取角度信息，再利用旋转和仿射变换完成图像的矫正。可根据图像矫正面是否在同一水平线上，即是否发生了扭曲变形，将图像矫正算法分为水平矫正和透视矫正。水平矫正主流算法是霍夫曼直线矫正法，原理是从完成灰度化、边缘检测的图像的待测图像中分离出直线特征，通过预设的阈值筛选这些直线集合，将计算出的平均角度作为矫正角度。而受到光照、工业相机角度干扰后采集到的图像一般会发生细微的扭曲变形，针对这类图像需要透视矫正，其原理是通过到已完成边缘检测、最大轮廓检测的包装图像的角点出来，再根据角点坐标关系和目标点(一般是相机中心点)的透视映射关系进行透视矫正。目前定位待测包装字符图像的目标区域的主流算法一般是在连通域的基础上进行预设类调参或者使用MSER法到最大稳定区域，继而到目标区域。

包装字符图像一般包含了大量的产品信息，具有文字密集、左右两列并不处于同一水平线上的特点。针对于工业、制造业包装图像左列从上到下依次为：LOGO、产品说明、图标，右列为特定条形码和对应字符以及产品通用条形码和字符。

针对这样的工业包装字符图像，水平矫正中的霍夫曼直线矫正法并不适用，因为霍夫曼直线矫正法前序预处理要求在边缘明显的图像上先进行canny边缘检测，默认图像中的噪声干扰并不影响边缘的提取。而针对工业、制造业包装字符图像的左右列不对称的内容特点、密集异变的椒盐噪声特点和经过工业相机采集到的真实图像所呈现出的边缘不明显的局限点，这种矫正算法并不能良好的用于包装字符图像的归一化检测中。

同样的，在自动化流水线检测过程中，通过预设参数来人工定位目标区域是不现实的做法，MSER法对于全图密集字符类型的图像目标区域定位并不适用，会错误地到多个最大稳定区域。

旨在保证简单、时效地对流水线上工业包装字符图像进行归一化检测，减少过程中预设参数等人为操作，针对流水线上工业包装字符图像的归一化矫正和字符区域自动定位需求，本发明提供了基于特征区域的自适应矫正方法和基于特征区域的动态目标字符区域定位方法。

实现本发明目的的技术方案是：

1.基于特征区域的自适应矫正方法，包括如下步骤：

步骤S1，分析工业包装字符图像，到合适的的图标作为唯一特征区域。一般来说，工业流水线上包装图像上会设有某样特殊的图标来证明安全性能或者免检属性，这类图标可以用来作为本发明矫正和定位操作的特征区域。

步骤S2，制作模板，旨在到唯一特征区域的特定参数。本发明采用基于形状的模板匹配，首先要对模板图像进行预处理，包括以下四个步骤：

步骤S21：去除椒盐噪声的干扰。工业流水线上采集图像时最容易收到的干扰噪声是椒盐噪声(salt-and-pepper noise)和斑点噪声(speckle noise)，两者整体皆呈碎片斑点状。本发明采用3*3的中值

滤波法去除椒盐噪声和斑点噪声的干扰，同时保护了模

糊的边缘。

取排好序中x1、x2、…、xn的中值作为中心点Y像素灰度的新值，

其他值被称为滑动窗口。

步骤S22：阈值分割，形成连通域。操作公式如下：

v(x，y)＝max(StdDeyScale*d(x，y)，AbsThreshold)

步骤S23：结合面积和灰度值进行噪点剥离。因为在工业包装字符中的椒盐噪声面积可能会比“.”、“：”、“i”等字符或者字符的一部分大，所以对工业字符含噪图像进行单一的面积筛选会过滤掉一些重要的字符信息。本发明提供的的噪点剥离方法结合了面积属性和灰度值差异，实验证明效果良好。具体操作为：

在分割连通域的基础上先进行区域面积筛选，一般保留的面积值域下界为字符“i”的点值的面积。

轻度开运算，旨在实现把看起来细微连在一起的两块区域分开来，保证整体位置和形状不变的基础上去除孤立的小点和毛刺。操作公式如下：

R代表经过(1)处理的区域集，sq表示窗口滑动方块，也称模板核，C表示开运算，Θ表示腐蚀操作，表示膨胀操作。

将连通后的区域进行二次筛选，与S23(1)不同的是本次操作对象不再是区域面积，而是灰度像素值。由于椒盐噪声灰度像素值较大，所以阈值下界设为128，上界为255。通过灰度值挑选出受到光线干扰形成的椒盐噪声点和光圈。将步骤S23(2)得到的区域集与上述操作挑选出的受到光线干扰形成的椒盐噪声点和光圈区域集做差值运算。

重复S23(1)的基于区域的面积筛选。

步骤S24：定位唯一的特征区域。

使用闭运算和孔洞填充先将唯一的特征区域处理为一个比较规则的四边形，具体操作为：

R代表经过(1)处理的区域集，sq表示窗口滑动方块，也称模板核，·表示闭运算，Θ表示腐蚀操作，表示膨胀操作。

由于工业包装图像包含出小而密集的堆积字符，所以一般来说特定图标处理之后的区域是包装图像中最大的区域。所以通过区域面积筛选可以到最大的连通区域作为特征区域。为避免因为角度导致出现边缘毛刺，故将特征区域转为标准的最小外接矩形区域，得到中心坐标(x0，y0)和与水平线的夹角α0，四个顶点坐标：

(m1，n1)、(m2，n2)、(m3，n3)、(m4，n4)。

步骤S3，基于模板工业包装图像特征区域的矫正。

步骤S31：将待测模板按照S2步骤先进行预处理，同样到待测工业包装字符图像特征区域的中心坐标(x1，y1)和与水平线的夹角a1，四个顶点坐标(w1，h1)、(W2，h2)、(w3，h3)、(w4，h4)。

步骤S32：基于模板特征区域的设定，利用角度差值、待测工业包装字符图像特征区域的中心坐标值进行水平矫正。以工业包装字符图像的特征区域的中心坐标为旋转原点，以Δα＝|α1-α0|为旋转角度。然后进行平移操作，两个方向上的平移量为坐标差值。

2.本发明基于特征区域的动态目标字符区域定位方法是在上述基于特征区域的自适应矫正方法的拓展延伸，在继承上述步骤的基础上，另外流程包括以下三个步骤：

步骤S4，模板字符区域的预处理。在模板工业包装字符图像的重要信息区域上直接进行预切割，使得机器可以以此作为后续待测图像字符区域的自动定位的前提。预设模板图的字符区域为ROI_0，可以得到中心点坐标和与水平线的夹角β0，四个顶点坐标

步骤S5，一次粗略定位。将已经经过上述闭运算操作和区域增长的的待测图像区域根据S4得到的先验信息，以α1为预设角度进行连通，到该区域的最小外接矩形囊括的区域，并且得到一次粗略定位的字符区域ROI_1，同理，可以到中心点坐标和与水平线的夹角β1，四个顶点坐标：

步骤S6，在S5描述的关于闭运算的过程中，形成矩形区域会受闭运算的影响该角度会与真实角度有所误差。根据模板图像特征区域和目标区域四个顶点的相对位置关系进行二次仿射定位。假设结合两区域的顶点坐标(w1，h1)、(w2，h2)、(w3，h3)、(w4，h4)和

到二次仿射定位区域的中心点四个顶点坐标

步骤S7，由于通过四个顶点的仿射定位可能会导致细微的角度偏差，虽然在普通的图像特定区域自动定位上并不能产生影响，但是为了能更加时效、准确地自动定位流水线上精密的工业包装字符的目标区域，避免这类误差，所以再进行三角关系精细定位操作。已知目标区域水平夹角α1，目标区域中心坐标为O(x0，y0)，若以O为坐标原点，求顶点之一A(x1，y1)，根据三角关系可知以下关系：

所以就可以得到顶点A的坐标为(x0+OP，y0+AP)，其他各顶点坐标求法类似。分别定义为

步骤S8，将S5-S7的三次定位结果，主要是将三组四个顶点值坐标求平均值作为最后的输出。

与现有方法相较，本发明具有以下3个特征：

(1)本发明面向密集工业包装字符图像，为了尽可能保留字符的细小区域，本发明采用区域面积筛选和灰度插值相结合的方法进行噪点剥离，有效的避免的工业常见椒盐噪声对细小字符的强干扰。

(2)本发明利用工业包装字符图像的内容和排版特性，提供了一种基于特征区域的自适应矫正方法，这种方法可以灵活地处理图像反转、倾斜的矫正问题。

(3)本发明在基于特征区域的自适应矫正方法的基础上，提供了一种基于特征区域的动态目标字符区域定位方法。通过预设的模板数据和先验经验进行区域增长的特征区域粗定位；然后根据模板图像特征区域和目标字符区域的顶点坐标位置关系形成一一映射进行二次仿射区域定位；上述两种方案均采用模板匹配的思路。最后通过得到的目标区域中心点坐标及三角关系将得到精确值，最后综合三次定位形成坐标均值得到最后的结果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1流水线上包装字符图像的归一化检测方法的流程图。

图2为工业包装字符图像中椒盐噪声和斑点噪声示意图。

图3为工业包装字符图像连通区域示意图。

图4为基于模板工业包装图像特征区域的矫正示意图。

图5为本发明三角关系精细定位操作。

图6为实施例中密集工业包装字符图像噪点剥离图示。

图7为实施例中基于特征点模板配准的倾斜校正图示。

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

1、基于特征区域的自适应矫正方法，包括如下步骤：

步骤S1，分析工业包装字符图像，到合适的的图标作为唯一特征区域。一般来说，工业流水线上包装图像上会设有某样特殊的图标来证明安全性能或者免检属性，这类图标可以用来作为本发明矫正和定位操作的特征区域。

步骤S2，制作模板，旨在到唯一特征区域的特定参数。本发明采用基于形状的模板匹配，首先要对模板图像进行预处理，包括以下四个步骤：

步骤S21：去除椒盐噪声的干扰。工业流水线上采集图像时最容易收到的干扰噪声是椒盐噪声(salt-and-pepper noise)和斑点噪声(speckle noise)，两者整体皆呈碎片斑点状，如图1所示。本发明采用3*3的中值滤波法去除椒盐噪声和斑点噪声的干扰，同时保护了模

糊的边缘。

取排好序中x1、x2、…、xn的中值作为中心点Y像素灰度的新值，

其他值被称为滑动窗口。

步骤S22：阈值分割，形成连通域。操作公式如下：

v(x，y)＝max(StdDeyScale*d(x，y)，AbsThreshold)

步骤S23：结合面积和灰度值进行噪点剥离。因为在工业包装字符中的椒盐噪声面积可能会比“.”、“：”、“i”等字符或者字符的一部分大，所以对工业字符含噪图像进行单一的面积筛选会过滤掉一些重要的字符信息。本发明提供的的噪点剥离方法结合了面积属性和灰度值差异，实验证明效果良好。具体操作为：

在分割连通域的基础上先进行区域面积筛选，一般保留的面积值域下界为字符“i”的点值的面积。

轻度开运算，旨在实现把看起来细微连在一起的两块区域分开来，保证整体位置和形状不变的基础上去除孤立的小点和毛刺。操作公式如下：

R代表经过(1)处理的区域集，sq表示窗口滑动方块，也称模板核，C表示开运算，Θ表示腐蚀操作，表示膨胀操作。

将连通后的区域进行二次筛选，与S23(1)不同的是本次操作对象不再是区域面积，而是灰度像素值。由于椒盐噪声灰度像素值较大，所以阈值下界设为128，上界为255。通过灰度值挑选出受到光线干扰形成的椒盐噪声点和光圈。将步骤S23(2)得到的区域集与上述操作挑选出的受到光线干扰形成的椒盐噪声点和光圈区域集做差值运算。

重复S23(1)的基于区域的面积筛选。

步骤S24：定位唯一的特征区域。

使用闭运算和孔洞填充先将唯一的特征区域处理为一个比较规则的四边形，具体操作为：

R代表经过(1)处理的区域集，sq表示窗口滑动方块，也称模板核，·表示闭运算，Θ表示腐蚀操作，表示膨胀操作。

由于工业包装图像包含出小而密集的堆积字符，所以一般来说特定图标处理之后的区域是包装图像中最大的区域。所以通过区域面积筛选可以到最大的连通区域作为特征区域。如图2所示。为避免因为角度导致出现边缘毛刺，故将特征区域转为标准的最小外接矩形区域，得到中心坐标(x0，y0)和与水平线的夹角α0，四个顶点坐标(m2n1)、(m2，n2)、(m3，n3)、(m4，n4)。

步骤S3，基于模板工业包装图像特征区域的矫正。

步骤S31：将待测模板按照S2步骤先进行预处理，同样到待测工业包装字符图像特征区域的中心坐标(x1，y1)和与水平线的夹角α1，四个顶点坐标(w1，h1)、(w2，h2)、(w3，h3)、(w4，h4)。

步骤S32：基于模板特征区域的设定，利用角度差值、待测工业包装字符图像特征区域的中心坐标值进行水平矫正，如图3所示。以工业包装字符图像的特征区域的中心坐标为旋转原点，以Δα＝|α1-α0|为旋转角度。即图3中的绿框表示待测图像的最小外接矩形拟合的特征区域，蓝框为模板图像的最小外接矩形拟合的特征区域，红框为绿框旋转矫正之后的区域边框形态。然后进行平移操作，两个方向上的平移量为坐标差值。

2.本发明基于特征区域的动态目标字符区域定位方法是在上述基于特征区域的自适应矫正方法的拓展延伸，在继承上述步骤的基础上，另外流程包括以下三个步骤：

步骤S4，模板字符区域的预处理。在模板工业包装字符图像的重要信息区域上直接进行预切割，使得机器可以以此作为后续待测图像字符区域的自动定位的前提。预设模板图的字符区域为ROI_0，可以得到中心点坐标和与水平线的夹角β0，四个顶点坐标

步骤S5，一次粗略定位。将已经经过上述闭运算操作和区域增长的的待测图像区域根据S4得到的先验信息，以α1为预设角度进行连通，到该区域的最小外接矩形囊括的区域，并且得到一次粗略定位的字符区域ROI_1，同理，可以到中心点坐标和与水平线的夹角β1，四个顶点坐标：

步骤S6，在S5描述的关于闭运算的过程中，形成矩形区域会受闭运算的影响该角度会与真实角度有所误差。根据模板图像特征区域和目标区域四个顶点的相对位置关系进行二次仿射定位。假设结合两区域的顶点坐标(w1，h1)、(w2，h2)、(w3，h3)、(w4，h4)和

到二次仿射定位区域的中心点四个顶点坐标

步骤S7，由于通过四个顶点的仿射定位可能会导致细微的角度偏差，虽然在普通的图像特定区域自动定位上并不能产生影响，但是为了能更加时效、准确地自动定位流水线上精密的工业包装字符的目标区域，避免这类误差，所以再进行三角关系精细定位操作。如图4所示，已知目标区域水平夹角α1，目标区域中心坐标为O(x0，y0)，若以O为坐标原点，求顶点之一A(x1，y1)，根据三角关系可知以下关系：

所以就可以得到顶点A的坐标为(x0+OP，yQ+AP)，其他各顶点坐标求法类似。分别定义为

步骤S8，将S5-S7的三次定位结果，主要是将三组四个顶点值坐标求平均值作为最后的输出。