130
计算机与多媒体技术
Computer And Multimedia Technology
电子技术与软件工程
Electronic Technology & Software Engineering
在某糖厂生产的糖包运输线上需要三坐标工业机器人搬运码垛时，需要对糖包编织袋平放的平面位置及倾斜角度进行识别，为机械手提供准确的平面位置及C 轴转角信息，从而使机械手能快速准确的码垛。本文采用基于OpenMV 开发的图像处理系统，对编织袋平放时平面位置及倾斜角度的识别进行了研究。1 识别系统硬件方案1.1 系统的控制方式 视觉摄像头在传送带的正上方，当编织袋传送到摄像头识别区域的时候，通过图像识别系统采集图像，并识别出编织袋平面位置及倾斜角度，返回参数到总控制系统内，从而使机械手得到编织袋位姿的参数并进行准确的搬运码垛。1.2 图像识别系统硬件搭建
选取OpenMV4 H7作为硬件控制器，采用OpenMV 自带的OV7725感光元件的摄像头，触控显示屏作为系统图像显示与界面操作，先期采用计算机进行编程与调试。
为突出被测编织袋的边界特征，需使用了高角度前光源在编织袋的上方进行照射，传送带两侧上方布置LED 二极管作为图像识别系统是光源。2 识别系统软件方案
采用基于OpenMV 开发的系统，通过传送带正上方摄像头获得编织袋平放时的俯视图像，使用图像增强技术进行优化，再利用LAB 图像的彩特性来分割编织袋与背景，最后采用四边形检测的算法来计算出编织袋平放的平面位置及倾斜角度。方案由图像采集、图像增强、LAB 彩阈值分割、图像识别组成。2.1 图像采集
为验证所研究的识别算法的普遍适用性，尽量使拍摄环境与工厂的生产环境基本一致，在满足光照条件的情况下进行原始图像的采集。为了方便快速准确的到编织袋颜阈值，选取白背景的传送带，使之能够快速的识别到编织袋。采集的原图如图1(a)所示。2.2 图像增强
对抓取到的编织袋原始图像进行增强处理，提高图像清晰度，使编织袋图像的轮廓特征更突出，降低噪声的影响，以便于满足图像识别的要求。2.2.1 图像锐化
在对图像增强的过程中采取图像锐化，调用函数img.
基于OpenMV 开发的数字图像处理技术
潘宇 唐万洪 刘斌 陈俊成
（柳州工学院 广西壮族自治区柳州市 545616）
laplacian( )对获取到的原始编织袋图像进行锐化处理。图像锐化目的是让图像的细节如边缘、顶点等更加清晰、突出、尖锐，是一种补偿轮廓、突出边缘信息的处理方法[1]。由如图1(b)可知锐化后的图像比原图平滑，增强了图像中编织袋的轮廓信息，将编织袋的边界完整的检测出来。2.2.2 彩双边滤波
由于经过图像锐化后的图像会造成图像质量有一定的降低，使得图像不逼真，且经过图像增强过的图像会对图像中的噪声有一定的放大。故此，通过彩双边滤波对图像进行处理，调用函数img.bilateral( )对锐化后的图像进行彩双边滤波处理。如图1(c)经过彩双边滤波过的图像较比之前更平滑，有效保持了图像中编织袋边缘的完整性，对噪声有一定的减弱作用[2]。2.3 LAB彩空间的阈值分割
在进行图像识别之前，需要识别到编织袋在图像中的存在，故对增强处理的图像进行图像分割。因编织袋与背景颜有较大的差，故采用基于区域相关的阈值分割技术，将需要待识别的编织袋与图像背景中分割出来。
阈值分割是对获取到的图像进行灰度值分割的一种图像处理技术，属于相似性分割，根据灰度值分割的一种方法，对目标物体与背景有强烈差的图像的分割具有特别好的分割作用[3]。针对前面处理后
的彩图像，需要对图像采用LAB 彩的阈值分割。LAB 彩空间的颜范围非常广，包含了RGB 彩和CMYK 彩的所有颜，LAB 有三个通道，其中L 是亮度调整；A 的正数调整表红，负端代表绿；B 的正数代表黄，负端代表蓝；通过调整亮度、A 和B 的值可以任意到需要识别的颜。经过多次试验，调试出了合适的LAB 阈值（60，12，77，-63，-45，46），能较好的识别到编织袋，通过阈值分割以后能更快的检测到编织袋在图像中的位置。阈值分割如图1(d)所示。3 平面位置及倾斜角度的识别3.1 四边形检测
编织袋在装满物料的情况下，平躺放置时可以近似的看成一个不规则的四边形，调用识别矩形函数对其在图像中编织袋进行识别，运用画图功能在图像中对识别到的编织袋进行画图，画出其外接矩形框辅助进行识别，由于在二值图中进行识别，故将外接矩形边框设置红。调用画圆的函数，对画出的外接矩形与编织袋的交点进行画圆处理，将圆设置为绿，画圆处理有利于接下来的坐标识别。
调用函数blob_rect()返回识别到的图像中块（编织袋）的外
摘 要：本文基于OpenMV 开发的数字图像处理技术，识别工厂传送带上编织袋平放时的平面位置及倾斜角度，提出一种基于四边形
检测的算法，为机械手传输准确的搬运编织袋时的平面位置及倾斜角度的信息。
关键词：
编织袋；四边形检测；倾斜角度
●项目基金：广西高校中青年教师基础能力提升项目（2017KY1386、2018KY0873）、广西大学生创新创业训练计划项目（201713639022）。
图1
(a)原图(b)锐化图(c)彩图双边滤波图
(d)LAB 彩阈值分割(e)四边形检测
131
计算机与多媒体技术
Computer And Multimedia Technology
电子技术与软件工程
Electronic Technology & Software Engineering
接矩形框，并输出外接矩形框的左上角坐标。采用四边形检测算法是对图像中存在的四边形物体与图像中其他形状物体区分开来。基本思想是，首先利用Hough 变换进行直线检测，得到图像中的各条直线与轴正方向所形成的夹角（从轴的正方向沿逆时针方向与直线所形成的夹角），对得到的夹角降序排列后，通过夹角的比较判断各条直线是否平行[4]，进行识别出图像中的四边形物体。识别出的编织袋图像如图1(e)所示，在图中整个编织袋都在他的外接矩形框内。
3.2 中心坐标位置的识别
裳凤蝶在运用四边形检测识别出编织袋的基础上，调用函数r.corners()，返回出编织袋在图像中四个角坐标，输出从左下角开始依次为（47，106），（123，75），（98，14），（20，44）。运用中点坐标公式为：
（1）
（2）
代入坐标得x=71，y=60，即图像上编织袋的中心坐标为（71，60）。
3.3 倾斜角度的识别
已知两点坐标，运用点斜式方程可求两点之间连线的斜率，公式为：
（3）
（4）
由图像直接识别得到的是弧度，应转化为角度。在设计中设定了编织袋的倾斜角度为-90°到90°的范围，通过判断图像中编织袋的长和宽来判断编织袋是向上倾斜还是向下倾斜，向上倾斜为正向角度倾斜，向下倾斜为负向角度倾斜。
从图1(e)可知图像坐标为（47，106）、（123，75）、（98，14）、（20，44），设上方坐标（98，14）为起始点，逆时针选取三个坐标，依次两坐标构成直角三角形，前两个坐标求宽，后两个坐标求长，通过勾股定理公式：
（5）
代入坐标分别通过计算宽为83.57，长为67.62，宽大于长，为向上倾斜。由输出的坐标第一个坐标与第二个坐标可求出倾斜角度，由式（3）和式（4）可得斜率，算出斜率为，由反三角函数得出，求得倾斜角度取整为21°，跟图像结果几乎输出一致。3.4 初步验证实验分析
为了验证初步结论的可靠性与可适用性，对采集的样本9幅图像进行以上的处理，并计算倾斜角度误差率，可得表1处理的结果。
由表1可得，通过实际测量各采集原图的倾斜角度与图像识别的倾斜角度有一度左右的误差，相差不多。可初步得出识别程序有效，基本可靠。图像识别得到的倾斜角度保留到小数点后两位有效数字，倾斜角度的误差在百分之七以内，误差可能是由于在实际测量中对编织袋的测量不够精确，通过人眼不能精确到小数点以后，造成实际测量值与图像识别输出的值有误差。也有可能是在测量了编织袋以后，由于编织袋容易发生形变，不注意致使编制袋变形了导致角度误差。4 结论
生产运输线上物料编织袋容易发生形变，容易偏移位置，为解决机械手搬运物料编织袋进行准确的码垛，需对编织袋的位姿进行识别。本课题针对编织袋平放时平面位置及倾斜角度的识别，构建了机器视觉的系统，应用了图像锐化、彩双边滤波、LAB 彩阈值分割等对采集到的编织袋图像进行处理，能有效的突显出目标图像与背景的区别。采用四边形检测算法识别出在图像中与四边形相似袋装编织袋，运用中点坐标公式求出了图像中编织袋的中点坐标位置，运用点斜式方程求出了编织袋在图像中的倾斜角度。通过初步的实验验证，该算法识别可靠，识别质量准确。
但研究离实际应用还有一定差距，上述图像识别出的中心坐标只是图像坐标系，并未与实际的空间坐标系建立关系，未能直接输出得到目标物体的空间位置坐标，另外选用的差阈值分割类型属于固定值法，无法实现实时随着场景灯光等环境因素的改变而自动改变阈值。
参考文献
[1]杨超.数字图像增强技术研究与实现[J].电脑编程技巧与维
护,2018,(09):138-139.
[2]丁兴号，王鑫芯，肖泉等.一种新的基于彩双边滤波的彩
图像增强方法[J].中国体视学与图像分析,2009,14(02):143-146
[3]张超.图像识别在自动化物流系统中的开发与应用[D].北京：
机械科学研究总院,2016:16-17.
[4]黄柳.四边形分类识别算法[J].信息技术,2010,34(06):58-60.作者简介
潘宇（1984-），男，河南省郑州市人。讲师，从事机器视觉、机械数字化建模的研究及应用。
唐万洪（1995-），男，贵州省仁怀市人。从事数字图像处理及监控系统的研究及应用。
刘斌（1981-），男，江西省抚州市人。工程师，从事电机调速、运动控制的研究及应用。
陈俊成（1996-），男，广西壮族自治区藤县人。从事数字图像处理的研究及应用。
表1
：实验记录数据
图像
目标图像中心坐标识别倾斜角度实测
倾斜角度角度差值角度
误差率
（70，51）15.84°
15°
0.84°
5.60%
（69，54）
36.57°
36°
0.57°
1.50%
（71，54）
55.49°
55°
湘潭大学学报0.49°
0.89%
（71，54）
75.78°
75°
0.78°
1.04%
（66，53）
54.81°
54°
0.81°
1.50%
（60，51）
41.18°
网闸
42°
0.82°
1.95%
（60，56）
28.24°
29°
-0.76°3天内三位著名音乐家相继逝世
2.62%
（63，59）
永远的谭嗣同
16.04°
15°
1.04°
6.93%
固原市回民中学（65，57）10.57°
11°
-0.43°
3.90%
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议