No.1Jan. 2021
第1期2021年1月组合机床与自动化加工技术
Modular Machine Tool & Automatic Manufacturing Techninue
文章编号：1001 -2265(2021)01 -0101 -05
DOI : 10. 13462/j. cnki. mmtamt. 2021.01.024
设计与实现*
罗辉，崔亚飞
(永州职业技术学院智能制造与建筑工程学院，湖南永州425100)
摘要：机器人关节工件组装生产过程中，工件种类多、产量大、人工分拣与装配困难等问题，为了提
高生产速度和效率，提出一种基于OpenC V 视觉技术的机器人关节工件识别与定位检测方法。首 先，
通过工控机读取相机的工件图像，并进行图像灰度化、均值滤波、自适应阀值分割等图像预处理 过程，得到二值化图像；其次，从二值化图像中提取出工件的轮廓，之后，通过胡氏不变矩比较待识 别工件的轮廓与给定的模板轮廓，识别目标工件；最后，提出一种确定工件的位置和方向的方法。 实验结果表明，文章提出的方法能准确识别目标工件，并且有效地确定其位置，为类似的识别提供
了有效参考％
关键词：OpenCV ；机器人关节；工件识别；工件定位中图分类号:TH166L ；TG659 文献标识码:A
Design and Implemeetation of Workpiecc Recognition and
Positioning System Basee on Machine Vision
LUO Hui ,CUI YaWei
(School of Intelligent Manufacturing and Architectural Engineering , Yongzhou Vocational Technical CoVeac,
Yongzhou Hunan 425100 , China )
Abstrad : In the assembly proces s of robot joint workpiece , there are many kinds of workpiece , large out put , manualsorting and a s &mbly di f icultis , &tc.in ord&rto improv&th&production sp&&d and &f icin-
cy , a method of robot joint workpcce rec o gnition and positioning detection based on OpenCV vision tech nology is proposed. Firstly , the image of the cameraW workpcce is read by the industeal computer , and
theimagepre-proce s ing proce s , such asimagegraying , mean filtering , adaptivethreshold segmentation , is carried out to get the binary image ； Secondly , the contour of the workpiece is extracted from the binary
image , and then thetargetworkpieceisidentified by comparing thecontouroftheworkpieceto beidenti- fied with the given template contour through HuW moment invariants. Finaly , a method to determine the location and direction oftheworkpieceisproposed.Theexperimentalresultsshow thatthemethod pro posed in thispapercan accurately identify thetargetworkpiece , and e f ectively determineitslocation , which providesan e f ectivereferenceforsimilaridentification.
Key words : OpenCV ； robot toints ； workpiece identiPcation ； workpiece location
0引言
随着《德国工业4.0》、《中国制造2025》［1-2］等战
略的出台，传统制造业正逐步进入智能制造时代。机 器人关节是机器人组成的关键部件，由于机器人种类 较多，且需要小批量生产，故机器人关节组装生产需要
大量的和种类繁多的工件。机器人关节组装过程中，
需要大量的人工完成工件的识别和分拣工作，工种自 动化程度较低，成为机器人关节生产的瓶颈所在⑶。 在工件分拣的生产线上，大多数公司采用传统的手工
分拣。然而，近年来我国劳动力成本急剧上升，人口老 龄化严重，国内产业升级加速进行，机器视觉作为工业圆弧齿同步带
的眼睛，广泛应用于各个行业，如：路况监控、药品检 测、车牌识别、人脸识别等各个行业，传统的手动分拣
将没有任何优势⑷。因此，将机器视觉技术应用于工
业分拣系统具有重要的意义，与传统的分拣的方法相 比，它具有更高的质量、速度和智能［5］。与人类视觉原
理相似，机器视觉主要由视觉传感器组成，首先，它获 取图像是相机而不是人眼。然后，将图像传输到计算
收稿日期：2020-02-21；修回日期：2020-03 -12*基金项目：湖南省教育厅科学研究项目(18C1761)
作者简介：罗辉(1973-)，男，湖南永州人，永州职业技术学院副教授，硕士，研究方向为机器视觉及机器学习研究等，(E-mail)2286980347@qq.
com o
-102-组合机床与自动化加工技术第1期
机。处理和分析，最终将有用的信息用于实际的
检测、测量和控制®*。
视觉分拣的前提是工件的位，工
定位自动化中起着的作用，如机I
工、作和自动分拣等。图像预处理、特征和
法等都应工位的实现。征
取方面，有矩不变量）8-*、度变特征变换
（SICT）［10］、加速鲁棒特征（SURF"［11］等方法，均具有
平移、旋转、缩放不变性。但是SICT和SURF非.
，图像大时，需的运行时间。显然，在某些应用领域，能满足实时性的要求。针对大图像下工何特征的识别问题，利用Hu 矩不变量对工行、高效的处理。
本文将视觉工件分合，提出了一种基于OpenCV［12］视觉的机器人关节工状匹配的识法，使工业机器人分拣作业拥有的可靠性，分对象及分拣工时变换，了机器人关节工的效率和工业机器人分拣系统的智能化程度。基基础，开发和研究基视觉的工位系统有着分的义。
1系统分析与结构
清水植物黑发1.1待识别对象分析
研究对象是需的机器人关节工件，机器人关节有I型机器人关节成图1所示，每套机器人关节由4个工（部）件组成，分别是关节底座、电机、谐波减速器和输出法兰。
关节底座-1电机-1谐波减速器-1输出法兰-1I型关节成品套件
图1机器人关节工件和成品套件图示
图1中，工件1的尺寸分别是：外直径102mm；内直径50mm'高76mm；工2的分别是：外直径80mm；50mm；55mm；工3的分是：外直径80mm；直径15mm；8mm；工4的分别是：外直径90mm；内直径15mm；高16mm。
1.2识别系统的机械结构
针对机器人关节工的及视觉检的求，同时系统成本和现场的空间等因素，了图2所示的机器人关节视觉位系统装置。该系统装置的：图像采集相机、托盘输入检测光电开关、托盘链、相机照托盘检测光电开关、步进电机、LED光源、控制柜、托盘等运工位气挡电池阀、图像工位气挡电池阀、图像位机、示等。1图像采机2.托盘输人检测光电开关3.托盘链4.相机拍照托盘检测光电开关5.步进电机6.LED光源7.控制柜&托盘流出检测光电开关9.托盘等待搬运工位气扌当杆10.图像工位气扌当杆11.图
像识别位机12.显示
图2机器人关节视觉识别与定位系统装置为了保证工件的图像采集效果，本
机检测的底部了LED灯，保证了采集光线的充足。同时图像采位置了气缸和传感器，如果有新的工了图像采位置，如图3所示，则气缸伸出，保证了图像采集时的性。
鼬膊工位|
托盘托盘托盘托盘托盘托盘
工位1工位2工位3工位4工位5工位6
图3图像采集区
1.3系统的整体方案
机器人关节工位的流图4所示。首，当有工流水线时，托盘输入检测光电开关把检的信控制器，控制器开始控制托盘链运转。，工离开相机照托盘检测光电开关时，控制器控制电池阀，使图像工位气挡杆，工继续前进，方机更
地采集图像。机采图像后，上位机给控制器信号，控制器控制图像工位气挡电池阀降下，工继前行。，工盘流出检光电开关时，控制器控制电池阀，使盘等待搬运工位气挡杆，工继前，等步的处理信。
工业相机上位机显木器
图4系体流程方案
2图像预处理
图像的预处理是工件准的成部分，个处理的结果将直廓的。在本文中，图像预处理图像灰度化、和自适应阀值分割的图像二值化。
OpenC V中，函cvtColor的作用是将图像
个颜空间转换为另一个颜空间。通置参数代码COLOR_RGB2GRAY，可以将GRB转换为灰。
OpenCV中，函blur是，通图像内核公式（1），该函行图像模糊平滑，
的
2021年1月
罗辉，等：基于机器视觉的工件识别与定位系统设计与实现
-103 -
，求平
放入核中。
1 (1)
2 = —:-------:------1 :-------: : .. :
( 1)
gsize. width X gsize. height ' ' '
L 1…1」
式中,gse 是进行图像模糊平滑的尺寸大小。函数 blus 中borderType 有8 模式， 断图像外部像素的某 模式， 使 BORDER_
DEFAULT o
在OpenCV 中，函数adaptiveThreshold 对图像应用
自适应 ，根据如下公式将灰度图像转换为二值化 图像：
( 1 ) THRESH_BINARY
、
「R$*$Ne ,src(* ,y) > ；( * ,y)
%, y )二｛
I 。
，sc (*,y ) $ ；(*,y )
( 2) THRESH_BINARY_INV ds
* * ,y )[0
,s ((*,y ) > ;(*,y )
lrn$A ；y$/ze ,src(*,y ) $ ；(*,y )
(3)
式中，；*, y )是每个像素都单独计算的阀值,s (*, y )
是 的像素值。
图像预处理 图5所示，首 通 机采集原始工件RGB 图像，如图5①，然 原始图像灰度 化，如图5②。由于灰度化的图像具有干扰点，影响图像的 处理, 有必 对灰度化图 像 行, 使用的是均值滤波，如图5③。 使 自适应阈值滤波去除较小的干扰，如图5④。
图 5 图 预处 程图
3机器人关节轮廓的提取
机器人关节工 廓 的目的是为了 似
工件的外轮廓， 胡矩不变量。从图5d 中的 分 果 ，图中有一些小的连通区域，这些域必 ， 廓的准确度。因此，二图像中 有的轮廓后，需 工 廓的 、周长和圆度。 ，果二值图像中 廓的周长或者圆度 预 的阀, 廓将被移 。圆度是表征某一连通区域状 度的 征参数，它是某一连通区域的面积和周长参数，通 方程(4) :
式中,1表示圆度,S 是计算得到的轮廓面积丄是计算的轮廓周长，从式中 ，如果某一连通区域的形状 ，度1 。
工 廓 流 下，首需 图6①中的分割二值图像中 廓， 廓效果如图6②所示，同时， 的些轮廓中周长和形状 的连通区域将被移 ，移 的效果如图6③示。
OpenCV 中, 二 图 像中 工 廓的
findContours 这个函 ，使 CV_
RETR_TREE 这种方法能检 有轮廓并建立继承关系O
图6图像预处 程图
4工件种类的识别与定位
4.1胡氏不变矩理论
何矩是1962 Hu 提出，具有平移、旋转和尺
度不变的特性。其分 下：
(12)对 图像代*,y )，其(p +0)阶普通矩和中心矩的公式如下：
r -- = "x
=1 "+=1 m *,+),—o = o ，1，2, (5)
Z --
= "X =1
"y =1
(* %*
0)p(y %+0)0 f(*,+),p,g = 0,1,2,…
(6)
式中,7,H 是图像的总行数和总列数。(2) 中矩进行 化，归一化中心矩
，-为：
弘噫双面自粘防水卷材
(7)
式中,4 =" +； +2,P +0 =2,3,0； ”00是零阶中心矩。
(3) 构造胡氏7个矩不变量
71 = ,20 + ,02
72 = ( ,20 % ,02) 2 + 4,11 273 = ( ,30 % 3,12) 2 + 3( ,21 % ,03) 274 = ( ,30 + ,12) 2 + ( ,21 + ,03) 2
7 = ( ,03 % 3,12 )( ,30 + ,12 ) + [( ,30 + 3,12 ) ' % 3 =
(,21 + ,03 ) 2 ] +3( ,21 % ,03 ) ( ,21 + ,03 )
)3( ,30 + ,12 ) 2 % ( ,21 % ,03 ) 2 ]
76 = ( ,20 % ,02 )[( ,30 + ,12 ) 2 % ( ,21 + ,03 ) ' ] +
4,11 ( ,30 + ,12 )( ,21 + ,03 )
(8)
7 = ( 3,12 % ,03 )( ,30 + ,12 ) = [( ,30 + 3,12 ) ' % 3 =
(,21 + ,03 ) 2 ] +(3,21 % ,03 ) ( ,21 + ,03 ) )3( ,30 + ,12 ) 2 % ( ,21 + ,03 ) 2 ]
(9)
式中,71 ~7v 为胡 变矩的7个矩不变量
。
-104-组合机床与自动化加工技术第1期
述7个矩不变的范围变化大，可能会
出现负值，因此，采下列的公式：
R=sign(7)log(7),"=1,2,0,7(10)
4.2工件轮廓与
工廓匹配的思路是：首先，需要对模板
图像和图像进行图像的预处理。其，将模板
图像进行二值化，二化模板图像中出目标
工件的外轮廓。对的工件图像，需
将其图像进行二值化处理，必出工件
的所有轮廓，并对廓进行区分。，需出模
廓Hu矩和图像中的轮廓Hu矩。最
，将模板的轮廓的轮廓进行匹配。工：廓匹图7所示。
图7工件轮廓提取与匹配
在0penC V中，工的匹需要使用matchShapcs函，图像Hu不变距，有3种有效地使用Hu矩的方法，如下述:
(1)CV CONTOURS_MATCH_I1:
E1(M,G)="=111
-_-B
m i m i
(11)
(2)CV_CONTOURS_MATCH_I2：
E(A,B)=""1M G
m i-m i(12)
(3)CV_CONTOURS_MATCH_I3:
M G
E(M,G)="i=1M
m
(13)式中,M表示模板图像,G表示待识别工件的图像,r M 和忒通过公式(10)。
如果M和G属于同一种形状，则EM,G)的值将接近于0，经过实践表明，如果采用公式(11),EM,G)的
0.05时为M和G廓。4.3工件的识别与分类
料罐
图1可知，待分的工有4个，其中工
1、工件3和工件4通图7的步骤廓信息都是，工的廓的和(工2只有型，通图7的步骤很容易识别。的工分类的图8所示。
首先，工图像的轮廓，同时，的工廓中周长和。然，取出的轮廓分匹模，果工的
廓有，工是工2，的(果的为3个，则工为工件4，继的。如果工件中有两个大，工是工件1，是工件3O 4.4工件
工业应用中，只是出工件的还不能满足需求，需求出工件的位置和方向，工的位置通廓的工件的位置公式下：
X image A rr a y(i J)
*=----------------------------(14)
""严agMrray(",j)
9X imagMrrayG,j)
(15)
""严agMrray(z
式中,i m ageArray(i J)是一种轮廓的二维点数组。
工件的方向是相对于工件图像坐标而言的，在确定方向时必须选择合适的特征。本文针对形状规则、
对称轴和凸廓的工件2，通搜索工件的外矩轴。主轴对于图像坐标的表示工的方向
OpenCV中，函minAeeaReci
指的域矩形。函，我工廓的矩形，然根据矩形的4个顶轴及其垂直线。
是，的工件1、3和4没有凸轮的轮廓，不能通过外接矩形来确定工件的方向。由于确定工件1、3和4的方向个廓构成，故
分另0求出两个的坐标(*0,+0)和(*1,+1)，通过如下公式求出斜率1:
10旅游电商平台
通过公式(16)求出的，进而可以用反三角函数得出工件1、3和4的角度。
5实验结果与数据分析
5.1工件识别实验与分析
本实验使用OpenCV中的matchShapcs函数匹配工件图像和模板图像，函的E M,G)
0.05时，为状。为了验证
法的可行性和有效性，本实验了如图9所示的工件图像自动化采置，针对每个工了2放位置的实验，分采集了8张图像，实验模图像图10a示，矩模图像
图
2021年1月罗辉，等：基于机器视觉的工件识别与定位系统设计与实现-105-
10b所示，采的工件1、2、3、4图像如图10c，第二组采的工件1、2、3、4图像如图10d。理结果如图11示。
表2图像轮廓的质心和角度识别结果数据组别质心
待识别待识别待识别待识别
图像1图像2图像3图像4 *坐标222212219148
第一组+坐标117201203199
角度89.1328 1.3479 1.6301-0.4183
*坐标245270232260二+坐标2292628685
角度29.8906-21.3886-35.062838.4232
(a)圆形模板(b)圆矩形模板
(t第一组采集待识别的工件1、2、3、4图像
(d)第二组采集待识别的工件1、2、3、4图像
图10模板图工件采集图像
实验让采集的图像的每个工件图像的轮廓分模板10a和圆矩形模板10b的廓进行匹，匹的的结果就是每个目标图像中轮廓与模图像轮廓的相似度。当目标图像轮廓与模板图像轮廓的相似度0.05的时候，为目标图像中的廓与模 廓形状一样，为，并果，匹果如表1所示。
表1可知，有4个图像基本都是垂直水平，每张图像的平似度0.05,
为符合判。根据的分析，同
二组的图像，同时出和第二组的相似度平为0.000418。
表1工件图像识别结果
组别待识别图像1待识别图像2待识别图像3待识别图像4
平均
似度
0.00130.001340.001710.00182
第二组平均
似度
0.001470.002020.002170.00218
识别结果工件1工2工3工4 5.2工件定位实验与分析
工位实验 是求出每个工件的和
方向，实验采集图像如图10示，图10c是第在线检测仪表
，图10d是第二组。工1、2、3和4求出定位的
方法是使用OpenCV中的moment()函出，别
图像每个轮廓的轮廓矩，然出每个轮廓的质心和角度，轮廓的和角度数据如表2所示，图像处
(y)第一组工件1、2、3和4的质心和角度
(b)第二组工件1、2、3和4的质心和角度
图11工件的质心角结果
6总结
针对机器人关节工分中人工效率低下的问题，提出了基于OpenC V视觉的机器人关节工的位法，法
工件的轮廓，然使用Hu矩变量和模板匹配
工型，同时，出工件的位置和方向。
是工位结果的准确性赖廓提的精度。实验结果表明，出的工
位算法是可行的和高效的，了机器人关节工件的分拣效率，具有的参考和应。
[参考文献]
[1*Wei Feng.Industry4.0:advences of germany's manufacturing innowtion*(extended abstract:presentation-onia)
)C*//201713th IDEE Conference on Automation Science and Engineeeing(CASE2017)DEEE，2017.
[2]李金•德国“工业4.0”“中国制造2025，的比较及启
示[J].中国地质大学学报：社科学版，2015,15(5)：71-79.
[3]光建，，蒋建东.机器人关节的发展现状与趋
[J].机动，2004(4)：1-5.
(下转第109页
)
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议