基于双目视觉的零件多尺寸在线测量系统

㊀2018年㊀第10期
仪表技术与传感器
Instrument㊀Technique㊀and㊀Sensor
2018㊀No 10㊀
基金项目:国家自然科学基金项目(61371190)收稿日期:2017-09-13
基于双目视觉的零件多尺寸在线测量系统
张俊勇1,伍世虔1,陈㊀彬2,张㊀琴1,廖龙兴3
(1.武汉科技大学,冶金装备及其控制教育部重点实验室,湖北武汉㊀430081;2.武汉科技大学信息科学与工程学院,
湖北武汉㊀430081;3.泉州华中科技大学智能制造研究院,福建泉州㊀362000)
㊀㊀摘要:针对零件的自动化测量环节,搭建了一套可用于工业流水线生产的零件多尺寸在线测量系统㊂首先,对经典的张正友相机标定方法进行了改进;其次,把边缘聚焦思想用于Canny算子实现了
高精度的零件轮廓提取;然后根据相机的极线对齐理论,提出了基于极线阈值约束的灰度相关边缘匹配算法,获得零件轮廓点云图;最后,对目标点云数据拟合得到零件关键尺寸㊂整个过程基于高斯金字塔多分辨率技术来实现,在满足测量精度的前提下进一步提高了检测速度㊂经过多次实验测试,该系统具有测量精度较高㊁重复性误差小的优点,可以较好地完成零件的在线检测任务㊂关键词:双目视觉;在线测量;相机标定;边缘聚焦;高斯金字塔;流水线
中图分类号:TP391㊀㊀㊀文献标识码:A㊀㊀㊀文章编号:1002-1841(2018)10-0075-06
BinocularVisionBasedMulti⁃dimensionsOn⁃line
MeasuringSystemforWorkpieces
ZHANGJun⁃yong1,WUShi⁃qian1,CHENBin2,ZHANGQin1,LIAOLong⁃xing3
(1.KeyLaboratoryofMetallurgicalEquipmentandControlTechnology,MinistryofEducation,WuhanUniversityof
ScienceandTechnology,Wuhan430081,China;2.CollegeofInformationScienceandEngneering,WuhanUniversityofScienceandTechnology,Wuhan430081,China;3.QuanzhouHuazhongUniversityofScienceandTechnologyIntelligent
ManufacturingInstitute,Quanzhou362000,China)
Abstract:Aimingatautomaticmeasurementofworkpieces,abinocularvisionbasedmulti⁃dimensionson⁃linemeasuringsys⁃temusedintheindustrialassemblylineforworkpieceswasconstructed.Firstly,animprovementwasmadeontheclassicZhang scameracalibration.Secondly,theedgefocusingwasemployedinCannydetectortoaccuratelyextractstructuralboundaries.Fur⁃thermore,accordingtoepipolaralignmenttheory,thegraycorrelationmatchingalgorithmbasedontheepipolarandthresholdcon⁃
straintwasproposedtoobtainpointcloudofcontours.Finally,thetargetpointcloudwasprocessedandfittedtoyieldthekeyworkpiecesdimensions.ThewholeprocesswasbasedonGaussianpyramidmulti⁃resolutiontechnology,andthedetectionspeed
wasfurtherimprovedunderthepremiseofsatisfyingthemeasurementaccuracy.Afterseveralexperiments,thesystemhasthead⁃vantagesofhighmeasuringaccuracyandsmallrepeatabilityerror,andcancompletetheon⁃linetestingofpartswell.Keywords:binocularvision;on⁃linemeasurement;cameracalibration;edgefocusing;Gaussianpyramid;assemblyline
0㊀引言
随着中国制造2025的推进,工业上对产品的加工㊁检测等自动化程度提出了更高的要求,特别是
面对零件连续大批量生产时,传统的人工测量方法已不能满足目前工业自动化的需要㊂因此,基于视觉传感测量的方式应运而生㊂
国内学者对视觉测量方法研究较多,孙军华等介绍了一种采用双目相机结合编码结构光的三维测量系统,通过移动测量仪获得三维点云矩阵,并使用点
云拼接方法完成大型曲面的测量[1]㊂张瑞峰等设计了一种基于虚拟双目视觉的测量系统,由线激光器和工业相机构成,由导轨带动激光器做一维平移扫描,实现了圆形工件的轴线测量[1]㊂全燕鸣等搭建了一套用于车间数控机床上的双目测量系统,通过移动相机对工件不同部位进行拍照处理,实现了对简单工件的几何尺寸测量[3]㊂夏瑞雪等提出了一种利用工件CAD模型,通过人工点击方式引导视觉测量仪进行测量[4]㊂这些方法仅适用于单个静态物体的尺寸检测,
测量效率较低㊂本文使用被动式双目测量方式,结合光电传感器和光源控制器,搭建了一套面向工业大批量生产的零件在线测量系统,并从影响视觉测量精度
㊀㊀
㊀76㊀InstrumentTechniqueandSensor
Oct 2018㊀
的3个要素着手,对经典的相机标定㊁边缘检测和特征点匹配等方法进行研究与改进,提高了三维测量精度㊂
1㊀系统搭建及电路设计
1.1㊀双目视觉在线测量系统的搭建
本文设计的双目在线测量系统,主要实现了大批量零件流水线传输时的在线尺寸检测,以及配合工业机器人对不合格零件进行在线智能分拣㊂图1为搭建的在线测量系统,该系统主要包括双目相机㊁传送带㊁光电传感器㊁漫反射光源㊁光源控制器和工业机器人等㊂待测零件由传送带从右向左传输,利用光电传感器及光源控制器实现两个相机同步外触发拍照及光源同步频闪补光㊂在线测量系统完成对零件关键尺寸的检测,对于不合格的零件,系统利用相机帧信息㊁零件的三维点云信息以及传送带传输速率信息,控制工业机器人将次品零件移入不合格料篓
图1㊀双目视觉在线测量系统
1.2㊀双目相机及光源同步外触发电路设计
系统采用了一对完全一样的MV-EM120C工业相机,相机内部的I/O线路通过光耦连接㊂为保证在线测量系统的测量精度,2个相机必须同步采集照片,同时为了避免产生运动模糊,相机曝光时间必须足够短,为此系统增加了高亮度漫反射光源,并通过光源控制器实现只在相机拍照时同步频闪,这样抑制了LED内部升温可使光源长时间稳定工作㊂
针对上述要求,设计了双目相机及光源外触发接
线电路,如图2所示,光电传感器检测到零件后,信号线Out和零电位线Gnd导通,此时相机的引脚2和3接收到电压激励信号,光耦常开开关闭合,相机内部电路导通,2个相机经电平上升沿触发同步曝光拍照,与此同时,连接引脚4和5端口的光耦常闭开关断开,开关三极管b极由低电平变为高电平,大于导通电压,三极管c极和e极饱和导通,光源控制器外触发端口受到电压激励后,输出电压脉冲信号触发漫反射光
源频闪补光
图2㊀双目相机及光源同步外触发电路原理图
2㊀高精度在线测量系统
2.1㊀双目视觉在线测量系统的标定2.1.1㊀双目视觉测量模型
双目视觉测量是基于视差原理获得待测物体表面的
三维坐标信息,如图3所示,p(u,v)是空间中一点P(X,Y,Z)在相机成像面I上的投影坐标,Ol㊁Or分别为左右相机光心,n为相机主光轴向量,f为相机焦距㊂若已知空间点P在左右像平面的投影坐标Pl和Pr以及相机标定参数,即可计算出点P的三维坐标(X,Y,Z
)㊂
图3㊀双目视觉测量模型
2.1.2㊀相机标定方法的改进
相机标定是估计镜头和图像传感器的参数,包括
相机内参㊁外参以及透镜畸变系数,标定的准确性与鲁棒性直接影响系统的测量精度㊂相机模型有线
性和非线性之分,基于小孔成像的线性模型为:suv1éëêêêêùûúúúú=K[R㊀t]XYZ1é
ëêêêêêùû
úú
úúú,K=fx0u00fyv0001éëêêêêùûúúúú(1)
式中:s为尺度因子;(u,v)为空间点(X,Y,Z)投影到成像面的图像坐标;k为相机内参,包括焦距fx和fy,主点坐标(u0,v0);[R㊀t]为相机外参矩阵㊂
目前工业相机普遍使用透镜模型,由于透镜加工及
㊀㊀
㊀第10期张俊勇等:基于双目视觉的零件多尺寸在线测量系统
77㊀㊀
安装的误差,相机成像发生畸变,相机非线性模型为
u=u+δu(u,v)v=v+δv(u,v)
{
(2)
式中:(u,v)为存在畸变的实际图像坐标;(u,v)为理想图像坐标;δu和δv为非线性畸变参数㊂
张正友提出了一种灵活的平面标定方法[5],解决
了传统标定对昂贵设备的需求和自标定精度低的问题,但其自身也存在缺陷㊂张正友标定法是先通过相机线性模型获得封闭解,然后以该解作为初值,通过非线性搜索算法估计所有参数,包括相机内参㊁外参以及畸变系数㊂因为相机参数是耦合的,若提供的初值精度不高,非线性优化表现会很差,也就是不同的标定图像求解的相机参数相差很大,标定的准确性和鲁棒性不够㊂
初值的求解精度受限于2个方面:标定图像的采集质量和标定板角点的提取精度㊂本系统使用高精度棋盘格标定板,采用随机抽样一致性算法(RANSAC)[6],从影响初值求解精度的两方面入
康q手,自动去除不合规范的低质量图像和精度较低的角点,提高了标定精度,具体流程如下:
(1)基于绝对二次曲线的像(ICA)在单个相机中
不变的理论[7],构建ICA模型,运用RANSAC思想,自动去除低质量的标定图像㊂
(2)基于标定板和成像面的单应性映射,利用每幅标定板角点的重投影误差大小,运用RANSAC思想,自动去除误差较大的角点㊂
(3)最后使用封闭解求得较为准确的初值,即相机的初始内外参数,然后考虑到镜头畸变因素,采用非线性优化算法求得精确的相机内外参数以及透镜畸变系数㊂
(4)采用上面1 3步改进的标定算法分别对左右
纤维素水解相机进行标定,计算双目相机的相对位置参数㊂2.2㊀边缘聚焦思想的轮廓检测
利用视觉进行尺寸测量感兴趣的是零件的轮廓特征,例如孔特征㊁线特征,对零件边缘轮廓特征的精确提取可以提高系统测量精度㊂边缘检测的算子很多,有Sobel㊁Prewitt㊁Log和Canny等,其中Canny算子的边缘检测效果最好,其凭借低漏检率㊁高定位精度而被广泛采用㊂但Canny也有不足之处:Canny算法采用高斯核进行平滑滤波:
g(x,y)=12πσ2exp(-x2+y2
σ
2)
(3)
式中:(x,y)为图像坐标;σ为高斯核宽度参数㊂
σ的取值对边缘检测影响很大,如果σ取值过
小,图像平滑不够,除了零件的关键轮廓外,其表面的细小纹理等弱边缘也一同检测出来,不利于后面的分析判断;若σ取值过大,在抑制不必要边缘细节的同时会使边缘发生偏移,降低了边缘定位准确度㊂为了解决这一问题,本文将边缘聚焦技术[8]与Canny亚像素边缘定位算法结合㊂文献[8]论证了当Δσɤ0 5时,经高斯核函数平滑后的边缘偏移量不超过一个像素㊂基于上述论证,设计的边缘检测流程如图4所示,其核心思想就是首先采用较大的高斯核宽度σ0,然后不断地以步长0.5减小σ0并迭代优化边缘达到逼近出租车计价器传感器
真实边缘的同时又抑制了弱边缘的目的
图4㊀边缘检测流程图
需要注意的是,由于在迭代中使用了较小尺寸的σ,经Canny检测后的新边缘E(i,j,σk)会比旧边缘的定位精度更加准确,但相对于旧边缘会出现一些不必要的边缘细节及噪声㊂解决方法如下:对新边缘E(i,
j,σk)采用8连通的方法对其连通区域进行标记,若新边缘中的像素点在旧边缘的8邻接范围内,且该点所在的连通区域长度超过给定的阈值,则该点保留,否则去除㊂该方法可以有效地抑制新边缘中出现的弱边缘及噪声,得到只含零件轮廓特征的高精度边缘图,记为E0(i,j,σk)㊂
2.3㊀基于极线阈值约束的灰度相关边缘匹配
特征匹配的目的是寻左右图像的特征匹配点,也称共轭点㊂传统的匹配点搜索策略为
Θ∗=argmaxΘ
|Fi⊕Fj(Θ)|
(4)
式中:Θ为运动参数(沿x,y方向的平移);⊕为相似性度量;Fi和Fj分别为左右图像特征点的聚合描述子㊂
传统的匹配策略为二维搜索,即沿x㊁y方向的搜索,时间代价和误匹配率均较高,采用极线约束后,左右图像的共轭点在同一水平线上,实现了只沿x方向的一维搜索㊂因为极线约束只实现了特征点对的y坐标一致,左图像的特征点在极线约束下可能对应多个
㊀㊀
㊀78㊀InstrumentTechniqueandSensor
Oct 2018㊀
候选点,本文提出的采用基于灰度相关的边缘匹配方法,在候选点中选取最佳匹配点,并使用阈值约束进一步排除误匹配点,提高了匹配精度㊂
具体实现方法:将左右边缘图中的待匹配特征点坐标映射到对应灰度图中,并在以该点为中心的窗结构内进行代价聚合,采用匹配代价函数SSD作为灰度相似性度量标准,计算聚合描述子,构造代价函数如下:
P(x,y,d)=argminx,y,d
ðn
i=1ðn
j=1
[Fl(x+i,y+i)-
Fr(x+i+d,y+j)]2(5)
式中:Fl和Fr对应左右灰度图像;(x,y)为特征点像素坐标;d为水平视差;n为聚合窗口尺寸㊂
求得使式(5)最小时对应的特征点坐标P(x,y)和与之对应的水平视差Pd㊂对视差Pd进行阈值约束排除误匹配点,由三角测量关系可知:
PdɪfT[Zmax,Zmin]
(6)
式中:f为相机焦距;T为两相机光心距离;Z为待测零件到左相机光心的竖直距离㊂3㊀高斯金字塔加速技术
为满足柔性生产线的测量精度与检测速度要求,基于不同加工精度的零件,采用高斯金字塔技术对获取的图像进行降采样处理,降低了采集图像的分辨率,在满足测量精密度的条件下,提升了系统的运行速度㊂该方法还避免了更换相机设备,可以使在线测量系统无间断工作㊂图5为高斯金字塔示意图,每层的尺寸从下至上依次减小
图5㊀高斯金字塔示意图
对于一幅灰度图像F(x,y)ɪRMˑN,M和N为图
像的宽度和高度,令高斯金字塔L0层图像:
G0(x,y)=F(x,y)
(7)则Ll层图像:㊀Gl(x,y)=
ð2
m=-2ð2
n=-2
w(m,n)Gl-1(2x+m,2n+y)
(8)
式中w(m,n)为高斯加权函数㊂
经高斯金字塔降采样得到的图像尺寸会缩减,此时得到的特征点坐标及视差需要与原图进行关联㊂假
设空间点P(X,Y,Z)在左成像面上的投影坐标为p(x,y),且与之对应的视差为pd,创建第L层高斯金字塔,此时特征点坐标pL(x,y)及视差pLd与原图的关系为
pL(x,y)=p(
x2L
,y2L
),pLd=pd
2L(9)
4㊀实验结果及数据分析4.1㊀实验具体过程
双目视觉在线测量系统的流程图如图6所示
图6㊀双目视觉在线测量系统流程图
(1)完成在线测量平台的搭建,进行双目相机标
定㊂实验采用150mmˑ150mm的高精度棋盘格标定板,要求摆放的标定板在2个相机的共同视野内,且相对于相机有不同的旋转姿态㊂左右相机共采集了18对标定图像,使用改进的方法进行相机标定,并和经典的张正友标定法进行了对比,采用平均重投影误差作为相机标定精度的评价标准,结果如表1所示㊂
表1㊀左右相机的平均重投影误差
pixel
相机标定平均重投影误差(左)
平均重投影误差(右)
张正友标定法0.16500.1603改进的标定法
0.1437
0.1343
㊀㊀(2)通过双目相机外触发进行同步图像采集㊂实验采用的测量对象为方形法兰,如图7所示
图7㊀方形法兰零件
调整光电传感器相对于相机的位置,确保任意方向摆放的法兰零件触发光电传感器时,均在双目相机
㊀㊀
缝隙式排水沟
㊀第10期张俊勇等:基于双目视觉的零件多尺寸在线测量系统
79㊀㊀
的视野范围内㊂图8为双目相机同步采集的法兰零件
图像对
图8㊀法兰零件图像对
(3)对采集的图像对进行畸变矫正和极线校正,
使左右图像的特征匹配点位于同一水平线上㊂经过校正的图像对如图9所示,从图中的2条辅助线中可以看出,特征点对的y坐标已经对齐
图9㊀经过校正的法兰零件图像对
(4)对校正的图像进行轮廓特征检测,把边缘聚
焦思想
[8]
应用在Canny亚像素边缘提取中,得到高精
度的法兰边缘轮廓,如图10所示
图10㊀结合边缘聚焦思想的Canny亚像素边缘检测
(5)对左右图像的轮廓特征进行特征点匹配,根
据式(5)寻最佳匹配点对,根据式(6)的阈值约束排除误匹配点,计算特征点对应的三维坐标,得到法兰零件轮廓点云图,如图11所示
出生医学证明管理系统
图11㊀法兰零件轮廓点云图
(6)对零件轮廓点云进行空间圆和直线[9-10]的分析及拟合处理,可得到方形法兰部分关键尺寸㊂经过多次重复实验,测量结果见表2,方形法兰零
件的部分关键尺寸如图12所示㊂
表2㊀方形法兰部分关键尺寸测量结果
关键尺寸
参考值
测量值/mm误差/mm相对误差/%43.3167
0.24340.5651尺寸a
43.0733
43.25780.18450.428343.28590.21260.493662.2454
0.22870.3688尺寸b
62.0167
62.29340.27670.446262.29370.27700.446760.5012
0.02120.0351尺寸c
60.4800
60.4758-0.00420.006960.4964
0.0164
0.0271120.3155
-0.07120.0591尺寸d
120.3867
120.40120.01450.0120120.39080.04100.0341120.2492
0.01450.0121尺寸e
120.2200
120.20240.01760.0146120.25360.03360.027917.11080.03080.1803尺寸f
17.0800
17.12120.04120.241217.11290.03290.192617.1517
0.03170.1852尺寸g
17.1200
17.17030.05030.293817.16180.04180.244217.2353
0.05530.3219尺寸h
17.1800
17.21620.03620.210717.2154
0.03540.2061
17.0135-0.04560.2673尺寸i
17.0600
17.0162-0.04390.257217.0262
-0.03380.1981129.8406
0.02060.0159尺寸j
129.8200
铝合金框架129.8167-0.00330.0025129.8405
0.02050.0158
㊀注:表中的参考值为精度0.02mm游标卡尺3次测量平均值
4.2㊀实验结论分析
由表2数据分析可知,该双目在线测量系统的测量精度较高,重复性误差较小,对于零件线性轮廓的测量相对误差在0.06%以内,对于非线性轮廓的测量相对误差在0.6%以内㊂
5㊀结束语
针对工业自动化的发展趋势,本文利用双目相机

本文发布于:2024-09-22 07:15:46,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/2/231413.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:测量   边缘   标定   系统   进行
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议