刘建伟;梁晋;梁新合;曹巨明;张德海
【摘 要】针对工业制造领域中大型工件很难进行全尺寸测量的问题,提出并实现了一种基于立体视觉技术的便携式工业测量系统.对该系统所采用的特征识别、相机定向、立体匹配、三维重建、多视点云配准等关键算法进行了研究.提出了改进的CANNY边缘亚像素检测算法,使用先验规则去除误识别的标志点,多次拟合定位标志点中心,对标志点环带多次采样取中值求取编码点的ID.根据ID号出不同照片中的同名编码点,顺次对照片进行相对定向和绝对定向.然后,根据多幅图像的多极线几何约束,实现非编码点的匹配,消除误匹配.采用前方交会法重建标志点的三维坐标,利用光束平差对计算出的结果和内外部参数做迭代修正.最后,设计了双目结构光扫描系统,提出了一种改进的双目像机标定算法,描述了利用全局和局部标志点的子图同构实现多视点云配准的新算法.实验结果表明,该系统可在生产现场对大型工件进行快速测量,整体测量精度达到0.112 mm/3 m,可以满足工业现场大尺寸测量对精度和效率的要求. 【期刊名称】《光学精密工程》
【年(卷),期】2010(018)001
无纺布折叠机
【总页数】9页(P126-134)
【关键词】立体视觉;标志点识别;立体匹配;三维重建;点云配准
【作 者】刘建伟;梁晋;梁新合;曹巨明;张德海
【作者单位】西安交通大学,机械工程学院,陕西,西安,710049;西安交通大学,机械工程学院,陕西,西安,710049;西安交通大学,机械工程学院,陕西,西安,710049;西安交通大学,电子与信息工程学院,陕西,西安,710049;西安交通大学,机械工程学院,陕西,西安,710049
【正文语种】中 文
【中图分类】TP242.6活性炭采样管
1 引 言
随着制造业工艺水平的不断提高,工业制件特别是大型工件的表面设计越来越多的采用各种复杂曲面。由于这类工件尺寸大,移动困难,传统的测量手段及设备很难对其进行高效率的全尺寸检测:如三坐标机虽然能提供较高的精度,但其很难移动到生产现场进行测量;关节臂、
激光跟踪仪、全站仪、经纬仪可以方便地移动并提供高精度,但都属于点测量方式,对于曲面的测量效率太低,且测量时间随采样密度逞平方数增长;大视场的激光扫描仪精度为mm级,多在工程测量上应用,远远不能满足工业测量的高精度要求。因此,目前的研究热点集中于融合了光学、数字图像、计算机视觉技术的非接触式三维测量方法。这种方法有着严谨的理论基础,量程具有较大的弹性,并能提供相当高的精度和较高的测量效率,是解决中大型工件三维全尺寸检测难题的一种可行方案。国外学者已开展了大量深入的研究,Pancewicz提出了基于条纹投影的物体三维建模方法[1],Hung提出了基于视觉技术的全景曲面三维测量系统[2];G.Sansoni采用主动立体视觉和结构光快速获取物体表面三维点云数据[3];C.Reich提出了集成近景摄影测量与编码结构光技术的曲面三维测量方法[4]。国内在这一领域的研究与工业发达国家相比存在较大差距,但在某些应用领域也取得了一些成果。天津大学的叶声华等提出了用于汽车检测的白车身三维视觉检测系统[5];武汉大学在多目立体视觉检测工业板金件方面进行了研究[6]。
近几年,融合多目立体视觉和双目结构光扫描技术的新一代便携式移动光学三维测量的商用系统已在国外出现,如德国GOM 公司的 T RITOP摄影测量系统和ATOS光栅扫描系统,美国GSI公司的V-STAR系统。国内也有多个单位推出类似ATOS的双目结构光扫描系统,如北京
人工膜肺
开远的OKIO,上海数字制造的3DSS,但它们的多视点云采用相邻拼接的方法,无法解决误差累积问题。本文结合数字近景摄影测量技术,基于立体视觉原理设计并实现了一种大尺寸工业视觉测量系统,包括全局标志点测量系统和局部密集点扫描系统,试图为解决工业领域大型工件全尺寸快速检测这一行业难题做一些探索。
2 立体视觉原理
立体视觉的基本原理与人类双目视觉的立体感知过程类似,即从2个或2个以上的视点观察同一物体得到不同视角下的感知图像,通过计算分析不同图像中同一像点的视差来获取物体表面的三维形状信息[7]。根据使用传感器的多少,立体视觉又分为多目立体视觉和双目立体视觉,双目立体视觉三维坐标测量的数学模型和相应的坐标系如图1所示。
图1 双目立体视觉模型Fig.1 Stereo vision model
pigi
其中,OwXwYwZw为物方世界坐标系,O1X1Y1Z1为左摄像机坐标系,O2X2Y2Z2为右摄像机坐标系,OXY为像平面坐标系。物方点P(Xw,Yw,Zw)在左右摄像机中对应的像点分别为P1(x1,y1,z1)、P2(x2,y2,z2),直线 O1P1和直线 O2P2相交于P点。
通过对两摄像机进行标定,可以得到左摄像机坐标系O1X1Y1Z1与右摄像机坐标系O2X2Y2Z2的相对关系:
其中R=为右摄像机坐标系对左摄像机坐标系的旋转矩阵,t=[tx ty tz]T为右摄像机坐标系对左摄像机坐标系的平移矩阵。在已知像点P1、P2和坐标系关系R、t的条件下即可计算P点三维坐标(Xw,Yw,Zw):
扭力梁式半独立悬架
其中A=
因此,双目立体视觉的基本过程是,首先对左右摄像机进行标定,然后两摄像机同时获取物方对象图像,通过数字图像处理获取目标对象特征点,立体匹配后重建出目标对象三维坐标。
3 核心算法
要测量工件复杂曲面的三维坐标,首先采用多目立体视觉技术,测量粘贴在工件表面的众多标志点的三维坐标,得到标志点点云表示的工件表面框架模型。然后将标志点点云模型导入到双目结构光扫描系统,逐块扫描工件表面各个区域,得到局部密集点云,自动拼接后形成完整的工件点模型。基于多目立体视觉技术的标志点测量系统一次性计算出全局标志点的三维
坐标,从而保证整体测量精度,消除多视点云拼接的累积误差。
3.1 标志点三维测量
3.1.1 标志点识别及定位
标志点作为待测工件表面上的参考点,测量前先行粘贴于待测物体表面和周围区域。本文采用具有明显人工特征的圆型点作为标志点,分为编码标志点和非编码标志点,如图2所示,右边带圆环段的为编码点。编码点作为辅助测量工具,用于相机的标定和恢复外部姿态。非编码点作为被测对象,用于恢复工件表面相应点的三维坐标。
图2 非编码标志点和编码标志点Fig.2 Un-coded and coded reference points
单张图像中两种标志点的检测算法如下:
(1)采用Canny算法检测图像中的边缘,得到单像素宽的闭合边缘集;
(2)用梯度幅值作为权值来计算沿梯度方向的位置加权值,对边缘位置沿梯度方向做子像素级校正:
其中,di是一个像素沿梯度方向与检测到的边缘点的距离,gi是梯度幅值。
(3)采用圆度准则鉴别出边缘集中的椭圆,并利用其它先验信息去除不合条件的椭圆,如椭圆的面积太小、凹凸性及封闭性、与相邻的椭圆距离太近等[8]。
(4)两次采用最小二乘拟合出椭圆的中心,第一次拟合后去除掉距离＞3σ的边缘,再进行第二次拟合。
(5)判断椭圆外围是否有环带,如果没有即为非编码点;如果有则径向做内外边界的连线,在连线上等距离采样5次,以5次采样的中值与标志点的灰度阈值做比较,大于阈值则本环带的编码为1,否则为0;每36°(对应于 10位编码点)重复上述操作,旋转一周后得到形如“0100100111”的二进制编号。
(6)查表得到编码点的ID。如果查不到则看作非编码点。
标志点识别的稳定性和精度对于后续的相机的标定、姿态恢复及三维空间点坐标的求解有着直接的影响。实验证明,上述算法可以达到0.02像素的定位精度。
3.1.2 相机定向
相机定向就是确定每一幅图像的旋转矩阵R和平移矩阵t中六个外方位元素的过程。以左右两幅图像为例,设左图像为世界坐标系,则左图的投影矩阵Pl=K[1|0],右图的投影矩阵则可以写成Pr=K[R|t],其中:K=是相机的固有内参数矩阵,需要先标定出来,这里视为已知量。左右图像中像点在左相机像空间坐标系下的空间向量与基线向量满足共面方程[9]。
相对定向时可以忽略比例尺的影响,因此每个像对中识别出5对以上的同名编码点,就可以解出像对旋转矩阵R和平移矩阵t。
对图片组中的各像对重复上述操作,完成相对定向,形成一个个的单个模型;以第一张图像的像空间坐标系作为世界坐标系,将各模型连接起来,形成统一坐标系的自由网模型。
3.1.3 标志点立体匹配
立体视觉中的匹配是从不同视角的照片中到空间点对应的同名像点,是三维重建过程的基础,也是立体视觉技术应用的难点。本文采用的编码点在每张照片上都显示其唯一的ID,通过ID可以对其进行匹配。对于非编码点,由射影几何知两张不同图像上的同名点具有如下关系:
其中:F=K-1[t]×RK-1写字机器人
式中R和t已在3.1.2中求出;[t]×是平移矩阵的反对称矩阵;m′T、m分别是两张图像上同名像点;F是两张图像之间的基础矩阵。此方程称为同名点之间的极线约束,它说明对于左边图像上一点m,其对应点只能落在右图像的相应极线上l′=Fm上,这样就将潜在的二维搜索空间降为一维。但是,当非编码较密集的情况下,基于外极几何关系的匹配算法在双目立体视觉因只能推断出匹配结果在外极线上,匹配歧异性较大而影响其广泛应用。多目立体视觉测量中由于存在多个相机位置,利用多个图像上的外极线约束就可以大大提高非编码标志点匹配的正确率,见图3。非编码标志点匹配策略如下:
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议