鲁东大学学报(自然科学版)
Ludong University Journal (Natural Science Editi on )
2009,25(4):304—307
收稿日期:2009204218；修回日期:2009205220 作者简介：徐占鹏(1979—)，男，山东烟台人。讲师，硕士，主要从事模式识别、计算机视觉方面的研究。Tel:139****1516,E 2mail:xzp2003@yahoo 。 徐占鹏1
，马翠玲2
，黄咏芳
2
(1.青岛职业技术学院 信息学院，山东青岛266555;2.海军航空工程学院 应用数学研究所，山东烟台2
取暖袋
64001)
摘要：针对机器人工作环境及已有机器人操作点定位法的局限，提出了一种基于“眼在手上”的手2眼机器人视觉定位方法.该方法简化了标定过程，特别是在定位时摄像机对目标取像的姿态不受任何约束，极大地提高了自动化生产效率. 关键词：操作点定位；手2眼法；机器人；标定
中图分类号:TP24 文献标志码:A 文章编号:167328020(2009)0420304204
机器人的主要任务是代替人类进行一些重复性、环境差、危险性高的手工操作(以下称手工操作),
其完成的前提条件是进行操作点定位，这需要将二维图像坐标转换为机器人空间中的三维坐标，因此建立图像坐标与机器人空间坐标的对应关系显得尤为重要.通常，这种对应关系由摄像机的内部参数及外参数决定，通过实验与计算获取这些参数的过程，称为摄像机标定.标定的精度直接影响视觉传感器的测量精度.与一般意义的摄像机标定不同，机器人视觉定位与其所承担的任务有关，在本文的手工操作点定位过程中，除了使用摄像机外，还添加了辅助的激光器，所以在有些情况下还需要知道光源和固定装置之间的位置关系.目前，在机器人视觉技术应用中，经常将摄像机放置在机器人坐标系中，其目的是当机器人的末端执行器(即机器人的手爪)在执行某项任务时(例如抓取工件)，由摄像机测定末端执行器与工件的相对位置[1]
.常用的方法为固定视觉线性定位法[2]
，在该方法中，一般都需要在摄像机前放置一个特制的参照物，摄像机获取参照物的图像，并由此计算出摄像机的内外参数.参照物上的每一个特征点相对于世界坐标系的位置在标定时应精确测定，世界坐标系可选参照物的物体坐标系.在得到这些已知点在图像上的投影位置后，就可以计算摄像机的投影矩阵M ，继而进一步计算出摄像机的参数.该方法在定位中忽略了摄像机成像过程中镜头的非线性畸变，给出一个透视投影矩阵用来表示摄像机坐标系与世界坐标系(即三维物体空间)之间的线性变换关系，并且把透视变换矩阵中的元素作为未知数，给定一组三维控制点和对应的图像点，就可以利用线性方法求解透视变换矩阵中的各个元素.该方
法运算速度较快，但标定过程中不考虑镜头的非线性畸变，使得标定精度受到一定影响[3]
自动充电电动车
.摄像机与末端执行器之间的关系称为机器人手眼关系.机器人手眼关系是视觉信息应用于机器人领域的一个重要环节，已经成为国内外视觉测量在机器人应用领域中的研究热点. 本文根据摄像机的两种不同安装方式，结合用于手工操作点图像坐标检测的两个线激光器，提出了一种用于手工操作定位系统的机器人视觉定位方法，即改进后的手2眼视觉定位法，实验结果验证了方法的有效性.
1 手2眼定位方法
设空间中存在一点P,P 点在世界坐标系{W }中的坐标为P W ，在摄像机坐标系{C}中的坐标为P C ，在机器人末端执行器坐标系{E}中的坐标为P E ,E R C ,E T C 分别为坐标系{C}和{E}的正交单位矩阵和平移向量,W R E ,W T E 分别为坐标系{W }和{E}的正交单位矩阵和平移向量.则机器人手2眼视觉坐标转换
第4期徐占鹏，等：一种改进的机器人视觉定位方法305
关系为
P W=λW R E E R
C M-1[u,v,1]T+W R
E
E T
C
+W T
E
,(1)
其中(u,v)是P
C
以像素为单位的图像坐标系坐标,M为摄像机内部参数矩阵,λ为目标物体在摄像机坐
标系下的深度信息[4].传统的方法是通过计算获取式(1)中的矩阵E
R C ,E T
C
,M，从而实现视觉对机器人
的运动控制.手2眼视觉法实现对目标的精确定位受许多因素影响，例如若机器人末端执行器运行的累计误差较大，则计算各项参数计算量也很大，故较难实现对目标的精确定位[5].
2 改进后的手2眼视觉定位方法
在有些情况下，机器人手臂会对摄像机有一定的遮挡，影响了图像信息的完整采集.因此本文采用一种基于“眼在手上”安装方式的手2眼定位方法，即将摄像机安装在机器人末端执行器上，使摄像机随着机器人手臂的运动具有较大的视野范围，而且可以近距离获取目标物的细节信息，提高图像分辨率.这种改进后的方法无需放置立体标定参照物，可直接将目标物体的图像坐标映射到机器人基坐标系中，把系统参数作为一个整体来获取，不需要分别计算摄像机内部的每一个参数的值，简化了标定过程.系统标定后，在定位过程中摄像机可以以任意姿态工作，不需要再次进行标定.
2.1 算法描述
将摄像机安装在机器人末端执行器上，以工作台上3个已知点为参考点，摄像机沿其光轴移动一次获得两幅图像，根据这两幅图像实现定位.
若空间中存在一点P,P
W
,P E,P C分别为P点在坐标系{W},{E},{C}下的坐标值，则有
P W=W R
E P E+W T
E
,P E=E R
C
P C+E T
C
,(2)
整理得
P W=W R
E E R
C
P C+W R
E
E T
C
+W T
E
.(3)
根据针孔摄像机模型可知，目标点的图像坐标和摄像机坐标之间的关系为
P C=λM-1[u,v,1]T,(4)其中(u,v)是P
C
以像素为单位的图像坐标系坐标,M为一个3×3的摄像机内部参数可逆矩阵,λ为目标物体在摄像机坐标系下的深度信息.
将式(4)带入式(3)得
P W=λW R E E R
C M-1[u,v,1]T+W R
E
E T
C
+W T
E
.(5)
在该安装方式下，摄像机相对于机器人末端的关系是固定不变的，而摄像机内部参数也是固定不变的(考虑固定焦距情况)，因此式(5)中“E
R C
M-1”这一项一旦被确定就变为恒定的，式(5)由此可定义为
P W=λW R E H[u,v,1]T+W R
E E T
C
+W T
E
,(6)
其中H=E
R C
M-1.根据式(6)可得三维立体视觉定位的关系式
[X W,Y W,Z W]T=λW R E H[u,v,1]T+W R
E E T
C
+W T
E
,(7)
[X W,Y W,Z W]T=λW R E H[u1,v1,1]T+W R
E E T
C
+W T
E
,
[X W,Y W,Z W]T=λW R E H[u2,v2,1]T+W R
E E T
C
+W T
E
.
(8)
由于本系统采用的是单目摄像机，所以无法直接用式(7)的三个方程求解四个未知量[X W Y W Z Wλ]T.因此在定位时，可在不同高度拍摄两次目标点图像，得到两组目标点的图像坐标(u
1
,v1)和(u2,v2)，代入式(7)得到关于[X W Y W Z Wλ]T的方程组(8)，由此求出目标点的机器人
空间坐标(X
W
,Y W,Z W).
306 鲁东大学学报(自然科学版)第25卷
2.2 实验结果
整个实验过程是在MOT OMAN 2S V3机器人直角坐标系下进行的，利用MOT OMANCOM32提供的函数实现定位程序.其中B sc IsRobotPo s 函数提供的机械手末端控制点的六个自由度(X,Y,Z,T X ,T Y ,T Z )是末端坐标系原点在基坐标系下的位置，即W T E .由此可以确定W R E 为
W R E =B sc IsRobo tPos (z,T Z )B sc IsRobotPo s (y,T Y )B sc IsRobo tPos (x,T X ).
(9
)
图1 参照点二值图像
实验以工作台上3个大小不等的四边形上的黑圆点为标定点，由于3个标定点之间没有任何约束关系，因此可通过手臂末端的接触来确定3个点的位置，然后控制摄像机在不同高度对标定点取像.
图1为经过二值化后的图像，紧接着利用中值滤波去噪后就可精确提取6个图像点，利用这6个图像
点来确定系统的标定参数H 和E T C .在增加激光器为辅助定位装置时，可将标定点设置在结构光平面中，配合结构光平面的约束方程，求出目标点的机器人空间坐标. 标定好的系统参数如下:
H =
0.000017665115900.00076476861352
-0.00000814665426
-0.00077730416992
0.00000737778903
0.000000986516570.26975334321014
-0.27525652695122
1.00267332827338
,
E T C =[-6.77827887554228
4.01810215840602-27.53187203349113]T
.
已知待定位目标点在机器人空间坐标系下的标准坐标为(110102,5021345,-3401811)，为了更好
地分析实验结果，本实验在工作台视野范围内使摄像机在不同高度对目标点进行定位.表1列出五组数据，从表中可知误差均不超过1mm ，目标点距离摄像机越远误差越大，这是由于摄像机光轴与末端执行器Z 轴不能精确平行造成的.而固定视觉线性定位法的实验结果如表2(具体推导见文[6]).
表1 本文方法定位结果及误差
(mm )
序号高度
计算坐标
误差
131.65(110.023,502.355,-340.815)0.031261.85(110.052,502.387,-340.774)工程机械液压系统
0.063351.35(110.114,502.568,-340.731)0.119461.55(110.247,502.687,-340.626)0.4515
81.25
(110.326,502.837,-340.495)
0.659
表2 固定视觉定位法定位结果及误差
(mm )
序号
标准坐标计算坐标误差
1(-71.715,346.171,-0.813)(-71.809,346.180,-0.890)1.0792(-44.437,317.863,-0.831)(-44.519,317.941,-0.889)1.0923(-93.049,400.531,-0.811)(-93.111,400.501,-0.897)1.0884(-64.803,371.150,-0.830)(-64.971,371.197,-0.896)1.0845
砂浆回收
(-36.983,343.969,-0.834)(-36.477,344.031,-0.906)1.089
通过上述实验的数据和误差计算来看，本文方法与传统的基于透视变换矩阵的固定视觉线性定位法均可以达到较好的定位效果，但相对比而言，手2眼视觉定位方法比固定视觉定位方法精度略高，定位结果更接近目标物位置.2.3 结果分析
在进行固定视觉的定位时，忽略镜头畸变是不可取的.固定视觉法实验中使用了结构光平面的约束条件和摄像机非线性模型，并对畸变进行了补偿，进一步提高了系统精度，能够满足机器人应用于工业流水线生产的需要.但是，由于该方法对靶标的制作精度要求很高，并且需要人机交互提取靶标上大量特征点的图像坐标，又引入了人的主观因素，这些环节在实际应用中很难精确达到，因此固定视觉定位法的定位精度受到了影响，此方法仅适用于精度要求不是很高的生产中. 通过上述实验的数据和误差计算来看，本文方法可以达到较好的定位效果，定位结果接近目标物位置.与传统的手2眼定位方法相比，改进后的方法充分考虑了机器人手工生产的应用，无需摆放参照物，并且将目标物体的图像坐标映射到机器人基坐标系中，把系统参数作为一个整体来获取，不需要分别计算摄像机内部的每一个参数的值，简化了定位过程；另外，相比固定视觉方法，可随意改变末端姿态定
第4期徐占鹏，等：一种改进的机器人视觉定位方法307
pet镭射膜 位，即定位时摄像机对目标取像的姿态不受任何约束，大大推广了手眼视觉系统的应用范围，从而极大地提高了自动化生产效率.
参考文献:
[1] 马颂德，张正友.计算机视觉[M].北京：科学出版社,1998:1—6.
[2] Tsai R Y.A versatile ca mera calibrati on technique for high2accuracy3D machine visi on metr ol ogy using off2the shelf T V
ca meras and lenses[J].I EEE Journal of Robotics and Aut omati on,1987,3(4):323—344.
[3] 郑南宁.计算机视觉与模式识别[M].北京：国防工业出版社,1998:22—31.
[4] 苏剑波，席裕庚.基于无标定全局视觉反馈的三维运动目标的图像跟踪方法[J].高技术通讯,2000,(7):85—87.
[5] Yoshi m i B H,A llen P K.A lign ment using an uncalibrated ca mera syste m[J].I EEE Trans on Robotics and Aut omati on,
1995,11(4):516—521.
[6] 林娜，马孜，胡英，等.基于机器人系统的线结构光视觉传感器标定新方法[J].传感器与微系统,2007,26(9):
101—103.
An I m proved M ethod of Targeti n g Robot V isi on
XU Zhan2peng1,MA Cui2ling2,HUANG Yong2fang2
(1.School of I nfor mati on,Q ingdao Technical College,Q ingdao266555,China;
2.I nstitute of App lied Mathematics,Naval Aer onautical Engineering Academy,Yantai264001,China)
Abstract:Based on the li m itati ons of the operating point of the r obot positi oning methods and its working envi2 r onment,one kind of hand2eye r obot visual positi oning method was br ought f or ward according t o the“eye in the hands”.This method can si m p lify the calibrating p r ocess.The ca mera can take i m ages at any pose and the sys2 te m neednπt t o be recalibrated,which greatly i m p r oves the efficiency of aut omatic line.
Key words:operating l ocati on;hand2eye method;r obot;calibrati on
(责任编辑 王际科)
(上接第298页)
Abstract I D:167328020(2009)04202962E A
S marandachely Adj acen t Vertex Totol of Graph P
m +P
n
Lü Xun2jing
(School of Mathe matics,Physics and Soft w are Engineering,Lanzhou J iaot ong University,Lanzhou730070,China) Abstract:U sing the method of conj oint analysis,the S marandachely adjacent vertex t ot ol chr omatic number of
graph P
m +P
n
is discussed and summarized.
Key words:j oin graph;adjacent vertex2distinguishing t ot ol col oring of graph;S marandachely adjacent vertex t ot ol col oring of graph
(责任编辑 王际科)
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议