(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201911324796.5
(22)申请日 2019.12.20
(71)申请人 扬州大学
地址 225000 江苏省扬州市开发区大学南
路88号
(72)发明人 李福东 姜定 朱文俊 杨月全
(74)专利代理机构 南京苏科专利代理有限责任
公司 32102
代理人 陈栋智 董旭东
(51)Int.Cl.
G06T 7/55(2017.01)
G06T 7/73(2017.01)
G01C 11/00(2006.01)
G01B 11/00(2006.01)
(54)发明名称
(57)摘要
本发明公开了一种基于机器人双目视觉与
CAD模型的高反光面金属零件位姿测量方法，通
过双目视觉测量深度原理获取金属零件表面多
信息提高左右相机中对应点的配准率，最终实现
对高反光金属零件的稳定精确位姿测量；本发明
利用双目视觉系统和机械臂实现了对高反光金
属零件的稳定位姿测量，克服了高反光零件成像
不稳定而导致的位姿测量不稳定问题，大大提高
了高反光零件的位姿测量稳定性，降低了对高反
光金属零件的打光要求，减少了激光测距等辅助
传感器的需求，提高了整个机器人双目视觉测量
的灵活性和稳定性。权利要求书2页 说明书5页 附图6页CN 110992416 A 2020.04.10
C N 110992416
A
1.一种基于双目视觉与CAD模型的高反光面金属零件位姿测量方法，其特征在于，包括离线CAD模型处理和在线工件位姿测量两个阶段：
离线阶段：
步骤S1：导入工件CAD模型，并根据高反光金属零件的实际成像特点提取模型的整体稳定特征，得到工件整体模板；
步骤S2：提取CAD模型中多个精特征，得到工件精特征模板；
步骤S3：计算精特征到整体模板中心的距离和角度，对每个精特征进行编号，同时保存精特征中心到整体模板中心的距离L i和角度信息θi；
在线阶段：
步骤S4：首先，机器人带动双目视觉相机到达高反光面金属零件上方，打开光源，双目相机采集金属零件的左右图像；
步骤S5：利用离线步骤S1得到的工件整体模板，在左右图像中分别对高反光金属零件进行模板匹配定位，得到模板匹配的位置(u,v)和角度α；
步骤S6：根据模板匹配的位置(u,v)和角度α并结合离线步骤S3得到的特征编号和精特征到模板中心的距离L i和角度θi，求取单特征预估计区域；
步骤S7：使用离线步骤S2获得的精特征模板，在预估区域中进行对应精特征的匹配定位，并对所定位结果进行编号和位置记录；
步骤S8：对左右图像进行特征配对筛选，如果左右图像对相同编号的特征都提取定位成功，将该特征作为重建特征；
步骤S9：根据左右图像的配对特征进行双目重建，重建特征点的3D坐标。该过程根据双目视觉系统内参数和相对位姿标定信息进行重建得到3D坐标(x mi,y mi,z mi)，双目重建过程使用OpenCV的TriangulatePoints函数实现；
步骤S10：根据重建点的3D坐标，和CAD模型对应点的坐标(x i,y i,0)进行位姿变换关系构建和求解，即
求取高反光金属零件的位姿；位姿求解过程使用O p e n C V的estimateAffine3D函数实现。
2.根据权利要求1所述的基于双目视觉与CAD模型的高反光面金属零件位姿测量方法，其特征在于，步骤S3具体为：
求取单个特征与整个模型中心点的位姿关系，设距离为L，角度为θ；若某个精特征点坐标为(x i,y i)，已知工件整体模板中心坐标为(x0,y0)，则该精特征点与模板中心点的位姿关系计算公式为：
3.根据权利要求2所述的基于双目视觉与CAD模型的高反光面金属零件位姿测量方法，其特征在于，步骤S6具体为：
步骤S5中整体模板匹配所获得的结果为：中心位置(u,v)，角度α，模板匹配的尺寸缩放比例为S0，则精特征的中心预估坐标(u ei,v ei)为：
u ei＝u-L i×S0×cos(θi-α)
v ei＝v-L i×S0×sin(θi-α)
对于圆孔精特征，以(u ei,v ei)为中心，以25像素为半径的圆形区域为该圆孔精特征的预估区域；对于长孔特征，以(u ei,v ei)为中心，以长边440像素，短边150像素，倾角α的矩形区域为预估区域。
4.根据权利要求3所述的基于双目视觉与CAD模型的高反光面金属零件位姿测量方法，其特征在于，步骤S7具体为：
对于已经编号和记录位置信息的特征点，在预估区域中进行具体特征的匹配定位(ui, vi)，若匹配结果得分大于等于0.9，则表示该特征定位成功，(ui,vi)为具体的匹配位置；若得分小于0.9，则表示定位失败，则(ui,vi)为(-1,-1)。
5.根据权利要求4所述的基于双目视觉与CAD模型的高反光面金属零件位姿测量方法，其特征在于，步骤S10所构造的位姿变换关系为：
基于双目视觉与CAD模型的高反光面金属零件位姿测量方法
技术领域
[0001]本发明涉及一种位姿测量方法，特别涉及一种高反光面金属零件位姿测量方法。
背景技术
[0002]随着科学技术的不断发展，工业生产技术的水平也在逐渐提高，尤其是工业机器人的有效运用，极大地提高了工业生产效率，促进了工业生产的长远发展[1]。随着人工智能技术的发展，机器视觉被引入工业机器人领域。基于机器视觉的工业机器人通过采集环境数据进行分析和处理，可获得工件的实时位置和姿态，引导搬运机器人机械臂动作[2]。传统的工业方法中，针对具有高反光特性的金属零件测量往往因为成像原因导致位姿测量结果不够精确和稳定。利用双目视觉系统和机械臂实现了对高反光金属零件的稳定位姿测量，大大提高了高反光零件的位姿测量稳定性，降低了对高反光金属零件的打光要求，减少了其它辅助传感器的需求，提高了整个机器人双目视觉测量的灵活性和稳定性。
[0003][1]黄钊.工业机器人视觉系统的可靠定位分析[J].科技经济导刊,2019,27(24): 34。
[0004][2]熊磊翔，诸洪，余海勇，钟顺金，虞波.基于视觉的机器人抓取技术的研究[J].工业仪表与自动化装置,2017(05):41-43。
发明内容
[0005]本发明的目的是提供一种基于双目视觉与CAD模型的高反光面金属零件位姿测量方法，克服了高反光零件成像不稳定而导致的位姿测量不稳定问题，大大提高了高反光零件的位姿测量稳定性，降低了对高反光金属零件的打光要求，减少了其它辅助传感器的需求，提高了整个机器人双目视觉测量的灵活性和稳定性。
[0006]本发明的目的是这样实现的：一种基于双目视觉与CAD模型的高反光面金属零件位姿测量方法，包括离线CAD模型处理和在线工件位姿测量两个阶段：
[0007]离线阶段：
[0008]步骤S1：导入工件CAD模型，并根据高反光金属零件的实际成像特点提取模型的整体稳定特征，得到工件整体模板；
[0009]步骤S2：提取CAD模型中多个精特征，得到工件精特征模板；
[0010]步骤S3：计算精特征到整体模板中心的距离和角度，对每个精特征进行编号，同时保存精特征中心到整体模板中心的距离L i和角度信息θi；
[0011]在线阶段：
[0012]步骤S4：首先，机器人带动双目视觉相机到达高反光面金属零件上方，打开光源，双目相机采集金属零件的左右图像；
[0013]步骤S5：利用离线步骤S1得到的工件整体模板，在左右图像中分别对高反光金属零件进行模板匹配定位，得到模板匹配的位置(u,v)和角度α；
[0014]步骤S6：根据模板匹配的位置(u,v)和角度α并结合离线步骤S3得到的特征编号和
精特征到模板中心的距离L i和角度θi，求取单特征预估计区域；
[0015]步骤S7：使用离线步骤S2获得的精特征模板，在预估区域中进行对应精特征的匹配定位，并对所定位结果进行编号和位置记录；
[0016]步骤S8：对左右图像进行特征配对筛选，如果左右图像对相同编号的特征都提取定位成功，将该特征作为重建特征；
[0017]步骤S9：根据左右图像的配对特征进行双目重建，重建特征点的3D坐标。该过程根据双目视觉系统内参数和相对位姿标定信息进行重建得到3D坐标(x mi,y mi,z mi)，双目重建过程使用OpenCV的TriangulatePoints函数实现；
[0018]步骤S10：根据重建点的3D坐标，和CAD模型对应点的坐标(x i,y i,0)进行位姿变换关系构建和求解，即求取高反光金属零件的位姿；位姿求解过程使用O p e n C V的estimateAffine3D函数实现。
[0019]作为本发明的进一步限定，步骤S3具体为：
[0020]求取单个特征与整个模型中心点的位姿关系，设距离为L，角度为θ；若某个精特征点坐标为(x i,y i)，已知工件整体模板中心坐标为(x0,y0)，则该精特征点与模板中心点的位姿关系计算公式为：
[0021]
[0022]
[0023]作为本发明的进一步限定，步骤S6具体为：
[0024]步骤S5中整体模板匹配所获得的结果为：中心位置(u,v)，角度α，模板匹配的尺寸缩放比例为S0，则精特征的中心预估坐标(u ei,v ei)为：
[0025]u ei＝u-L i×S0×cos(θi-α)
[0026]v ei＝v-L i×S0×sin(θi-α)
[0027]对于圆孔精特征，以(u ei,v ei)为中心，以25像素为半径的圆形区域为该圆孔精特征的预估区域；对于长孔特征，以(u ei,v ei)为中心，以长边440像素，短边150像素，倾角α的矩形区域为预估区域。
[0028]作为本发明的进一步限定，步骤S7具体为：
[0029]对于已经编号和记录位置信息的特征点，在预估区域中进行具体特征的匹配定位(ui,vi)，若匹配结果得分大于等于0.9，则表示该特征定位成功，(ui,vi)为具体的匹配位置；若得分小于0.9，则表示定位失败，则(ui,vi)为(-1,-1)。
[0030]作为本发明的进一步限定，步骤S10所构造的位姿变换关系为：
[0031]
[0032]与现有技术相比，本发明的有益效果在于：针对工业生产中高反光面金属零件的位姿测量问题，提出了一种高反光面金属零件位姿测量方法，将双目立体视觉应用于工业
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议