汪嘉杰;王磊;范秀敏;尹旭悦
【摘 要】为提高操作空间狭小的精密航天产品的手工装配效率,提出一种基于视觉的航天电连接器的智能识别与装配引导方法.利用肤特征与零件的轮廓特征提取原始图像中零件所在的区域.提取电连接器的斑点特征和尺度不变特征变换特征放入支持向量机的分类器,训练得到零件训练模型.借助Hough变换与零件训练模型实现了电连接器的在线分类识别,整个识别过程无需人工干预.通过预先构建完善的三维装配工艺信息模型,利用识别结果实时触发并调取对应零件的装配工艺信息,用于指导装配.实例验证表明,零件识别平均准确率达90％以上,单幅图片识别时间在2 s内,能够满足在线识别精度和效率的要求.%To improve the manual assembly efficiency of aerospace products,a visual-based intelligent recognition and assembly guide method of aerospace electrical connectors was proposed.The area of parts in the original image was extracted with skin color feature and contour feature of electrical connector.The feature of electrical connector and SIFT feature were extracted into support vector machine classifier training to get the part training model.With Hough Transform (HT) and part training model,the on-line classification and identification of electrical connectors were realized.The whole process was automated.Through the pre-construction of three-dimensional assembly process information model,the corresponding parts of assembly process information was triggered and retrieved with identification results in real time to guide the assembly.The test result of the proposed method proved that the average accuracy rate of part recognition was more than 90％ and the recognition time of each image were in two seconds,which could meet the requirements of identification accuracy and efficiency.
粉碎机器人
【期刊名称】《计算机集成制造系统》
【年(卷),期】2017(023)011
【总页数】8页(P2423-2430)
【关键词】miae-043零件识别;图像特征提取;霍夫变换;支持向量机;智能引导;航天电连接器
【作 者】减速机测试台汪嘉杰;王磊;范秀敏;尹旭悦
【作者单位】上海交通大学机械与动力工程学院智能制造与信息工程研究所,上海 200240;上海航天精密机械研究所,上海201600;上海交通大学机械与动力工程学院智能制造与信息工程研究所,上海 200240;上海交通大学机械与动力工程学院智能制造与信息工程研究所,上海 200240
【正文语种】中 文
【中图分类】TP391.4
0 引言
随着计算机视觉理论的快速发展，其在工业上的应用越来越广泛。机器视觉即用机器代替人眼进行检测与判断的技术，其优点主要有:①智能化程度高，识别结果具有人无法比拟的高精度与一致性；②信息获取手段丰富，可以采用多种特征检测方式获取物体的信息；③实时性好，可满足高速在线检测的需求。目前，机器视觉技术已经广泛应用于机械产品装配系统[1]、智能机器人[2]、人脸识别、零件识别、无人驾驶汽车[3]等领域。零件识别是计算机视觉与模式识别在机械工业领域中的一个重要应用，作为机械加工自动化的基础，它
将人们从繁重的劳动中解放出来，不但降低了工业生产成本，而且提高了工业生产效率[4]。精密航天装备装配质量要求高，不同品种产品有不同的装配工艺过程，且检验环节繁多，目前主要依赖手工装配操作。航天装备中使用广泛的航天电连接器因外形相似不易区分、装配操作过程复杂而对装配工人技能要求高，使得装配过程耗时长，影响了装配效率。
图像识别算法具有应用对象差异较大，应用环境较为理想等特点，其发展和应用已经取得了一定成果。图像识别技术主要对以下3个关键内容进行研究：
(1)对识别对象的定位 金鹏等[5]利用去噪、增强对比等方法改善图像质量，并利用灰度值差异分割出管路和靶标区域，来确定图像的关键区域;王晓华等[6]通过采集图像的稳定边缘特征，运用形态学方法获得零件质心在二维空间的坐标,来对零件进行定位;艾泽潭等[7]提出一种亚像素边缘定位算法，通过提取亚像素边缘点并进行坐标排序形成封闭曲线来定位零件。现有方法主要通过提取对象边缘特征进行定位，因此对噪声较敏感，无法适用于环境复杂的手工装配图像的定位。
(2)对图像的特征提取 主流的特征算子包括方向梯度直方图(Histogram of Oriented Gradien
t, HOG)特征[8]、尺度不变特征变换(Scale-Invariant Feature Transform, SIFT)[9]、加速稳健特征(Speed Up Robust Features, SURF)[10]等。曲永宇等[11]提出基于HOG特征加颜频率和肤特征进行行人检测;袁安富等[12]基于SURF特征将物体识别应用于传统的机械零件上，提取零件的局部特征并形成特征向量;张鹏等[13]改进传统SIFT特征，提出稀疏SIFT特征对车型进行识别。
室外隔音墙(3)对特征向量的分类 现有的主流分类算法有支持向量机、神经网络等。匡逊君等[14]提出基于不变矩特征的零件支持向量机(Support Vector Machine, SVM)分类识别;宇等[15]利用局部尺度分解的时频分析方法结合SVM,实现了齿轮故障的分类;李静蕊等[16]基于ART2神经网络方法对常见标准件进行了分类识别。然而，现有分类方法针对的研究对象辨识度高，对外形差异小的零件不具有普适性。
精密航天设备需要手工装配，由于装配过程环境复杂、装配对象外形相似等，所获取的零件图像质量较差、噪声较多，传统的特征提取与分类方法并不适用。本文结合航天电连接器的实际装配操作开展研究，对零件图像进行预处理并对图像进行肤区域提取，自动检测出零件区域，然后结合SIFT特征与simpleblob特征提取零件区域特征，采用Hough变换
与SVM对图像进行分类识别，获得对应的电连接器型号，整个识别过程不借助人工交互，自动化程度较高。最后，通过实例验证了系统的实时性与准确性。
1 总体框架图
针对航天产品电连接器提出的基于视觉的智能识别与装配引导方法，其方案研究与实现的总体框架如图1所示，具体分为3部分：
(1)图像离线训练 对航天电连接器的图像预先进行训练，获取N张训练图像，对每张训练图像进行图像预处理，自动检测图像中的零件区域，并提取零件区域图像的特征，得到相应的特征提取向量，所有训练图像的特征向量组成特征提取矩阵，将特征提取矩阵放入分类器中进行训练得到对应的电连接器训练模型。
(2)图像在线识别 利用摄像头采集现场图像，对现场图像依次进行图像预处理、自动零件区域检测以及零件区域特征提取，得到现场图像的特征向量，调用连接器训练模型中的参数实时识别零件的具体型号，整个图像在线识别过程没有人工参与，均通过计算机自动完成。
挡板砖
(3)装配信息智能引导 利用(2)识别的零件具体型号作为自动输入的信号，触发对应的操作顺序ID、操作文字说明、三维零件信息、操作工具信息、虚拟手信息以及对应的装配路径信息。将上述信息结合起来得到装配引导信息模型，指导装配人员进行装配操作，实现了装配过程的智能引导。
2 零件区域智能提取
2.1 图像的预处理
为适应航天产品内部的小空间，航天电连接器的体积较小，相应图像的面积占比很小，无关背景对零件的识别干扰很大。所采集到的原始图像易受光照明暗、设备性能的限制而存在图像模糊、对比度不够等问题，本文采取的预处理措施包括图像的灰度化、中值滤波、边缘检测与轮廓提取。灰度化减少了原始图像的数据量，便于后续处理;中值滤波是典型的非线性低通滤波器，它能够有效去除图像噪声并保护零件的图像边缘。
整个图像预处理流程如图2所示。通过图像预处理得到可能的电连接器区域后，需要进一步定位。二阶低通滤波电路
2.2 基于肤区域的定位
通过设定阈值得到的感兴趣区域往往不止一个，为检测并提取含有零件图像的感兴趣区域，结合航天电连接器手工装配的特点，利用肤特征出图像中的手部区域，基于手部区域和2.1节得到的感兴趣区域对零件进行智能定位。由于肤在RGB彩区间内不易分解，需要先将彩空间转换为HSV彩空间，其中度H表示不同的颜，饱和度S表示颜的深浅，亮度V表示颜的明暗程度。从RGB模型转换到HSV模型的转换公式[17]为
(1)
式中：R,G,B的取值范围为[0,255]；H的取值范围为[0,360]；S的取值范围为[0,1]；V的取值范围为[0,255]；图像处理中将H,S,V的取值范围归一化为[0,1]。
根据肤阈值，将肤区域提取出来得到肤所在轮廓，原图与提取肤后的图像如图3a和图3b所示。将肤区域提取后，确定肤区域所在的中心坐标，和2.1节所得的图像封闭轮廓中心计算差值，差值最小的封闭轮廓即为所需的航天电连接器区域，将其提取出来，如图3c所示。提取连接器区域，以减少后续计算量。
3 电连接器的特征选取
3.1 插针特征提取
结合航天电连接器的矩形插头插针识别度高且不同类型插头插针数目不同的特点，针对图像的斑点特征采用simpleblob算法进行检测。算法流程如图4所示。
通过设置不同灰度值作为图像二值化的阈值，将灰度图像转换为一个二值图像集合，阈值范围为(T1,T2)，固定步长为t，集合内的二值图像阈值为T1，T1+t，T1+2t，T1+3t，…，T2;然后出每幅二值图像的边界,确定其对应的封闭轮廓区域，并计算每个封闭轮廓的中心点坐标;最后对不同阈值下得到的中心点坐标进行分类。定义斑点间的最小距离Tm，不同阈值下中心点坐标间的距离小于Tm的坐标被定义为一个斑点，得到斑点特征集合。
提取后的插头插针位置如图5所示。
由于每帧图片的质量不同，部分图像会受手部和边缘特征的干扰，所得斑点数目不可能完全相等。本文根据每类矩形插头的插针数P设置阈值U，最终检测到的插针特征点X满足X∈(P-U,P+U)则认为符合该类插头特征。
3.2 零件特征提取
图像的特征提取方法多样，而图像特征描述的核心问题则是鲁棒性和可区分性[18]。结合电连接器型号多样、外形相似的特点，本文采用SIFT特征描述子描述图像特征，并将SIFT特征子聚类成规范的特征矩阵。
SIFT算法是Lowe等[9]提出并进行完善和总结的一种特征描述算法，也是目前具有很好稳定性和鲁棒性的特征提取算法。该算法有以下3个优点：①在适当参数设置下提取到的特征点的数目理想；②通过SIFT算法提取到的图像特征具有相当高的独特性，能够较好地区分外形区别不大的物体；③SIFT特征具有旋转、尺度、平移及亮度不变性，并具有一定的仿射不变性。SIFT算法对图像局部特征点的提取主要包括尺度空间极值点检测、特征点精确定位、特征点方向分配、特征点描述4个步骤。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议