第34卷第3期机电卢品开发与创新Vol.34,No.3 2021 年5 月Development & Innovation of Machinery & Electrical Products M$y.,2021
文章编号：1002-6673 (2021) 03-076-03
汪承研！，石伟萍2，李玉玲3，张勇1
(1.广东机电职业技术学院，广东广州510515; 2.东北财经大学，辽宁大连116025;
3.深圳威斯特姆智能技术有限公司，广东深圳518000)
摘要：外观缺陷检测因其多样性和不可预测，给机器视觉检测带来极大挑战，本文的研究主要通过引入深度学习模块，解决了外观缺陷检测中的模糊识别和误判率高问题。 关键词：深度学习；缺陷；机器视觉；图像；检测
中图分类号：TP29 文献标识码：A d〇i:10.3969/j.issn.1002-6673.2021.03.025
Research on High Precision Appearance Defect Detection Based on Deep Learning
W A N G C heng-Yan1，SH IW ei-P ing2，L IY u-L in g3, ZH A N G Yon))
(l.Guangdong M echanical and Electrical Polytechnic，Guangzhou Guangdong 510515，China;
2.Dongbei University of Finance & Economics，D alian Liaoning 116025，China；
3.Shenzhen WSDM Intelligent Technology Co.，Ltd.，Shenzhen Guangdong 51800,China)
Abstract:Appearance defect detection brings great challenges to m achine vision detection because of its diversity and unpredictability. This
paper m ainly solves the problem s of fuzzy recognition and high error rate in appearance defect detection by deep learning algorithm s. Keywords：Deep learning；Detection；M achine vision；Image；Detect
〇引言
机器视觉在识别、尺寸测量、缺陷检测、定位引导等
方面的应用已经较为普遍，尤其在缺陷检测场景，比如零
件的缺料、裂纹、多料等缺陷，在精度要求不高的情况下，
机器视觉可以完全替代人眼，并且检测准确度可以得到
非常好的重复性。但是，有些缺陷的检测精度要求很高，
而且呈现出多样性和不可预测性，传统的机器视觉算法
已经无法满足应用需求，随着人工智能的深度学习算法
发展，将其和机器视觉的缺陷检测应用结合起来，是提供
外观缺陷检测精度的重要方法之一。：1国内外研究现状、存在的问题及发展趋势
分析
1.1国内外研究现状
在运用机器视觉进行结构件特征和缺陷高精度检测
修稿日期：2021-02-24
项目来源：广东省2020年度普通高校重点科研平台和项目（2020: ZDZX2102);CC D检测自动筛选机，校企合作研发项目（广东
机电职业技术学院与深圳威斯特姆智能技术有限公司）；广东
机电职业技术学院2020年《机器视觉应用技术》创新团队项目
作者简介：汪承研（1976-)，硕士，高级工程师。主要研究机器视：觉应用，嵌入式系统，智能制造等。|研究方面，国内科研机构近些年开展了相应的研究。五邑 大学科研工作者开发了一种基于机器视觉的盘纸轮廓直 径和宽度大小的检测模型，该检测模型是以霍夫圆检测
：和canny边缘检测算法作为设计基础，通过提取盘纸轮
廓来实现圆心坐标、直径和宽度大小的检测。运用图形进
行细化后所提取的轮廓骨架，确定边缘像素的特征点位
置，运用最小二次函数乘法将特征点位置的坐标进行拟
合，标定其极限值偏差，判定产品的合格性，其宽度检测
误差在0.8mm左右P1。西南交通大学的科研工作者研究了
漏洞修复失败基于机器视觉的航空铆钉尺寸检测技术，使用OpenCV作
丨为开发平台，采用阈值分割算法与分水岭算法进行图像
分割；同时，通过平滑处理、形态学、轮廓提取算法完成图
像处理，实测结果表明，其测量精度可以达到0.01m m<2=。
1.2当前存在的问题
：机器视觉的应用虽然蓬勃发展，但是在机器视觉应
用本身的智能化程度并不高，根据对机器视觉在缺陷检
测方面的需求调研，主要问题表现在两个方面：
(1)测量精度问题。受被测零件外表面不同的反光效
果，光源和镜头，以及被测零件的定位精度等影响，缺陷
检测精度和准确度还有较大的提升空间，主要是一些处
于临界识别状态的缺陷难被识别出来，有一些缺陷有较
：大比例的误判。
i(2)调测参数繁多。检测前需要设定较多的前置参数，76
•制造业信息化!
包括特征形状，颜，光源，大概尺寸，相对定位等，人工 进行参数调试时有可能因为经验不足导致设置不合理， 直接影响检测的精度，调测成本较高。
1.3发展趋势
技术上，机器视觉本身属于人工智能和模式识别一 个子学科，机器视觉的处理对象就是视频和图片数据，随 着人工智能技术的发展，深度学习将与机器视觉紧密结合 起来，一方面在海量数据中挖掘新的价值，另一方面将有 助于解决机器视觉应用中需要人工干预过多的问题。随着 设备分辨率的提升和软件算法的改善，融合人工智能技术 的机器视觉的处理速度和精度都会得到同步提升。
2
机器视觉缺陷检测的定义
机器视觉进行特征和缺陷检测时，其过程将需要转 换为数学表达。机器视觉需要三个过程任务，依次
是分类 任务，检测任务，分割任务，见图1。机器视觉的分类任务 要解决特征和缺陷是什么，通过提取特征信息，该任务要 判断目标特征的具体信息，比如目标是划痕或是异物等
等；机器视觉的检
分割任务
缺陷是什么
缺陷在哪里缺陷是多少
无监督学习模型
其他方法
测任务要解决特征 和缺陷在何处，即
需要标记缺陷和特 征所处的具体位
置；机器视觉的分
图1
机器视觉缺陷检测的计算机任务割任务要解决缺陷
是多少的问题，即缺陷的长度、面积、程度等一系列信息， 这些信息能辅助进行产品质量等级评估，从而可以对产 品质量等级进行划分。
3
基于深度学习的外观缺陷检测
依据数据标签的不同，基于深度学习的外观缺陷检 测整体分为全监督学习模型、无监督学习模型和其他方
法，见图2。第一种全监督学习模型中，将大量标记有标 签的缺陷图像输入系统进行网络训练，比如将有划痕的 区域或图像标记为“划痕”，系统训练后获得各种规格和 不同背景下的划痕，并导入模版，在检测阶段，当系统检 测到划痕特征时，将判断为“划痕”缺陷。相反，第二种弱
监督学习模型，将无缺陷
的样本导入进行网络训
冰晶画设备
练，生成系统的“良品”模 版，在检测阶段，当系统 检测到正常样本中未出 现过的缺陷时，将判断该 对象为不合格品。其他方
图2基于深度学习缺陷检测模型法主要思想是将两者结
全监督学习模型检测任务分类任务合起来，发挥各自模型的优势，形成半监督学习模型和弱
监督学习模型。目前多数研究主要集中在全监督学习模 型方向，主要该模型目前可信度略高，本文的研究也基于 全监督学习模型。
4
基于深度学习的外观缺陷检测系统设计促进剂cbs
蒸汽发电机
4.1系统需求分析
以某结构件产品的外观检测为例，见图3，良品结构 上要求无变形、凹陷、机械损伤；泽上要求表面光洁，无 密集的异点；产品品牌丝印正确等。总结其缺陷特点: 缺陷种类比较多，缺陷位置不确定，缺陷程度波动幅度比 较大，有些与良品的边界较为模糊。人工方式会带来较高 的误判率，传统的机器视觉检测方法虽然可以一定程度 降低误判率，但改进有限。针对该类缺陷检测需求，经过 验证，基于深度学习的机器视觉检测方法是有效的。
边坡滑模施工
图3某结构件产品的凹陷和划痕缺陷
CCD 图像分析
4.2基于深度学习的外观缺陷检测平台系统框架
基于深度学习的外观缺陷检测平台系统框架由图像
采集子系统，机械运动子系统和主机组成，见图4。其中 图像采集子系统负责对产品拍照采集图像；主机包含图 像的预处理，缺陷分类，缺陷检测，缺陷定级，结果呈现等被检测对象
预处 分类
检测
分割
深度学习模块
王机 ’
次品检测
--------!良品检出二图4基于深度学习的外观缺陷检测
系统框架
功能，并为目标图像分类，检测，分割做决策支持。
4.3基于深度学习的外观缺陷检测系统业务流程
基于深度学习的外观缺陷检测平台的处理流程由缺 陷的分类，缺陷的定位，以及缺陷的定级三大步骤组成， 深度学习嵌入其中解决特征提取和识别，如图5所示。
\1/
机械运动子系统
相机
镜头
光源
fc 子系统
图像采1模块组成，图像进 入主机后首先需要 进行图像的预处 理， 然后 依 次进 行 缺陷分类，检测缺 陷的位置，给缺陷 分级，最后根据检 测结果控制机械运
动子系统；在主机 中还有一个重要的 深度学习模块，其 提供缺陷网络训练
剰
鹚麗#锂塔闪#«锘
77
•制造业信息化!
被检测件的
图像采集后，首
先需要进行预处
理，预处理是运：
用视觉算法对图
像进行降噪和提
质；检测的第一
大步骤是使用卷
积神经网络进行
特征提取和分
类，在训练过程丨
中，缺陷特征将
图5基于深度学习的外观缺陷检测系统不断被加入模版
业务流程 库，在检测过程
中，被提取的特征与模版进行匹配，从而判断缺陷有无，：如果没有缺陷，当前检测流程结束；当判断为缺陷存在 时，对当前缺陷进行分类；第二大步骤是确定缺陷所在的
位置；第三大步骤是缺陷分级，本步骤中需要提取特征的
显著度值，并进行标记，在训练过程中，特征显著度值被
不断标记和等级划分，在检测过程中，系统根据被检测件的特征显著度值进行等级划分。
系统通过持续的训练后，随着样本数据的不断增加，其检测的精度变得更高，误判率也急剧降低。在某产品的 雾化器检测应用中，经过训练后，缺陷检测的误判率短时 间内从最初的80%下降到了 +/以内。
5结束语
外观缺陷检测是一个非常广泛的领域，传统的机器视 觉检测缺陷步骤繁琐，模式固定，调测复杂，已经较难应对 当前缺陷种类繁多，波动范围大，客户自动化要求高等需求。基于深度学习的外观缺陷检测，经过验证可以比较好应 对当前的挑战，对于一些过往无法用机器进行检测的模糊 缺陷，引人深度学习后，通过一定的训练，基于深度学习的 外观缺陷检测系统在多数场景下是完全可以替代人工的。参考文献：
[1] 闫笑颜，林煦，倪费杰，等.基于机器视觉盘纸直径和宽度尺寸检测研究[J].机械工程师，2020,5.
[2] 张磊.铆钉尺寸与表面缺陷在线检测关键技术研究[D].西南交通
大学，2016.
医用热熔胶[3] 张铮.数字图像处理与机器视觉[M].人民邮电出版社，2010.
(上接第75页）制、本地远程控制器等。远程监测运用 互联网把远程控制系统和各类传感器整合在一起，实现 数据采集、传递、报警等相关工作。其二，3D V R在远程控 制中的运用。要想对井下作业与无人采煤机工作状态进 行全面掌握，远程控制融合了 3D V R技术，该技术指的是 结合数据库采煤机数据，对三维虚拟空间进行建立，之后 在借助远程监控平台对无人采煤机展开操控，进而使采 煤机可视化工作的目标顺利实现。
2.5记忆割煤技术
在采煤机中，记忆割煤技术这种智能化技术运用较为 广泛，包含内容多样。例如，安全措施、设备定位、记忆割煤 应用等。其中，设备定位属于确保煤矿开采作业顺利进行 的基础条件之一，即设备定位精确度与煤矿开采作业效率 之间呈正比关系。并且，煤矿开采过程中需要对回采面端 头数据进行收集，以便于构建坐标体系。坐标体系通常将 采煤机作为原点，可以对设备安装位置进行准确定位。在了解采煤机安装位置后，通过倾斜角传感装置测量和收集 采煤机偏转角、俯仰角等数据信息，再借助惯性导航推算 法，便可以将设备的具体摆放情况和位置充分了解到。2.6无线网络传输技术
开展煤矿开采作业的过程中，需要确保采煤机智能 化技术的运用效果，促进煤矿开采效率与质量的全面提 高%&1。对此，通过对无线网络传输技术的运用，可满足采煤 机设备的使用要求。同时，设置
无线网络的过程中，相关 技术人员应以采煤机装置的运用要求为基础，对使用采煤机设备中各类参数数据的完整性进行分析，可顺利实 现提高数据运用安全性、可靠性等相关目标。并且，全面 考量无线交换机的装置特点，对无线交换机配套设备均 可以资源系统设置展开深人分析，以此使采煤机装置控 制器设计更加科学合理，有效提升无线网络传输技术水 平，将监督管理煤矿开采的作用最大化体现出来，加强应 用效果。
3结束语
综上所述，在煤矿无人化综采作业中，智能化采煤机 发挥着极为重要的作用，这种设备主要以自动故障诊断、自动定位、自动截割调高、自动煤岩感知等先进科技为基 础，从智能化上确保了煤矿开采工作顺利进行。未来，需继续提高煤矿行业的科技投人，优化运营模式，引进先进 技术，推动煤矿开采现代化转型，加强煤矿井下开采的安 全性以及自动化、智能化水平。
参考文献：
[1] 刘华峰.智能化综采技术发展及应用现状分析[J].当代化工研究，2021，4.
[2] 苗鑫.煤矿采煤机智能化技术要点[J].设备管理与维修，2020,24.
[3] 杨海燕.分析煤矿采煤机智能化关键技术[J].当代化工研究，2020,24.
[4] 张洁.煤矿井下智能化高效综采技术的应用研究[J].机械管理开发，2020,5.
[5] 赵飞虎.煤矿综采工作面采煤机线缆联动智能化设计[J].机械管理 开发，2020，11.
78
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议