口 魏智锋1 口 肖书浩2
口 蒋国璋1 口 叶荟坤2
1. 武汉科技大学机械自动化学院冶金装备及其控制教育部重点实验室 武汉430081
2. 武昌首义学院机械与自动化学院武汉430068
摘 要：传统的陶瓷衬垫码片识别主要依赖于人工，由人工手动摆正方向错误的码片，识别效率低， 还有可能形成错检、漏检，造成后续工程问题。对此，提出一种基于深度学习的陶瓷衬垫码片识别方法。
这一方法通过预训练的Mak 区域卷积神经网络对已标记的样本进行试验，使用Res Net - 50网络进行 特征提取，调节神经网络的结构，并计算求解。在研究中，通过将两种检测类别标记相结合的方式，解决 了错位码片的识别问题。试验表明，基于深度学习的陶瓷衬垫码片识别方法能够有效识别摆放错位的 码片，准确度高。
关键词：深度学习 陶瓷衬垫 码片 识别 研究中图分类号：TP181 文献标志码:A 文章编号$1000 -4998(2021)05 -0045 -05
Abstracr : The traditional identification of the code chip on the ceramic liner mainly relics on manual work. Manual Xigning of the wrongly oriented chips has low identification eXiciency, and may lead to error detection and missed detection , which may causa subsequent engineering problems. In this regard , an
identitication 5oeution toathecodechip on theceaamiceineaba5ed on deep eeaaningwa5paopo5ed.Thi method uses the pra-trained Mask R —CNN to test the labeled samples , uses the Res Net —50 network for feature
extraction , adjusts the structure of the neural network , and calculates the solution. In thf e search , the problem
of identifying misplaced chips was solved by combining the two detected categoro marks. Tests show that the
sdentstscatson soeutson toathecodechsp on theceaamscesneabased on deep eeaansngcan e t ectseeessdentsts mispeaced chipswith high accuaacs.
Keywordt : Deep Leareing Cement Liner Code Chip Recognition Research
1研究背景
陶瓷衬垫是一种高导热性能的材料，外观呈纯白 ，质地坚硬，主要用于功率器件与散热器之间的传热
和电气隔离⑴，被广泛应用于桥梁、建筑、船舶等领域
的大型焊接件中。陶瓷衬垫码片识别用于检测陶瓷衬 垫质量，提高陶瓷衬垫合格率，是陶瓷焊接生产过程中
重要的一环。陶瓷衬垫如图1所示。
对陶瓷衬垫检测的研究目前已经取得了一些进
展，陈涵⑵提出一种改进的Yolo-v3陶质衬垫缺陷检 测方法，李强等⑶提出一种基于机器视觉的陶瓷瓦表
面裂纹检测方法，李小磊等'
4（提出一种基于滑动滤波
和自动区域生长的陶瓷瓦表面裂纹检测方法，周飘 等⑸等提出一种基于黑塞矩阵滤波的陶瓷瓦表面裂纹
检测方法。
近年来，随着深度学习技术的发展，卷积神经 网络（CNN ）被广泛应用于图像识别领域，并取得了良
好的应用效果。Mxk R - CNN （ Mask 区域卷积神经网 络）是在Faster R - CNN 之后提出的目标检测方法，不
仅可以输出物体的具体类别和物体框，而且能够对物 体目标进行实例分割'
6笔者将陶瓷衬垫码片作为数金属卤化物灯接线图
据源，将最新的Mxk R - CNN 和Res Net - 50特征提
机植制造®总第681期
2021,59(5)
|
45
取网络相结合，在主流的Tensorilow 深度学习框架中
进行多线程迭代训练模型，对结果进行比较和分析。
2数据采集及分类
笔者试验所用的陶瓷衬垫码片样本均来自武汉天
高熔接股份有限公司，在实验室中搭建的模拟工厂陶 瓷衬垫码片识别图像采集装置如图2所示，所采集的
图片如图3所示。图3为正俯视拍摄陶瓷衬垫码片样 本得到的图片，无法对码片的下偏位进行有效标识，从
调整拍摄的角度，使陶瓷衬垫码片处在自然光照 条件下。笔者使用移动电话从俯视倾角拍摄得到陶瓷
衬垫码片图片，分辨率为1 920像素X1 080像素，共拍 摄2 600张图片。3数据集生成及预处理
陶瓷衬垫码片图片如图4所示，三种摆放位置分
别为上偏位、下偏位、正常位。笔者将摆放位置分为两
类 上偏位和下偏位，并使用Labelmc 标注功能软 件对图片进行标注。为了提高训练效果，使模型的泛 化性得到提升，对数据集使用数据增强方法。鉴于更 改方向和角度都不会改变图片特征，笔者使用水平翻
转与竖直翻转两种数据增强方法。在标注过程中，共 对2 600张图片中的4 750个目标对象进行标注，并将
所有图片按照COCO 数据格式进行批量重命名。在训 练和测试之前，将2 600张包含各类错位的图片归一
化处理为640像素X360像素尺寸。数据集制作流程
如图5所示。
(a)上偏位(b)上偏位和下偏位▲图4陶瓷衬垫码片图片
(c)正常位
▲图5数据集制作流程
为了生成测试集，从带标记的图片数据集中选取
20%作为测试集。测试集包含需检测的两种摆放位置
的图片，且每种摆放位置的图片数量大致相同。对标 记完的图片进行微调，将图片信息和jso 格式文件分 别保存，并分为训练集和测试集。陶瓷衬垫码片数据
集数量见表1 &
表1陶瓷衬垫码片数据集数量
摆放位置训练集测试集
上偏位
2 963462下偏位932
393总计
3 895
855
4陶瓷衬垫码片识别模型
4.1
Mask R-CNN保温系统
Mask R-CNN 是由何凯明团队于2017年提出的
一种目标检测网络，是基于Faster R - CNN 的改进网 络架构， 可以在高效完成物体检测的同时实现高质量 的实例分割& Mak R - CNN 框架如图6所示'
7(&
Mask R - CNN 主要分为卷积层FPN (特征金字塔网
络)、RPN (区域候选网络)'ROF 候选区域)Align 和输 出分支四个方面。
Mask R - CNN 相比Faster R - CNN ，主要有三点不
46 | 2021,59(5)
总第681
期机植制造®
--A 定位
▲图 6 Mast R - CNN 框架
同。MxkR-CN N 在基础网络中采用了较为优秀的
的Res Net - FPN 结构，多层特征图有利于多尺度物体 及小物体的检测。在应用时，笔者将传统的Res Net -
101网络改为Res Net - 50网络。为了解决网络中图
像像素和兴趣区域匹配产生错位问题，Mask R - CNN
将传统的神经网络池化层替换为ROI Align o 得到感 兴趣的特征后，Mak R-CNN 在原有分类与回归的基
础上，增加了一个Mxk 分支来预测每一个像素的类 别，提高了检测效率⑻。
4.2
FPN
FPN 主要解决了目标检测中的多尺度检测问题。
FPN 采用自上而下的侧向连接，将不同尺度的特征连
接融合，再进行卷积以消除混叠现象，之后在不同尺度
特征上进行预测。结果证明，Res Net 与FPN 的组合 能够达到很好的检测效果，所以笔者在Mak R - CNN 中应用了 Res Net - 101网络与FPN 的组合。
4.3
RPN
RPN 通过倍数和长宽比例不同的窗口或锚点在采样点的值， 再对多个采样点进行最大值池化， 进而得
到这些点的最终值。应用ROI Align ，对每个格子都取 —个浮点数，对于Feature Map 特征映射上的每一个候 选区域，都会分割为)x )个格子，并在其中选取四个 点，这四个点分别对应格子中四个部分的中点。对每
个点所在格子的四个顶点进行双线插值计算，使像素
和兴趣区域更匹配。由于使用了采样点与保留浮点的
操作，ROI Align 获得了更好的性能。
4.2 损失任务设计
人机对弈得到感兴趣的特征后，Mak R - CNN 增加了 Mak 特征图上进行滑窗，从而迅速生成候选区域。RPN 的分支来进行图像分割，确定每一个像素具体属于哪一
锚框如图7所示。图7中背景图像表示经卷积神经网 络提取后的特征图，虚线表示窗口为基准窗口，输入为
上一阶段得到的特征图，并产生一系列锚框，各个锚框 的大小由像素点数量和长宽比两个参数决定。RPN 利用8)16)32三种像素点数量和0.5)1)2三种长宽比
共九种尺度窗口对特征图进行滑窗，当交并比大于0. 5
时，认为属于前景，对类别和边框进行第一次修正。
交并比F 为：
F 二 S e ,"/S e u "
母线排( 1 )
式中:E 、"分别为RPN 生成的候选框及训练集中正确 的目标框；S a ,"为E 、B 重叠处面积；S e u "为 E "并集 面积⑼。
4.4 ROI Align
Mask R - CNN 提出的ROI Align 取消了取整操
作，保留所有浮点，然后通过双线性插值方法获得多个 种类别。具体实现时，采用了 FCN (全卷积网络)的结
构，利用卷积与反卷积构建端至端的网络，然后对每一 个像素分类，实现了较好的分割效果。
笔者应用Mak R-CNN 完成了三个任务，即陶瓷
衬垫码片与背景的分类、码片框的检测定位、码片与背
景的分割。采用三种输出分支的损失函数，分别为分
类损失厶*s 、定位损失厶：八分割损失3m ask 。Mak 分支只 针对兴趣区域类别的目标进行分类，不会与其它类别
的3m ask 值产生关系，从而有效避免了类间竞争，提高了 检测的精度和效率。
损失函数3定义为：
3 =31+3b ^-L m as k
( 2 )
新方法
分类损失为：
3
*s
=3 ( {H }) = N d-.3o s (H ,H * ) ( 3 )
式中"对应第(个锚框;N e 为分类样本容量;H 为锚点
机植制造®总第681期
2021,59(5)
|
4
7
预测为目标的概率;p *为标记的标签值,p * -1为正
例,p * =0为负例；Lc is 为两个类别的交叉熵损失函数。
L c is( p ,P ： ) - ― lg[ P ： p + ( 1 -P ： ) ( 1 -p p ]
( 4 )定位损失为：
LL=L ({^}) -N .p *L n — (t,t ： )
(5)
V n —
式中：N -为定位样本容量；t 为预测框位置参数;t 为
实际边界框位置参数;L ——为定位的损失函数。
P ； L ——表示锚点检测为正例时才计算其回归损失。L m — ( t,； ) - smoot hL 1 ( 8 -
)
( 6 )
式中：smoothL ]为等价损失函数。
分割损失即二值掩码损失，若候选框检测出为某 一类别，则使用该类别的交叉熵作为误差值进行计算,
其它类别损失值不计入，从而避免类间竞争。
L :ask - 一
+ ( 1 - —)i( 1 ~—) ( ( 7 )
式中：—为)xm 区域坐标点的标签值;—为坐标点第 类的预测值。
对Mask 分支上的每一个像素，应用Sigmoid 函数 送至交叉熵损失中，最后取所有像素损失的平均值作
为掩码损失函数L mak &
5评价指标
目前通常用均值平均精度A pm 来衡量检测算法的 精度，并将平均精度A p 作为每一类别的检测精度的评
价指标。A pa 、A p 与准确率P 、召回率R 有关：10-11] ,P )R 分别为：
p -t
+
⑻
式中：T p 为被模型预测为正类的正样本数量；F p 为被 错误划分至正样本的数量；/为被错误划分至负样本
的数量。
对于目标检测，每一个类别都可以得到一条准确
率-召回率曲线，曲线下的面积即为平均精度A p ，其 积分式为：
A P -/ PRd R
( 10 )
对所有类别的A p 求平均，即为A pm :
A Pm -O .A p ( ?)
( 11 )
式中：O 为类别总数;Ap ( k )为第？类的Ap 。
速度评估指标为应用模型检测一幅图所耗费的平 均时间，即平均检测时间，单位为秒。
6试验结果
在模型预训练过程中，初始学习率设置为0.001 , 动量设置为0. 9 ，权重衰减设置为0. 001 ，批大小设置
为32，迭代次数设置为20 000次。
笔者对改进的 Mask R-CNN 应用两类目标数据 进行检测 , 通过训练, 多轮迭代, 得到最优结果。
将测试集以分辨率为640像素x 360像素进行测 试，陶瓷衬垫码片分类检测效果如图8所示。从图8
中可以看出，码片错位识别都非常准确，没有出现漏检
的情况。具体检测结果见表2&由表2可知，改进
Mask R - CNN 比初始网络在单个分类检测上的A P 高
出1到1.2个百分点，Ap m 高1. 1个百分点，检测时间
缩短0.61 s 。
(a)下偏位(b)下偏位和上偏位▲图8陶瓷衬垫码片分类检测效果
(c)上偏位
表2检测结果对比
网络A P
A Pm 时间/s
上偏位
下偏位
Mask R - CNN 90.3%79.9%85. 1%
2.63Faster R - CNN
85.6%
75.0%80.3% 2. 16
改进 Mask R - CNN 91.3%81.1%
86.2%
2.02
7结论
笔者针对陶瓷衬垫码片人工识别效率低的问题,
采用俯视倾角拍摄采集数据集，将Mak R - CNN 应用 于码片位置识别。在应用中，对Res Net -50网络进行
特征提取，利用RS Align 使图片特征点定位精度达到 像素级效果，提高了检测精度。通过对比试验，在不提 高模型和计算复杂度的情况下，经笔者改进后的Mask R-CNN 相比 FasteeR-CNN 和传统 Mask R-CNN ，
精度和检测速度都有所提高。
参考文献
'1 ]廖建兴•陶瓷垫片在大功率电源产品中的应用'J] •电源
48
| 2021,59(5)
总第681
期
世界,2009(5)：59-62.
[2]陈涵.基于深度学习的陶质焊接衬垫缺陷检测研究'D].
武汉：湖北工业大学,2020.
[3]李强，曾曙光，郑胜，等.基于机器视觉的陶瓷瓦表面裂纹
检测方法[J].激光与光电子学进展,2020,57(8):51-57.
[4]李小磊，曾曙光，郑胜，等.基于滑动滤波和自动区域生长
的陶瓷瓦表面裂纹检测[J]•激光与光电子学进展,2019,
56(21)：49-55.
[5]周飘，李强，曾曙光，等.基于多尺度Hessian矩阵滤波的陶
瓷瓦表面裂纹检测方法[J].激光与光电子学进展,2020,
57(10)：222-228.
[6]岳有军，田博凯，王红君，等.基于改进Mask RCNN的复杂
环境下苹果检测研究[J].中国农机化学报,2019,40(10):
128-134.
[7]HE K M,GKIOXARI G,DOLLAR P,el al.Mask R—CNN
[J].IFEE Transactions on Pattern Analysis and Machine
(上接第21页)
由以上分析可见，标头底板在正常工作状态下的最大变形在可承受范围内，标头底板能够满足设计要求和正常的工作需要。
5结束语
笔者针对市场上常见的贴标机进行分析与改进，设计了自动贴标机。自动贴标机以可编程序控制器为核心，采用机电一体化系统性设备，既可以在单机小作坊使用，也具备大中型生产车间柔性自动化对接使用的优点。自动贴标机的开发减轻了工人劳动强度，被贴标的容器具有广泛性，适用于形状规则或者贴标区域面积较大的容器，符合现代包装机械的设计要求和理念。
自动贴标机满足客户产品多样化和贴标准确化的需求，具有一定的实用和推广价值。
参考文献
[1]田会方，王森，吴迎峰，等.玻璃钢水处理罐自动贴标机试
验研究[J].包装与食品机械,2020,38(3)：57-60,
[2]周晶，李俊陶，叶兆杰，等.玻璃贴标机上下料机械手的开
发'J].机械制造,2020,58(3)：30-32,76.
[3]罗序平.综合型直线式不干胶自动贴标机设计及研究
(上接第44页)
[10]ZHENG S M,SONG S X,SUN Y.Fatigue Life Analysis and
Structural Optirnization of Drive Axle Housing Based on FE-
SAFE[J].Advanced Materiale Research,2012,472-475:
419-426.$
收稿时间：2020-12
Intelligence,2020,42(2)：386-397.
[8]张斌，毛顺丹，杨铁梅.基于Mask-RCNN的指针式仪表
自动识别研究'J].科学技术创新,2020(20)：57-58, [9]林凯瀚，赵慧民，吕巨建，等.基于Mask R-CNN的人脸检
测与分割方法'J].计算机工程,2020,46(6)：274-280, [10]张超，文传博.基于改进Mask R-CNN的风机叶片缺陷
检测[J].可再生能源,2020,38(9)：1181-1186.
[11]任宇杰，杨剑，刘方涛，等.基于SSD和MobileNet网络的目
标检测方法的研究[J]•计算机科学与探索,2019,13(11)：
1881-1893.
$
收稿时间：2020-10作者简介：
魏智锋(1994—)，男，硕士研究生，主要研究方向为机器视觉；肖书浩(1962—)，男，副教授，主要研究方向为机器视觉。
(编辑岚)
[D].广州：广东工业大学,2017.
[4]胡梁眉.基于PLC的双头贴标机控制系统研究与设计
[D].赣州：江西理工大学,2019.
[5]赵俊，郭建华，闫旭，等.全自动多功能贴标机结构设计与
有限元分析'J].科学技术创新,2019(18)：44-45,
[6]王曼.基于ANSYS Workbench的汽车驱动桥壳有限元分
析'J].农业装备与车辆工程,2020,58(11)：114-117. [7]张志勇，赵淮.包装机械选用手册[M].北京：机械工业岀
版社,2012.
[8]盛山山，胡咏祥，林利彬.基于PLC控制的自动贴标机
[J].工业控制计算机,2016,29(6)：127,129.
[9]唐恒，张青峰.装载机驱动桥壳有限元静力学分析'J].河
南科技,2020,39(20):16-18.
[10]徐渠.基于S7-300石灰窑上料系统的电气控制设计
[J].河南科技,2010,29(24)：41.
$
收稿时间：2020-12作者简介：
陈金鑫(1997—)，男，硕士研究生，主要研究方向为先进制造与装备基础。
(编辑丁罡)
作者简介：
李道军(1981—)，男，讲师，主要研究方向为智能化计算机辅助设计、制造，自动控制技术；刘德平(1966—)，男，教授，主要研究方向为先进制造技术、光机电一体化。
(编辑平平)
机植制造"总第681期2021氚电池
,59(5)|49
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议