第39卷第6期2220年1/月
黑龙江科技大学学报
Jonuial of Heimnoiang University of ScNnce&Tohnomyy
Vol.34No.6
Nee.2020二维码定位的YOLOvV-ms算法
杨庆江，臧佳琦，杨少辉
（黑龙江科技大学电子与信息工程学院，哈尔滨20929）
摘要：为提高二维码在复杂环境下具有较好的检测速度和精度，提出了一种改进的YOLOv3-ms算法。通过增加SPP结构识别不同感受野特征和设置轻量特征金字塔模块融合高层语义特征与低层纹理特征，利用Mosaic增强方法扩充数据集和K-means算法重新聚类锚框提高YOLOv3-ms算法的检测精度。结果表明，与YOLOv3算法相比，召回率降低/41%的情况下精确率提高了4%，推理速度提升了近3倍。 关键词：YOLOv3；二维码；快速定位；MoU/eoetv2
doi：10.3499/j.Tsu.7295-7262.2022.67.622
中图分类号:TP34/6
文章编号:2097-7262（2022）07-0792-07文献标志码：A
YOLOv3-ms algorithm developed fot QR code positioning
Yang Qingjiang,Zang Jiaqi,Yang Shaohui
(School of Electmoic&Informahoo Engioeering,Heiloogjiang University of Science&Techooloay,HarUio130929,Chma)
Abstract:This pdpor pmposvs an impmveO YOLOvV-ms algorithm Ou the QR coho to have a bettoc detection speeO anC acchraco in a complex envimument.The improvement is maVo possibC by replacing the bbchbono feature extraction nOwoiU in YOLOvV with the lmhtwOght nOwoiU MoUiNnOy2anC realizing the feature out/ut of diTerent receptive fields by aVding the SPP stuicture bloch;applying the pru-poseO Ughtweight feature pyramidmohum to integrate high Cvel semantic features anC low-level texture features；anC uCimnWy expanCing the data set with Mosaic Methohs anC rv-clusteUng the anchoc boxes c sing the K-means algorithm improving the detection
acchraco of YOLOvV-ms algorithm.The results show that compareO with the YOLOvV algorithm,the improveO algorithm enaVlos an increaseO precision rate by 2%anC a fastoc inference speeO by notUy4hmos while achieving a recall rate rePuction by/61%.
Key words:YOLOvV；QR coho；ragib positNuing；MobimnOi
9引言二维码，由于其可以存储更多的信息被广泛应用到各个领域。随着应用场景的多变复杂，二维码可能会产生反转、扭曲、磨损等状况，加大了二维码定位
1994年，日本的DENSO WAVE公司首先推出的困难，因此，二维码在复杂场景中快速准确定位是
收稿日期：2029-19-14
第一作者简介：杨庆江（1969-），男，黑龙江省拜泉人，教授，硕士，研究方向：电力电子与电力转动、嵌入式系统，E-mail：yqj@uUh.老人与海鸥教学实录
eOu
第7期杨庆江，等：二维码定位的YOLOvV-ms算法693
难点。在利用传处理方式中，赵健雄等⑴为解决二真的出了新型QR码自位，解二20。以内的检测。屈德〔2为高场景中的识别出了Viola-Joues，测框架粗略定位出选区域，通过二位位标志从候选区域中定位出二的位置。在传处理中需要人为
二的特征，通特征二的位置，如果特征因为外部环境的不性被损坏，则测精度会。
年来，基于深度学习的测突出的进展⑶，深度学习的方法是使神经网络自动学习目特征，避免人为提取特征的不性，因此，文中沿度学习的方位二。基于深度学习的检测大致分为两种，第一种是二测算法，主要有R-CNN⑷2asl R-CNN62aster R-cn N2，这种方式利用滑和特征图做卷积操作，生选框，将候选框生长的特征向量，送入分和回分类结果和回归结果。第二种是，YOLO［］、SSD〔3 ］、YOLOi】4］、YOLOvV，这种是将输入图像划分成不同大小的网格后进行检测，每网格只负责检测这一区域的目标。Moh0eneW2是Mo-bOeuem5的改进版，是一种轻量级网络，其可以在度的大大减小模型的参数量。 出的为YOLOvV-ms，主要包括重新配置的Moh0eneW2、SPP结构块和轻量特征金字塔(DW-FPN)o算法在YOLOvV的基础上进行改进，将Moh0eneW2和YOLOvV相结合，提出轻量特征金字塔，使用SPP结以的：野，运用Mosaic数据增强方充数、，采用K-means算法对anchor box进行重新聚类，实验对比分析YOLOvV-ms检测模型比YOLOvV检测。
1相关模型和算法
1.1YOLOvv算法
YOLOvV是测算法，不中间步骤,
片送入网络中直接的偏移 和类别
，因此，度上远超二测如YOLOvV)YOLO和YOLO.算法创新的使用了特征金字塔(FPN)，结构如图1所示。将不同输入融合，使用三个不同尺度的特征图进行预测。
|卷积-----T卷积—
堆叠.
I，上薪，
T
卷如—T卷积~►
输
出
昨I堆L」
I
鲤吕卷材一|卷积—
图1特征金字塔
Fig.1Fevture pyemia networp
YOLOvV主要分三步测：第一步先将输入的图像进行数强，并且resize到40x417大小；第二步通特征提取网络dab-neW3，经过FPN特征金字塔和预测模
的预测框；第三步经过非极大(NMS)去除的预测测结果。YOLOvV将图片划分网格，每个网格只负网格中可能存在的，进而每别的边框偏移量(4个坐标偏移信)和类别(每别的)，并且每个网格分配3个不同尺度的—chor，最终每网格输出的量为
T=S x S x(3x(4+1+N)),(1)式中：T-----输出张量；
S——划分的网格数；
N———别数。
1.2Mobilenetvv
MoP0eueW2是轻量级网络其网络结构如表1所&，其中：为深度可分离卷积中特征度的控制数,C为通道数,P为结数,)为第一个结的卷积步长。该网络利度可分离卷积代替原始卷积，大大减少模型参数量，提升模型的行速度。其提出种倒残差结构，原理是先利1X1的卷积核进行通，度可分离卷积(DW卷积)进行特征提取,1X1卷积核进行通。结构如图2所示，图中，Dwisc表示度可分离卷积,St/de表示卷积步长,Cone表示卷积,3x3表&卷积核大小。
由图6可见，MohiUnPv2倒残差块共两种，分别是倒残结A和倒残结B，倒残结A利用残差边将输入，和末尾卷积进行输出，提高度跨层传播的能力。倒残差结B中残差连接，原因是
结
694黑龙江科技大学学报第30卷
中要进行特征图的缩小，并证输入和输出特征的大小配。这两个残差结构的排列组成了MohiNoOv2网络。
图2MobilecetvV倒残差块
Fig.2Basic block MobilenetvV
由表1可知，MohiNoOv2—共包含2个不同卷积通道的Bou W oech结构块，为深度可分离卷积中特征度的控数、为通道数、为结
数、为第结的卷积步长°1-3层
取的特征3层用于通道,2和2层组分层°
Table1MobilecetvV network strpctorc
表1MobilenetvV网络结构
序号输入操作c p s
12246x3Couv2d—3212
21126x32Bottlenech11611
31126xl9Bottlenech72422
4562x24Bottlenech73232
827x34Bottlenech77442
7142x74Bottlenech79731
2142x97Bottlenech716032
57xl90Bottlenech732011
926x322Couv2d1x1—128011 1026x1280avepovt2x2——1—111x1x1230Couv2d1x1———
1.7SPP结构
SSP结构是在SppNci网络中提出，为了保证经过SPP结通道数不会发生改变，在头部和尾部分别卷积层通道，其结构如图3所示。
特征入到卷积层通道3特征图分别进行步长分别为5、9、2的最大池化操作，将这三个池化的结果与自己的特征chanoel2：隹度进行堆叠，堆叠之后通道数会是的4倍，之后入卷积层，将通回的通道°
|输入|
卷积层
最大池化
Stri昭为5
最大池化
String为9
最大池化
String为13
|特征堆叠|~＞住积层|
图3SPP结构
Fig.3SPP strpctorc
蝗虫养殖前景
1.7Mosaic数据增强
Mosaic数 强参考了CutMia数强方式，理论的相似性,CutMia数 强利用两片进行拼接,Mosaic数强利片进行拼接。Mosaic方法实现是涮片，分别对片进行翻转、缩放、域变，按照方向摆好位置3片进行拼接，使模的环境中也好的检测°
2网络设计
2.1YOLOvV一ms算法
为网络的推理度，减少模型参数量，使用轻量级网络MohiOoOv2作为特征提取网络。为不同的感受野3SPP结，利用改进后的DW-FPN进行特征融合，利用YOLOvV 的heap进行检测。以是YOLOvV-ms算法的基本设计思想，在主干特征提取网络中，102/(0X0 sibuat是倒残差结构、BN是化、ReLU是激活数、Dwcoov是深度可分离卷积。的结构如图4所示。
输入的图片被送入图4中的主干特征提取网络进行特征提取，特征4_3、6_3、9层输出，将的三个特征图分别输入到SPP结，同理将SPP结输出的特征图输入到DW-FPN中进行
第7期
杨庆江，等：二维码定位的YOLOvV-ms 算法
695
特征融合，输出三个不同尺度大小的特征图分别是
13 x 13 x T 26 x 26 x T 、52 x 52 x T ，通过此特征图
对二维码进行预测。「
Hi
IDwconv
nil
输入
1 conv BN ReLU
2 1 InvertedResidual
3 1 InvertedResidual 3 2 InvertedResidual
4 1 InvertedResidual 4 2 InvertedResidual 4 3 InvertedResidual
5 1 InvertedResidual 5 2 InvertedResidual 5 3 InvertedResidual 5 4 InvertedResidual
6 1 InvertedResidual 6 2 InvertedResidual
6 3 InvertedResidual
7 1 InvertedResidual 7 2 InvertedResidual 7 3 InvertedResidual 8 1 InvertedResidual 9 InvertedResidual
苍原
e 52x52xT d I 「一|上采样|1卜 SPP^^Illa ^T --------- 26X26：oH D w conv ---------► | 1 13xl3xT 输出
f I 主干特征提取网络II 11轻量特征金字塔
( Mobilenetv2)」匕块 | |_ ( DW-FPN )
图 4 YOLOvv - ms 结构Fig. 4 YOLOvv-ms strpcture
6.0 1 配置 MohimnPv2 网络
Mohileuetv2是一种轻量级卷积神经网络，其结
简单、模型参数量小、可以在不减少模 度的前
大 高模型的运行速度。Moh0eneW2网络
结构如表1所示。表1中，MohimneW2共11层。因 为
测中只用Moh0eneW2作特征提取器，因只保存了 1〜5层，去掉了分类层(10和11层)o
的层作为YOLOvV - ms 的
取网络，结构
如图4中MohiUnPv2所示。
6. 09 SPP 结构块
SPP 结 由三个SPP 结构组成，保证网络进
行多尺度训练以 不同分辨 片的输入，并且
高了网络的 野。为了进一步提高网络的预
测精度,
特征提取网络中4_3、6_3、9这三层
的特征并排输出到三个SPP 结构中
不同层
的 野
，
结构如图4中的SPP 结
。此结
的 是
特征网络提取到的三
特
征都能 的 野 。
2.1.3轻量特征金字塔
YOLOvV 中
特征金字塔(FPN)进行底层特
征和高层特征的融合，提高了小
的检测性能，并误 。FPN 中用于
通道数的卷积核
参数量较少，用于特征提取的卷积核参数
。为
模型更加轻量化，利
度可分离卷积(Dw-co /)
代替FPN 中用于特征提取的卷积核，将替换 后的FPN 称之为DW - FPN，结构如图4中的轻量特征金字塔(DW-FPN )所&。DW-FPN 实现方法 是：将底层特征a 经 度可分离(Dwconv)卷积,
之 采样和上层特征b 特征堆叠 U 以 1
推 d o a 、c 、d 经过两 度可分离卷积
(Dwconv)得到三个不同大小的特征图y 、f 、o 。
2.2
anchor box 重聚类
Anchyr box 重聚类是利用K-meau 聚类算法，利
中国国家安全委员会两 之间的I0U-
为距离参量，对数 的
真 进行聚类，将距
为接近的框聚
合。YOLOvV 算法中共聚类出9个中心框，并且聚 出的anchyr box 是在coco 数
或者voc 数
中 ，这两个数
别
，形状差异较
大，与二维码数 存
大差异，因此，重新聚类
了 ；chor box 。IKmpns 算法的流程是随机选取几
质心,
数 中的每
分配 距其 的簇中，这一*步
每个簇的质心更新
为该簇 的 ，直至中心不再变化。而在
auchoz 聚类中，则是将真 之间的交并比(niou)
作为距离进行度量，度量公式为
d(A,,)二 1—n ou(4"),
(6)
式中;；——真 的集合；
B ——聚类中心框的集合；d ——和B 的距离；
n iou
父并比。
中针对二维码图像进行聚类，得到5个au-
chor 分别是［372,362］、［234,231 ］、［ 04, 05］、
［125,10］、［37,35］、［68,62 245,80 244,48］、
［2,25］。
3实验与结果分析3.1实验环境和数据集
文中使用的环境是auacouda + pythope . 9 + pg-
Wrch0 5 + chdal0. 0，显卡是 NVDIA GTX2080。
的数 三部分，共2 073张图片，第
一部分数 网 ，共1 000张；第二部分人工
采集，共540张；第三部分用Mosaic 方法生成并保
存 的.xml 文件，共573张。针对人工采集的
片，用ladellmo 工具对其进行人工
，命名为
QR，标签数
存为A.X/1格式。在拍
注
的过程中，将二 不同环境、角度进行拍摄，并
拍 部分模
以使模型更
泛化性能,
如图5所示。之 数 分成训练集、测试集、验
证集之比为8： 1： 1的
训练、测试和验证。
训练
生成的A. pth i 推理
696黑龙江科技大学学报第30卷
进行推理，最后用验证集验证模型的好坏°
图5人工拍摄模糊图像
Fig.5Take a blurry image manually
3.2训练方案与结果分析
一共训练了三个模型，分别是YOLOvV2 YOLOvV-m°2没有aochoc聚类的YOLOvV-ms°为加快网络收敛速度，采用迁移学习的方法°BCELoss和MSELoss作为损失函数，自适应Adam优化损失函数，采用pytorch框架中StepLR为学习率
始学习率设为2.091，最大迭代14个epoch，批量大小设为74，迭代89个epoch后批量大小改为32,22个epoch后，将学习率改为2.2091°3.2.1测试集评估模型
北京8号学苑
模型训练之测试测试
P、召回率人和度Q ap作为模型最
指标，结果如表2所&
Table2Modei evvluation index results
表2模型评价指标结果
模型P/%R/To心/%〃Hz m/M YOLOvV80.5997.2193.57 2.2204.0 YOLOvV-ms34.6394.5192.288.503
奥巴马会见喇嘛
4.6 YOLOvV-ms*33.1993.8390.508.5034.6表2中YOLOvV-ms*未对二维码数进行aochoc box聚类，Fps在NVIDIA920M显卡上得出。由表可知，由于YOLOvV-ms使用了SPP模块，检测的高于YOLOvV°由于MohiNoeW2参数量较少，特征提取能与na/o053，因此召回率略于YOLOvV。因为轻量级模型nMohilc-oetv2和DW-CPN，因此较YOLOvV,Fps提高了近3倍，模型大小缩小了5倍多°
3.2.2检测效果可视化
检测效果在NVIDIA GeForcc920M显卡的笔记本上进行可视化，刷新率为5.594342，如图6所示。
-无遮挡
■3
a电脑摄像头检测效果
遮挡两个
定位标识
遮挡一个
定位标识
b部分被遮挡检测效果
遮挡半个
定位标识、\
图6检测效果可视化
Fig.6Detection effect visualizetion
7a丿设不同的背光亮度来模拟强光和弱光下的二，从检测看出3匡境中好的检测，图7b展示了二被部分、形变的检测，可以看出
种模型依好的检测°
4结论
为二境好的测性能，提出一种YOLOv3-ms二位°(2利用修改后的MohiNo0v2网络作为主干特征提取网络，大大减小了模型的参数量，并且在MoPiNnOi丿SPP结3特征层感
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议