Vol. 55 No. 4Apr)2021
第55卷第4期2021年4月
西安交通大学学报
JOURNAL OF XI'AN JIAOTONG UNIVERSITY
王燕妮】，刘祥1，刘江2
#.西安建筑科技大学信息与控制工程学院,710055，西安-2.西安现代控制技术研究所,710065，西安)
摘要：针对单步多框目标检测算法(SSD )中存在的误检、漏检以及检测精度不够高等问题，提出了
适用于英语
一种改进的SSD 目标检测算法。该算法通过空洞卷积替换conv4_3卷积层及之前的两次标准卷积，扩大感受野，使用反卷积对不同尺度的特征图进行融合，使融合形成的特征图具有丰富的上下 文信息，最后为特征图添加注意力模型，有效提取感兴趣区域的特征％仿真实验结果表明，改进算 法在VOC2007数据集上较原算法检测精度提升0. 9%，检测结果更加准确，一定程度上改善了误 检、漏检等问题，同时仍满足实时性的要求％
关键词：目标检测；单步多框目标检测算法；空洞卷积；反卷积；注意力机制中图分类号：TP391文献标志码：A
DOI ： 10. 7652/xjtuxb202104016 文章编号：0253-987X(2021)04-0145-09
An Improved Single Shot MultiBox Detector
OSID
WANG Yanni 1 , LIU Xiang , LIU Jiang 2
(1. School of Information and Control Engineering , Xi'an University of Architecture and Techno
logy , Xi'an 710055, China -2. Xi'an Modern Control Technology Research Institute, Xi'an 710065 , China )
Abstract : Aiming at the problems of false detection , missing detection and low detection accuracy insing=eshotmu=tiboxdetector (SSD ),animprovedSSDobjectdetectiona=gorithmisproposed.
The conv4_3 convolution layer and the previous two standard convolutions are replaced by dilated
convolution to expan-the receptive fiel-. The-econvolution is use-to fuse the feature maps of
different scales , so that the feature maps formed by fusion contain rich context information. The
a t ention model is added to the feature mapto e f ectively extract the features of regions of interest)Simulationresultsshowthatthedetectionaccuracyoftheimprovedalgorithmis0.9%
higherthanthatoftheoriginalalgorithm , andthedetectione f ectisbe t er)Tosomeextent ,it solvestheproblemsoffalsedetectionand missingdetection , andsti l meetstherequirementsof
real-time)
Keywords : object detection- single shot multibox detector - dilated convolution - deconvolution-
atention mechanism
目标检测的任务是岀图像中的感兴趣目标, 的类别和位置，是计
觉领域的核心问题之一。由于不同图像中待检测目标的类别、外
观、数量、尺度、位置等不同，且
遮挡等 ：因
素，使目标检测在机器视觉领域成为最具挑战性的 任务。目标检测在红外探测技术、智能
、遥
目标检测、医
*14+以及智能
中的火
、烟雾检测中都有广
用。
收稿日期：2020-10-27
o
作者简介：王燕妮(1975-)，女，副教授，硕士生导师；刘祥(通信作者)，男，硕士生。 基金项目：
陕西省自然科学基础研究资助项目(2020JM-499,2020JQ-684)
o
网络出版时间:2020-12-30 网络出版地址:http ：//kns. cnki net/kcms/detail/61. 1069. T. 20201230. 0927. 002.
html
146西安交通大学学报第55卷目标检测算法可以分为传统目标检测算法和基
于深度学习的目标检测算法，传统目标检测算法使
用手计特征来检测，首图像上
域，对这些区域特征提取，最后使用分
分类。法有尺度不变特征法（SIFT）「
5+
和维奥拉-琼斯算法（V-J）M等，法时间复
杂度高且性较差。
基于度学的目标检测法，
域的机制分阶段目标检测算法和单阶
段目标检测算法。两阶段目标检测算法有基于区域的卷积网络（R-CNN）⑺算法、快速基于区域的卷积网络（Fast R-CNN）⑻法和更快的基于区域的卷积神经网络（Faster R-CNN）［
9］算法等。R-CNN算法通过性搜索算法对输入图像提取候选区域，利用卷积网络提取特征，最后通过支持向量机SVM*
10+进行分类；Fast R-CNN在R-CNN的基础上，加入兴域，通过多任务损失函数，实现端到端的训练;Faster R-CNN采用候域生成网络（RPN）性搜法，提法的速度和准。单阶段目标检测算法利用回归的思想，直接入图像上回归出目标的类别及边框。单阶段目标检测算法速目标检测算法（YOLO）*
1门和SSD*12+:YOLO采用全图信息进预测，极大地提高了检测速率；SSD算法借鉴了Faster R-CNN中的思想，在提高检测速度的同时也提高了检测精度。
目标检测算法中经常会存在误检、漏检等问题，因此本文以SSD算法为基础，对，以提升检测，可好地检、漏检情况。
1SSD算法
1.1SSD网络结构
SSD目标检测算法使用视觉几何网络VGG-16*13+作基础网络，并且将网络中原本的全连接层fc6和fc73X3的卷积层，将分4组卷积层，用来获取更多特征图用于检测，网络结构如图1所示。由图1可以看出，SSD采用多尺度特征图检测，其中大尺度特征图用于检测小目标，尺度特征图用于检测中、大
目标，这种检测可提高识别的准确度，提对不尺寸变化
的能力。
1.2SSD候选框
如1.1节中所述，SSD采用多尺度特征图进行检测，分别选取conv4_3、conv7、conv8_2、conv9_2、
300X30038X3819X1910X105X53X31X1
图1SSD网络结构图
Fig.E SSD network structure
conv10_2、conv11_2共6个特征图。SSD借鉴了Faster R-CNN中锚点框的思想，在每个特征图上设置不同尺寸、长宽比的框，候选框的尺寸计算公如
$”2$mi
n+%ax—丁11”—1），”/［1，］（1）
0—1
式中：”表示候选框与图片的比例；ma
x和$mi n代表比
例的最大值和最小值，分别取值为0.9和0.2；代特征图的个数。
候选框的长宽比乂的取值范围为乂/
［1,2,3,
24候选框的宽度和高度计算公式如下
21”槡！；3”21”（槡！（2）当候选框的比为1时，会增加一个尺度为t—槡m的候选框，因此共设置6种候选框，其中conv4_3、conv10_2、conv11_2仅使用长宽比为a r /；1，1，2,2
4勺4种候选框。车载式高空作业平台
1.3SSD算法损失函数
SSD算法中的函数定义为位置误差L oc和置信度误差L c
o n f的加权和，计算公式为
L（*,c，,：）=—（L conf（*，）+aL o c（*,%,：））（3）式中：N为匹配的候选框的数量
；为类别置信度预测值：为真实框的位置参数；％为预测框的位置预测值;a权重系数设置为1;*U/门，0}表示候选框与真实框匹配,*U=1表示第h框与第U 框匹配，且类别为Z。
用Smooth Ll loss*
14计算SSD算法中的位置误差，对候选框的中心（*c,%）及宽度（））、高度（3）的偏移量回归，公式如
n
L oc（*,%：）2<<smooth
L1（#—g#）
H/P o s#/{*c，+c'）'3}
(4)
h t p:/
zkxb.xjtu.edu
第4期
王燕妮，等：一种改进的单步多框目标检测算法
147
g j = (:/ —r f c $/r )- g +c = (:+c —r +c $/E (5)式中：：为真实框的编码值；厂为候选框，通过对正样 本集P
O s 回得到
位置误差。
SSD 算法中的置信度损失，使用softmax loss
表示N e g
负本集，公式如
N
L
c o n f (
*，) =— <*p 10g#p ) — <l0g #0)'
i /P os
i /N
eg
i
= exp (c p )
* (7)< exp(c p )
,
p
2改进SSD 算法
为改善SSD 算法中存在的误检漏检等问题，本
文 空洞卷积「15+、反卷积*16+和注意力机制，提出
一种 的SSD 目标检测算法。算法首 用连 续3次空洞卷积替代原本conv4_3卷积层及之前的
2次卷积操作；然后 反卷积的思想，对基础网络
提取出的不同尺度的特征图 特征 ；最后在
用于检测的特征图后添加注意力模型，以达到
提高检测能力的
。
2.1空洞卷积和反卷积
空洞卷积也称
卷积，是一种改进的图像
卷积方法，在标准卷积的基础上注入空
。在空洞卷积中，增加了一个扩张率参数d ，
(d —1)为卷积核之
的空洞数量，扩张 I
大，卷积核之间的空洞数量 ，
，通过
张率参数控制空洞卷积中空 的 、。扩张率参数为1时，即为标准卷积。标准卷积和空 卷积示意图如图2所示。图2标准卷积和空洞卷积操作示意图
Fig.2 Operation diagram of convo=ution and di ated
convo=ution
加入空洞卷积后卷积核尺寸计算公式为
5 = k + (k — 1) 8 (d —1)
(8)
式中：为加入空洞卷积后的卷积核尺寸；k 为加入
空洞卷积之前的卷积核尺寸。
加入空 卷积后特征图 尺 的计 公
o = *k + 2p — k —(k — 1 8 (d —1) ]
+ ](9)
式中：为加入空洞卷积后的特征图尺寸；K 为输入 特征图尺寸；为步长;W 为填充。
反卷积也称 置卷积，是标准卷积操作的逆
运算，用来对特征图尺
，解决经过一系列
卷积
操作等 后特征图分辨
的问题，扩
。标准卷积和反卷积的操作示意图如下。
图3 标准卷积和反卷积操作示意图
Fig.3 Operation diagram of convolution and deconvolution
用 反卷积 出特征图 尺度的计 公 如
O = s(a — 1) + k — 2p
(10)
式中：O 为反卷积输出特征图尺寸。
2.2
网络课堂系统计算机视觉借鉴了人类视觉系统中的注意力机
制，对一幅图像中的感兴 域 重点关注，抑制
域 的 。 度学习中，通过对
特征图 加 注 意力 制 ，
对特征 图加权重，将感兴
域的特征标识出来，通过 '
网络的 ， 网络学 到 一 图 中
重 点 关
注的感兴 域，这
成
度学习中的注意
力，以此提 网络
息的能力。从注意力
域的角度，可以分为空间域、通道域和混合域。
空 域将图 中的 空 息 到 一 空中并保
关 息。Jaderberg 等提出空间变换
网络的网络模型，模型结构如图4所示*17+，H 为特
征图的高，W 为特征图宽，C 为通道数。对图像中 的空间域信息做对应的空
，提取特征图中的
关键信息。在卷积操作后，不同卷积核产生的通道
□
图4空间域模型结构图
Fig.4 Spatialtransform modelstructure
W
h t p ：/
zkxb.xjtu.edu
148
西安交通大学学报
第55卷
信息所包含的信息量及重要程度不同，故使用同样
的变换器解释性不强，因而一般用于图 入层 +后。
通道域主要分布于通道中，表现在图像上就是
对不同图像通道的关注程度不同。
Hu 等提出通道
域注意力机制结构如图
5所示。图中X 入
特征，通过卷积操作生成新的特征
U ，通过全局 【
操作将 压成通道数为
C 的一维向量，通过
函数获得权重，最后对特征图上 素点
加权。图5通道域模型结构图
Fig.5 Squeeze-and-excitationnetworksmode=structure
空洞卷积，通过对扩张率进行调节，使具有相同尺寸
的卷积核感知到更广泛的 ，防止局 息丢
， 尺度 息'
如
1. 1节中所述，SSD 算法采用VGG16为基
础网络进行特征图提取，通过叠加使用3次3X3卷
积核
7X7卷积核，有效减
参数量，保
•
检测算法的 性。
的情况下，引入
更 的非线性函数，一定程度上加
网络深
度，使网络学到更复杂的特征，提升检测效果 增大卷积核的
，更容易获得待检测物体的全
局特征，本文使用
3次扩张率&=1,2,4的空洞卷
积，替换原本conv4_3卷积层及之前的2次卷积核
尺
3X3的标准卷积，以达到
的作
用。引入空洞卷积结构与原始标准卷积结构对比如
图
6所示，空洞卷积
计算公式如
I = 2 8 (& —1) 8 ( ! — 1) 8 !
(11)
式中
I 为空洞卷积感受野范围。
混合域是结合空间域和通道域的注意力机制
o Fei
等提出了基于注意力机制的残差学习方式
*19+
，
其添加的 鉴
差网络的思想，不只根据当
前网络层的信息添加
，还添加了上一层的信息，
后信息量过
起的网络层数不能堆叠
很深的问题。这可以看做每一个特征元素的权重， 通过给
特征元素到其对应的注意力权重，就
成了空间域和通道域的注意力机制。
2.3
改进
SSD
算法
SSD 目标检测算法中，采用多尺度特征图的
方法对目标 检测，其中
特征图对
息，高层特征图对应抽象的语义信息。 特征图
上的小目标
过一系列卷积、池化等操作后，
获得的 特征图上保留的信息将变得更少，所以
对小目标 的检测更不 。 ，在
SSD 算法
中，底层特征图用于对小目标
检测，高层特征图
用于对中、大目标进行检测。
卷积 网络中， 一 特征图
素 入图 上 域的 '
SSD 法
中，选择
conv4_3、conv7、conv8_2、conv9_2、conv10
_
2、conv11_2这6个特征图用于检测，conv4_3为底
特征图，
的
息 ， 义 息 ，
；其他
5
特征图，包含的细
息 ，语义信息 ，
-只有
conv4_3 —个底层特征图用于对小目标进行检测，
细节信息不足且没
用到
的语义信息，导致
SSD 法对 目 标 检测
差'
， 入
J=1
d=l d=\
标准卷积
k=3
kp=3 k=i
<7=1
d=2 d=4
k^3
B3 E3
引入空洞卷积
图6引入空洞卷积结构与原始标准卷积结构对比
Fig.6 Comparisonbetweendilatedconvolutionstructureand
originalstandardconvolutionstructure
通过 加 用
3 次空 卷积， 得 次卷积的
输出都
的信息，特征图的
至
15X15，而原算法中叠加使用3次3X3标准卷
积的
7X7，空洞卷积和标准卷积
围对比如图
7所示。同时，将3次标准卷积替换为
3次空洞卷积后的特征图尺度和参数量对比如表1
图7 对比图
Fig.7 Contrastmapofreceptivefield
http ： /zkxb. xjtu. edu.
cn
第4期
王燕妮，等：一种改进的单步多框目标检测算法
149
所示，可以看出，特征图尺度没有变化，参数量也没 增加，没有给网络增加
的计算量°
表1 特征图尺度和参数值的对比
Table1 Parametervaluecompar2sonofd2f erentfeature
maps
层级名称特征图尺度
数量Conv4_1
38X381 180 160Conv4_238X382 359 808Conv4_338X382 359 808
Dila _conv4_138X381 180 160Dila _conv4_238X382 359 808Dila _conv4_3
38X38
2 359 808
图8a 表示算法输入图像，图8b 表示原算法进
行标准卷积后的conv4_3特征图输出，图8c 表示由 空洞卷积替代标准卷积后的conv4_3特征图输出。 对比图8b 和图8c，在使用空洞卷积
标准卷
积后， 出的特征图
，
息
之前有所
，可能对检测
不
，故需入反卷积和注意力机制°通过反卷积将空洞卷
积输出的 特征图和 特征图
特征
可 的 息和语义信息；同时
通过注意力机制，使网络对图像中复杂的信息 ：
再次整合°
(a)输入图像
(b)标准卷积后的
晾衣叉(c)空洞卷积后的
特征图输岀
特征图输岀
图8特征图对比
F2g.8 Compar2sonoffeaturemaps
在进行特征融合时，首先对conv4_3进行扩张 率为2的空洞卷积
；然后对具有
语义信息的特征图conv9_2进行反卷积操作，对其
特征图尺寸的还原，扌 ；最后通过元素
加的方
，直接对2个特征图
力口,
没 通道数，节省了计算量°通过融合将 ：
特征图中的语义信息 到用于检测小目标 的
特征图中 ， 比 前
更 的 上 文
息，对小目标 的检测更 ， 增强了网
络的辨识能力°
本文 入通 注意力 制 ， 分 压、
和注
意3个步骤。
压操作的公式如下
H W
Y =H X
(12)
i
=
1 j =
1
式中:H X 分别为输入的高度、宽度；@为输入特
征图;Y
压操作的输出；C 为输入的通道数°式
(12)将HXC 的输入转化为1X1 X C 的输出，相当
于 一次全局 操作。
操作的公 如
S — h-Swish(X 2 ReLU6(W O) (13)
钥匙胚
式中：S 为激励操作的输出X 1的维度为C 'X C,
w 2的维度为c x c '
，为一个缩放参数，本文取值 为4。W 1
与C
连接操作，然后经过Re-
LU6激活函数；再与W 2
相乘，也代表一次全连接操
作，最后再经过h-Swish 激活函数，就完成了激励操 作° ReLU6和h-Swish 激活函数的图像如图9所
示，公式如
ReLU6 = min(6 ?max(0 *) )
+
h-Swish *)=* R4U6；* +
3) (4)
注意操作的公式如下
X = SU
(15)
式中：X 为添加注意力机制后的特征图°通过该方
法 后的特征图和 5个特征图分别添加注
意力模型，为特征图通道上的
加权重°这个
权重 与感兴 域的相关度，使网络投入更多
关注对感兴
域
学习，忽视不重要的区域，使
的模型学习能力提升，能更充分地学习到待测
的多种特征信息，以提升检测
°本文提出
的改进SSD 算法网络结构如图10所示°
0 ________________I _1 _______________-10 -5 0 5 10 -10 -5 0 5 10
x x
(a)ReLU6函数图像
(b)h-Swish 函数图像
图9激活函数图像
Fig.9 Activationfunctionimages
m1卡3实验结果
3.1 实验环境
本文的
台为17-8700处理器，NVIDIA
4 3 2
h t p
:/
zkxb.xjtu.edu
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议