小型微型计算机系统Journal o f C h i n e s e C o m p u t e r S y s t e m s 2021年5月第5期 V o l.42N o. 52021
张春晓，何军
(南京信息工程大学电子与信息工程学院，南京210044)
(南京信息工程大学人工智能学院，南京210044)
E-mail ：j h e@nuist. edu. cn
摘要：图像特征提取的质量直接影响图像分类精度，针对现有特征提取方法不能准确提取远离分类边界特征的问题.本文提 出一种基于对抗正则化的图像特征提取方法，在分类目标函数中引入对抗性正则化项，其核心思想是将特征经过D r o p o u t得到 两个后验分布，分类器最大化后验分布得到分类边界，特征生成器最小化后验分布生成远离分类边界的特征，二者相互对抗鼓 励生成更具有代表性的类别信息，同时探究不同概率分布度量方法对特征空间的影响.实验表明，经过对抗正则化后生成器网 络提取的特征良好，该方法在不同数据集的分类准确率上有所提升. 中图分类号：T P391文献标识码:A文章编号：1000-1220(2021)05-10344)5
Image Feature Extraction Method Based on Adversarial Regularization
Z H A N G C h u n-x i a o,H E J u n
(School of Electronics and Information Engineering,Nanjing University of Information Science and Technology,Nanjing 210044 .China)
(School of Artificial Intelligence,Nanjing University of Information Science and Technology,Nanjing 210044.China)
A bstract：
T h e quality o f feature extraction h a s a direct i m p a c t o n the a c c u r a c y o f i m a g e classification. In this p a p e r, w e p r o p o s e a m e t h o d b a s e d o n the adversarial regularization, w h i c h introduces the adversarial regularization t e r m into the classification objective function. T h e c ore idea is to get t w o posterior distributions b y dropout. T h e classifier tries to m a x i m i z e the posterior distribution to get the classification b o u n d a r y,a n d the feature generator tries to m i n i m i z e the posterior distribution to generate discriminative features.
A t the s a m e time,this p a p e r also explores the influence o f different probability distribution m e a s u r e m e n t m e t h o d s o n feature space. T h e e x p e r i m e n t a l results s h o w that the features extracted b y adversarial regularization are m o r e d iscriminative,a n d the classification a c c u r ac y is i m p r o v e d in different data sets.
Key words ：
i m a g e feature extraction ；
i m a g e classification ；
regularization ；
neural n e t w o r k
i引言
图像分类一般是先通过生成器提取特征，再将特征输入 分类器进行分类.随着深度学习~在机器学习、计算机视觉 领域的快速发展，卷积神经网络m在图像分类中得到良好的 应用.相比于传统的方法，基于C N N卷积的特征提取算法的 优点是不需要大量的人工标注信息[3]_ 1998年,Y a r n L e C i m 等人[
4]通过M N I S T手写识别数字表明卷积神经网络优于先 前所有模型并命名L e N e t-5. 2012年,K r i z h e v s k y等人[51提出 A l e x N e t，该模型增加了 R e L U激活函数和D r o p o u t[5]，在一定 程度上提高了训练速度并降低了计算量，2014年后V G G、G o o g l e N e t、R e s N e t、S e N e t等先后被提出，神经网络的特征 提取能力不断增强，图像分类精度也不断提高.与此同时，出现了针对梯度消失、过拟合、欠拟合等问题的各种训练技巧，如引人D r o p o u t、批量一体化[1°]等.
近几年随着生成式对抗网络模型（G e n e r a t i v e Adversarial N e t w o r k,G A N)[u]的提出，特征提取技术和分类技术在无监督学习（U n s u p e r v i s e d L e a r n i n g)和半监督学习（S e m i-S u p e r-vised L e a r n i n g)领域也有了一定突破.在无监督分类领域，文 献[12,13]等通过对抗训练鼓励目标域特征与源域特征对齐 问题，然而忽略了类别信息，特征生成器往往会输出不具有区 分性的特征（如角度、光照等）影响分类准确度.因此Saito K 等人〖⑷提出对抗D r o p o u t正则化（Adversarial D r o p o u t R e g ularization, A D R)方法用于 无监督 的域适应领域 ，通过生成器 和分类器的相互对抗寻类之间决策边界，从而鼓励生成器 输出更多类别信息.为了提高图像特征提取质量，注意力机制 的引人提高了分类的精度[~8]，文献[19]将多模态注意力嵌 人语义图检测每个类别的区分性特征.文献[20]从信息论角 度出发，采用改进的互信息对数据进行实时提取，在最大程度 保留原始数据信息的基础上提高了分类效率.文献[21]通过 迁移学习提高特征提取质量并引人多输入卷积神经网络进行 分类，在花卉识别方面取得良好结果.目前特征提取的缺陷主 要集中以下两点：1)模型针对特定数据集进行处理，模型泛 化能力不强;2)是模型的特征提取能力仍有欠缺，在小样本
收稿日期：202(M)5~07收修改稿日期：202C M)6>03基金项目：国家自然科学基金项目（61601230)资助；江苏省自然科学基金项目 (B K20141004)资助.作者简介：张春晓，女,1996年生，硕士研究生，研究方向为机器学习、计算机视觉；何军，男，1978年生，博士，副教授，研究方向为机器学习、计算机视觉.
5期张春晓等：一种基于对抗正则化的图像特征提取方法1035
数据集上训练时由于生成器的特征提取能力不足，导致分类 精度不高.
为了提高分类模型特征提取能力，本文从正则项角度出 发，在A D R方法基础上归纳出一种基于对抗性正则化特征提 取方法（Feature Extraction w i t h Adversarial R e g u l a r i z a t i o n,F EA R)用于图像分类，将基于对抗的正则化项应用于分类目标 函数中，促使生成器的输出更具有区分性特征（discriminative features).选取3层卷积网络进行理论验证，在V G G网络进 一步探究，并研究在生成器和分类器在经过对抗正则化训练 后对分类精度的影响.为了验证算法的可行性，本文分别 S V H N、C I F A R丨0、C I F A R100、C U B_200 _2011 上进行分类实 验.实验结果表明，加人对抗正则化训练能够指引生成器输出 具有代表性的类别信息并提高分类精度.
2相关工作
2.1D r o p o u t正则化
D r o p o u t是一种防止神经网络过拟合的正则化方法，在训 练过程中，以概率随机从神经网络中删除神经元来减少数据间的协同性(c o-a d a p t a t i o n s)，促使神经元之间相互独立，不 同的神经元学习输人数据的不同特征，提高模型泛化能力.本 文以对抗的方式使用D r o p o u t来提高生成器的特征提取能力，训练分类器对由D r o p o u t引起的噪声具有判别性，对特征 生成器进行正则化，使其产生鲁棒性特征.
2.2对抗正则化
假设样本图片为X，模型由特征生成器G和分类器C组 成.X经过生成器G得到特征z，分类器C通过S o f t m a x函数 将特征z分成K个类别表示输人X的后验分布，其 中y表示分类的类别.
::s於心
图1不同类别特征空间
F i g. 1Fea t u r e spac e s o f different categories
对抗正则化不同于G A N需要单独训练一个判别器
D，分类器C也充当判别器的角来检测分类边界附近的特 征编码，生成器G避免在分类边界区域附近
生成特征.在分 类边界的特征会引起后验的变化最大，导致错误分 类.因此通过两次D r o p o u t得到两个后验分布，分类器最大化 后验分布的差异，鼓励C网络对噪声信息敏感，不同神经元 学习输人X的不同特征.生成器最小化后验分布的差异，生 成远离分类边界的目标特征，以减少的变化.如图1所示，经过对抗训练鼓励生成器G生成远离分类边界特征. 2.3分布距离的度量
衡量两个概率分布/^(>>丨；0和化（>>1；0之间的距离是概率估计中常见问题，本文主要介绍以下3种不同的衡量标准.
1)全变差距离（Total V a r i a n c e D i s t a n c e，T V D)：若经过
D r o p o u t后，C网络得到两个分布对应的输出为％、y2则变差 距离如公式（1)所示：
TVD(yl ,y2)1^, -^2I⑴
z *=i
2)K L散度（K u l l b a c k-L e i b l e r D i v e r g e n c e):K L 散度用来
度量两个分布和之间的不相似度（dissimilarity),K L散度如
公式(2)所示：
K
〜（P丨丨丨) = ‘X[P丨l〇g P, _P,l〇g p2](2)
k = l
3) J S散度（J e n s e n-S h a n n o n D i v e r g e n c e):J S 散度解决了 K L散度不对称问题，J S散度如公式(3)所示：
酬;>,，p2)=X p，气^]++叫p2兮^](3)
3对抗正则化模型
如图2所示，将特征z输人到C的过程重复两次并通过
D r o p o u t得到两个后验分布p,(y|j〇和p2(y|j〇.衡量两分布
之间距离的差异性，越大表明提取的特征在分类边界，两次预
测的分类结果相差越大.
j分C ritic,
Generator Classifier
图2基于对抗正则化训练的分类模型
F i g.2 Classification n e t w o r k m o d e l b a s e d o n
adversarial regularization training
为了提高分类器C网络对于特征的敏感度，训练c网络
最大化两分布的距离后反馈给G网络，生成器网络G最小化
两分布的距离生成远离分类边界更具有代表性的分类特征.
G和C在训练过程中相互交替，从而提高G网络的特征提取
能力.
在图像分类任务中，网络优化的目标函数为最小化交叉
熵，交叉熵越小，表示预测值与真实值越接近，如公式（4)
所示：
m i n(X,r) = I l u^l o g p C^l x)(4)
O.C x = 1
本文引人的对抗正则化函数如公式(5)所示：
m i n m a x L^v,p2)](5)
G C
C网络除了要最大化分布间距离到
类别分类的边界，同时还要保证分类正确.c网络优化的损失
函数如公式(6)所示：
m i n[L(X,K)=
K⑻
-
E^^d ip, ,p2)]
不同于A D R方法在优化G网络时只最小化敏感度优化
量分布的距离.本文G网络的目的是提取远离分类边界的特
征，同时也保证分类的准确性，G网络优化的损失函数如公式 (7)所示：
m i n[L(X,y) +L^]=
, (7) --(X.n1[*-).]+E,~x l d^Pi-P a)]
将对抗正则项用于图像分类中，可以鼓励分类器中不同
神经元学习到输入X不同特征.由于在训练中最大化D o p o u t
1036
小型微型计算机系统
2021 年
新，再对整个网络以l e 4的学习率进行调整.对抗训练阶段,
G
网络和C 网络模型学习率大小为l e -5.
G enerator C lassifier
图3
3
层卷积网络结构
Fig. 3
T h r e e -l a y e r c o n v o l u t i o n n e t w o r k structure
4.3对抗正则化有效性
本小节验证对抗正则化的有效性，选取3层卷积网络作 为特征生成器,3层全连接层作为分类器进行实验验证.加入 对抗训练后，S V
H N
、C I F
A R 10
和
C I F A R 100
在3层卷积网络
联想昭阳e360的正确率分别为95.38%、87. 93%、73.44%，加入对抗训练后
比基线网络分别提高了 〇. 7
1%
、6. 6
9%克曼模型
、10. 94%
，相比于
A D R
方法分类精度也有所提高.如表2所示.表2
加人对抗正则项测试集准确率对比（百分比)
T a b l e 2
A c c u r a c y o f test sets b y a d d i n g adversarial
regularization (p e rsantage)
方法
S V H N C I F A R 10C I F A R 1003-layer C N N 94.6781.2462.50A D R [丨4]95.2487.0270.31F E -A R
95.38
87.93
73.44
加人对抗正则项后网络的特征提取能力增强，分类准确率
在不同数据集都有了提升.相比于原始A D R 方法，F E -A R 在优 化G 网络的同时考虑最小化交叉熵，进一步提高了分类精度.
图4
C I F A R 10
在测试集正确率对比
Fig. 4
A c c u r a c y c o m p a r s i o n o f C I F A R 10
图5
C I F A R 10
数据集交叉熵损失对比
Fig. 5
C r o s s -e n t r o p y c o m p a r s i o n o f C I F A R 10
为进一步探究，以C I F A R 10
数据集为例，图4和图5分
后两分布的距离，C 网络的神经元会尽力捕捉不同的特征来 提高自身的敏感度.G 网络通过最小化会输出远离分类边界 更具有类别代表性的特征.实验中为了加快收敛速度，首先通 过公式(4)预训练分类模型，其次通过公式(6 )、公式(7)对模 型进行对抗训练.具体步骤见算法1.算法1.基于对抗正则化的特征提取算法
输入：训练集 X ，标签 Y , P a r a m e t e r s : b a t c h s i z e ，l o c a L s t e p , t o t a L
step
输出：图像特征提取与分类模型
I. i =0
2. While i < = total_step
3. if i < = local_step
4. 通过公式(4)预训练分类模型
5. else
6. Dropout 分类器得到p 丨（y I j :)
7. Repeat 得到 p 2(;yl;c)
8. 固定生成器，通过公式(6)训练分类器
9. 固定分类器，通过公式(7)训练生成器
10.
end i f
II. end while
4实验及结果分析
4.1数据集信息
为了验证本文方法的可行性，本文在S
V H N
、C I F A R -10、
C 1F A R
-100进行普通分类实验，选取C
U B
_200_2011细粒度
分类实验.表1是对数据集的描述.
表1
农产品网络营销策略数据集信息
T a b l e 1
Infor m a t i o n o f data sets
数据集
训练集
测试集
类别
S V H N 732572603210C I F A R 10500001000010C I F A R 1005000010000100C U B _200_2011
5994
5794
200
4.2实验设置
1)
实验环境：实验操作系统为64-bit U b u n t u 16. 04, C P U
型号为E 5-2620v 3，内存为32G ，处理器为Intel ®
X e o n (R )
C P U E 5-2620 v 3@ 2. 40 G H z , G P U 型号为 G e F o r c e T I T A N
X .
编程语言为p y t h o n ，实验框架为T e n s o r f l o w.2)
实验网络：本文使用两种卷积网络模型进行实验：1)
在3层卷积网络进行验证，选取3层卷积为特征生成器,3层 全连接层为特征分类器，使用卷积核大小为3 * 3，网络结构 如图3所示;2)在
V G G
网络进一步实验，并对V
G G
网络最
后全连接层参数做了调整，使用5层卷积层作为特征生成器, 3层全连接层作为分类器.
3) 参数设置：实验中，D r o p o u t 的比例为
0. 5.
对于
S V H N
、C I F A R 10、C I F A R 100分别在3层卷积和V G G
网络进
行实验.每次输人b a t c h s i z e 为64，使用a d a m 优化器，预训练 阶段，学习率大小为l e -3，对抗训练阶段，G 网络和C 网络学 习率大小为le*4.
C U B _200_2011使用的网络为在I m a g e N e t 预训练的 V G G ,
输人的b a t c h s i z e 为32，使用随机梯度下降优化模型，预
训练阶段，首先对V
G G
网络全连接层以学习率l e -3进行更
01*2
|_|
o o s r l u J
o o K J r l u i I
」
o o f s r >g u e x £ l
_J I
x i
T t 9>u o u e x e
(N
e >§u e x e
I
」
张春晓等：一种基于对抗正则化的图像特征提取方法
1037
图6
S V H N
在不同度量方法下的分类精度
F i g . 6 Classification a c c u r a c y o f S V H N
u n d e r different
m e a s u r e m e n t m e t h o d s
从图6可以看出，选取合适的概率分布度量方法对于图 像特征提取和分类精度有很大关系.本文所选择的3种度量 方法都对分类精度有了提高，其中使用J S 散度作为分布度量 方法的模型更为稳定.这是因为相比于K L
散度，J S 散度解决
了非对称问题且值域范围限制在[0,1]，对于相似度的判别
更加确切.
4.6细粒度分类实验
为了验证F E -A
R
方法具有普遍性，选取C
U B
_200_2011
进行细粒度分类测试.由于细粒度分类相比于普通图像分类
表4
不同方法下的细粒度分类精度比较（百分比)
T a b l e 4 C o m p a r i s o n o f fine-grained classification a c c u r a c y u n d e r different m e t h o d s (p e r s a n t a g e )
方法
C U B 一200一2011
v g g [6]65.36
v g g
_p
a n
[15]68.54V G G _a t t [l 6]
74. 15v g g
_g
a p
[17]
70.50F E -A R
75.32
更复杂，所以选取V
G G
作为基线网络.对数据预处理，随机
裁剪大小为224 x 224 x 3,V G G
网络最后一层全连接层参数
改为200，其他参数设置见4. 2小节，结果如表4所示.
S 总结
本文从图像特征提取的训练角度出发，提出一种提高图
像分类精度的对抗正则化方法.通过特征生成器和分类器的 对抗训练，鼓励生成器输出具有类别信息的特征，在一定程度 上提髙模型的泛化能力.实验表明，本文方法在普通数据集的 特征提取和分类任务中优于其他，并在细粒度分类任务中有 良好的表现.同时实验发现选择合适的度量方法对于特征提 取及分类精度至关重要，作者在后续工作中对概率分布度量 方法进一步进行探讨.
R e f e r e n c e s ：
[1 ] D eng Li, Y u Dong. D eep learning ： methods and applications[ J ].
Foundations and T r e n d # in Signal Processing, 2014,7 (3 -4) ： 197 - 387.
[2 ] L e C u n Y , Bengio Y , Hinton G. Deep learning [ J ]. Nature, 2015,
521(7553) ：436-444.
[3 ] Liu Gang, X u Chao, Chen Si-yi,et a l . Image classification with
stacked restricted boltzmann machines and hybird nerual network
[J]. Journal of Chinese Computer System,2017,38(9) ：2146-2151.
[4 ] L e C u n Y,Bottou L,Bengio Y. Gradient-based learning applied to
document recognition [ J ]. E^c^eedings of the I E E E , 1998,86(11 )： 2278-2324.
[5 ] Krizhevsky A , Sutskever I, Hinton G E. ImageNet classification
with deep convolutional neural networks[ C]//A d v a n c e s in Neural Information Processing Systems(NIPS) ,2012-.1097-1105.
指挥调度系统
[6 ] Simonyan K,Zisserman A. Very deep convolutional networks for
large-scale image recognition [ J]. arXiv preprint arXiv ： 1409. 1556,2014.
[7 ] Szegedy C,Liu Wei,Jia Yang-qing,et a l. Going deeper with con-
volutions[ C]//Proceedings of the I E E E Conference on Computer Vision and Pattern Recognition (C V P R ) ,2015： 1-9.
[8 ] H e Kai-ming,Zhang Xiang-yu,Ren Shao-qing,et a l . Dee p residual
learning for image recognition[ C]//Proceedings of the I E E E C o n ference on Computer Vision and Pattern Recognition ( C V P R ), 2016:770-778.
[9 ] H u Jie,Shen Li,Sun Gang,et a l . Squeeze-and-excitation networks
别表示加人对抗正则项后模型在测试集准确率和损失函数的 对比.从图4可以看出，在相同的E p o c h 下，本文的模型得到 的准确率高于A D R
方法，且随着训练步数的增加，模型也逐
渐稳定.从图5看出加人对抗正则化项后，交叉熵损失明显降
低.相比于A
D R
,F E -A
R
的训练方法得到的模型更加稳定.随
着交叉熵损失的减小，测试集的分类精度不断提高.这意味着 分类器网络能鉴别非区分性（n o n -discriminative )的特征，生 成器网络学习避免提取这些特征，提高了分类精度.4.4不同方法对比
为了对F E -A
R
方法进一步验证分析，在
V G G
网络结构
下，选取不同方法在S V H N
、C I F A R 10、C I F A R 100的识别精度
与本文方法进行对比，如表3所示.
表3
F E -A R
与现有方法在数据集上的对比（百分比）
载体构建
T a b l e 3 C o m p a r i s o n o f F E -A R a n d existing m e t h o d s o n
different data sets (p e r s a n t a g e )
方法
S V H N C I F A R 10C I F A R 100v g g [6]95.73
92.2369.38v g g
-p
a n
[,5]
91.9893.7175.65VGG-att[,6]96.2694.7375.78F E -A R
96.41
94.92
74.25
从表3可以看出，加人对抗正则化后的分类精度在3个 数据集上分别提高了 〇. 68%、2. 69%、4. 87%，在
S V H N
和
C I F A R
10数据集上本文方法优于其他.虽然在C I F A R 100数
据集上没有达到最优水平，但相比于V G G
网络有了明显提
升，经过对抗训练的生成器输出的特征更具有代表性.在训练 过程中，分类器网络学习鉴别对分类不重要的信息，生成器学 习“欺骗”分类器.如果生成器输出不具有类别信息的特征, 这些特征将被分类器用来提高自身敏感度后再经过和生成器 网络的对抗训练促使生成器的特征更加具有类别区分性.
4.5不同度量方法比较
为了比较不同分布概率分布度量方法对于特征空间的影 响，以S V H N 为例，讨论全变差距离、K L 散度和J S 散度3种 分布距离度量方法与实验精度的关系.如图6所示.
5期05(0505)05 52*017520(7 999188887
.〇
.
〇•〇.
〇.〇.〇
.0. x o c d J
n o o v
uousylssBu
1038小型微型计算机系统2021 年
[C]//Proceedings of the I E E E Conference on Computer Vision
and Pattern Recognition(CVPR) ,2018 ：7132-7141.
裂舌
[10] Ioffe S.Szegedy C. Batch normalization：accelerating deep network
training by reducing internal covariate shift [C]//Froceedings of the 32 nd International Conference on Machine Learning (I C M L), 2015,37:44845.
[11] Gcx)dfellow I,Pouget-Abadie J,Mirza M,e t a l. Generative adver
sarial nets [C]//Advances in Neural Information Processing Sys- tems(NIPS) ,2014：2672-2680.
[12] Ganin Y,Lempitsky V. Unsupervised domain adaptation by back-
propagation[ J]. arXiv preprint arXiv：1409.7495,2015.
[13 ]Ganin Y,Ustinova E,Ajakan H,et a l. Domain-adversarial training
of neural networks [J ]. Journal of Machine Learning Research, 2016,17 ：l-35,doi：arXiv：1505.07818v4.
[14] Saito K,Ushiku Y,Harada T,et a l. Adversarial dropout regulariza-
tion[J]. arXiv preprint arXiv：1711.01575,2017.
[15] Seo P H,L i n Z, Cohen S,et a l. Hierarchical attention networks
[J ]. arXiv preprint arXiv ：1606.02393,2016.
[16] Jetley S,Lord N A,L e e N,et al. Learn to pay attention[J]. arXiv
preprint arXiv：1804.02391,2018.
[17] Z hou Bo-lei,Khosla A,Lapedriza A,et a l. Learning deep features
for discriminative localization[ C]//Proceedings of the I E E E C o n
ference on Computer Vision and Pattern Recognition ( C V P R), 2016：2921-2929.
[18] Y a n Zheng, Liu W e i-w e i,W e n Shi-ping,et a l. Multi-label image
classification by feature attention network [J]. I E E E Access ,2019,
7 ：98005-98013 ,doi ：10. 1109/A C C E S S.2019.2929512.
[19] Y o u Ren-chun,Guo Zhi-yao,Cui Lei,et a l.Crossmodality attention
with semantic graph embedding for multi-label classification [J ].
arXiv preprint arXiv：1912.07872,2020.
[20] W a n g Yan,Li Jun.Zeng Hui,et a l. Real-time feature extraction al
gorithm based on mutual information [J ]. Journal of Chinese C o mputer Systems,2019,40(6) ：1242-1247.
[21 ]Lin Jun-yu,Li Yi-xuan,Zheng Cong-wei,et al.Classifying flowers
and their diseases by using convolutional neural network[ J]. Journal of Chinese Computer Systems,2019,40(6) ：1330-1335.
附中文参考文献：
[3]刘罡，徐超，陈思义，等.结合深度置信网络与混合神经网络的
图像分类方法[J].小型微型计箅机系统,2017,38(9) :2146-2151 + [20]王妍，李俊，曾辉，等.一种基于互信息的实时特征提取
算法[J].小型微型计算机系统,2019,40(6)：丨242-1247.
[21]林君宇，李奕萱，郑聪尉，等.应用卷积神经网络识别花卉及其
病症[J].小型微型计算机系统,2019,40(6) :1330-1335.
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议