基于辅助分类生成对抗网络的纸币红外特征鉴伪算法

第44卷第1期2021年2月V ol.44No.1Feb.2021
辽宁科技大学学报
Journal of University of Science and Technology Liaoning
基于辅助分类生成对抗网络的
纸币红外特征鉴伪算法
陈小静,曹语含,张学东
(辽宁科技大学计算机与软件工程学院,辽宁鞍山
114051)
印库网
摘要:针对的特征未知以及样本数量不平衡的局限性问题,提出基于半监督辅助分类生成对抗网络的
纸币红外特征鉴伪算法。辅助分类生成对抗模型可以扩充样本的数据集,经过半监督的方式训练得到分类器进行分类,实现对纸币红外特征的鉴伪。实验结果表明,该算法能提高鉴伪的准确率以及泛化
能力。sss8.aa.am
关键词:红外纸币鉴伪;辅助分类生成对抗网络;半监督
中图分类号:TP391文献标识码:A 文章编号:1674-1048(2021)01-0050-07DOI :10.13988/j.ustl.2021.01.008
收稿日期:2020-09-19。
作者简介:陈小静(1994—),女,河北保定人。通讯作者:张学东(1963—),男,辽宁鞍山人,教授。
研究纸币识别的软件仍采用“以假鉴假”设计
思想,没有实现“以真鉴假”[1]
。纸币鉴伪方法主要
有模板匹配、支持向量机和神经网络鉴别方法。模板匹配法费时费力,计算成本大,而且阈值的设置存在局限性[2-3];支持向量机方法对大样本的处理以及多分类问题上存在不足[4];神经网络鉴别可以充分学习到图像特征,能较好实现图像分类识别,但要求有足够的样本[5-7],而且对数据集以外的识别存在泛化不足的缺点。
Goodfellow 于2014年提出生成对抗网络(Generative adversarial network ,GAN )模型[8]。近年来对GAN 进行改进,不断优化图片的生成质量。监督式生成对抗网络(Conditional generative adversarial nets ,CGAN )模型[9]可以根据网络的输入标签生成对应的输出,比传统生成模型效果好且具有多样性。半监督学习使用未标记以及有标记数据一起训练模型,能在少量数据情况下得到比较高的准确率。GAN 模型亦可通过半监督式学习优化提供生成数据,被称为半监督式生成对抗网络(Semi-supervised generative adversarial net-work ,SGAN )模型[10-11],能够做到同时训练生成器
与半监督式分类器,最终实现更优的半监督式分类器,成像质量更高。王德兴等[12]将深度学习引入GAN ,并对其生成图片用分类器进行分类识别,图像的分类准确率好于其他无监督学习算法,证明生成图片的有效性。
GAN 中判别器、分类器以及生成器的性能相互影响,存在平衡点。CGAN 利用辅助的标签信息增强
原始GAN ,生成具有特定特征图片,且标签信息越丰富,生成效果越好。SGAN 利用判别器或分类器重建标签信息,不仅可以分类还能得到更高质量的图片。结合CGAN 和SGAN 这二者的优点,得到辅助分类生成对抗网络(Auxiliary classifi-er generative adversarial network ,ACGAN )[13-14]
型,该模型有效提高生成结果的质量,并且使得训练更加稳定。
本文提出一种半监督辅助分类深度生成对抗网络模型用于纸币红外特征鉴伪,利用生成器获取一定量的数据集,并将判别器改为一个分类器,该分类器以半监督方式训练,希望能在一定范围提高未知纸币红外特征鉴伪的准确率以及泛化能
力。
第1期
1鉴伪模型
1.1生成对抗网络模型
生成对抗网络是利用生成器G和判别器D博火影忍者幻之地底遗迹
科学信息
弈,将随机噪声Z生成预想的信息G(x)的一种生成模型。生成模型是从一个输入空间将数据映射
到生成空间,即x=G(z)。通常输入z会满足一个简单形式的随机分布,生成函数G(x)通常是神经网络的形式。生成模型定义一个概率分布函数
P mod el(x;θ),模型分布是通过参数变量θ定义。从真实数据集中采样大量的数据定义概率分布函数
P data(x)。在实际的计算过程中通过改变参数θ,使生成模型概率分布P model(x;θ)可以近似于真实数据概率分布P data(x)。根据训练集可以给出生成模型概率分布函数
L=∏i=1m P model(x(i);θ)(1)式中:L是噪声经过生成模型后在训练集上的概率。L越大说明生成模型越好。即寻一个θ*使得L最大化
θ*=arg maxθ∏i=1m P model(x(i);θ)(2)对每个P model(x;θ)取对数
θ*=arg maxθ∑i=1m log P model(x(i);θ)(3)将式(3)转化为求概率分布函数的期望值
θ*=arg maxθ∫P data(x)log P model(x;θ)d x(4)在不影响求解的情况下减去一个与θ无关的常数项
θ*=arg maxθ∫P data(x)log P model(x;θ)d x-
∫P data(x)log P data(x)d x(5)θ*=arg maxθ∫P data(x)log P model(x)
P data(x;θ)d x(6)设两个概率分布为J和G,对应的概率密度函数为J(x)和G(x),计算概率分布之间相似程度的KL散度定义式
KL(J G)=∫J(x)log J(x)G(x)d x(7)得到
θ*=arg maxθKL()
P data(x) P model(x;θ)(8)
当P mod el(x;θ)趋近于P data(x),生成模型就成功了。
生成对抗网络模型就是实现P mod el(x;θ)逼近P data(x)的过程,它可以把简单分布映射成复杂分布。但经过一个神经网络难以计算最终的生成空间分布P mod el(x;θ),所以用代价函数表示模型生成过程,故以判别器为例,固定生成器,代价函数写作J(D),J(D)越大说明鉴别真伪效果好,生成的图片越接近样本数据集
J(D)(θ(D),θ(G))=-12E x-P data log D(x)-
12E x-P z log(1-D(G(z)))(9)生成器写作J(G),生成器和判别器可看作零和博弈的关系,综合代价为零,故可设置价值函数V 来表示J(D)和J(G)
V(θ(D),θ(G))=E x-P data log D(x)+
E
x-P
z log(1
-D(G(z)))(10)现在把问题变成了需要寻一个合适的V(θ(D),θ(G)),使得J(G)和J(D)都尽可能小,也就是说通过判别器和生成器二者博弈,可以求出理想的判别器D*()和生成器G*(),生成数据判为真的概率为P g(x)。
V=E
x-P data log D(x)+E x-P z log(1-D(G(z)))=
∫P data(x)log D(x)+P g(x)log(1-D(x))d x(11)固定生成器寻D使得V最大,令f(x)=V,求f(x)最大值
d f(x)
d D(x)=P data
(x)
D(x)=
P g(x)
1-D(x)=0(12)理想判别器
D*(x)=P data(x)
P data(x)+P g(x)(13)判别器D*(x)值在0-1范围。
将D*(x)带入式(11)
max D V(G,D)=V(G,D*)=
∫P data(x)log P data(x)
P data(x)+P g(x)d x+
∫P g(x)log P data(x)
P data(x)+P g(x)d x(14)
陈小静,等:基于辅助分类生成对抗网络的纸币红外特征鉴伪算法·
·
51
辽宁科技大学学报
第44卷
JS 散度定义式
JS (P  Q )=12KL (P  M )+12
KL (Q  M )
(15)
将式(14)转化为JS 散度形式max D V (G ,D )=-log(4)+KL æèçöø污水处理
÷P data    P data +P g 2+KL æèçöø
÷P g    P data +P g 2=-log(4)+2×JSD ()
P data  P g (16)当P g =P data 时,达到生成最优解G (*)。此刻生
成器和判别器达到纳什平衡,生成的数据判别器已分不清真假。1.2
辅助分类生成对抗网络
ACGAN 是基于GAN 提出的,GAN 为了生成安全样本,可能会生成相同类型的图片欺骗判别器,利用标签信息能够防止这种现象,使得生成样本基本相同。标签的存在可以让判别器关注到生成的类别,防止模式崩溃问题。例如,用MNIST 数据集训练网络时,为了安全只生成其中一个数字,就发生
了模式崩溃问题。ACGAN 结合了SGAN 监督的思想以及CGAN 的条件信息辅助分类思
想,综合判别器学习到的特征可以提升分类器的
性能或优化判别器,达到同时训练生成器和分类器的目的,不仅可得到质量较高的图片,训练稳定,还能拥有一个分类器实现对图像的识别。
ACGAN 对小样本数据集训练任务有一定优势,通过生成的数据可以补充一定量的样本集,模型本身通过少量样本就能较快地收敛,很好地完成模型训练。已有研究在训练好的MNIST 数据集上进行测试,分类正确率能达到98%[15]。1.3
基于辅助分类生成对抗网络的纸币红外特征鉴伪模型
本文的模型基于ACGAN 建立,由生成器和判别器对抗训练得到高质量图片,可做为样本数据,缓解小样本问题,且加入半监督设计也就是训练时既有带标签又有无标签数据,使得模型具有较好泛化能力。
图1是模型生成器网络结构,包括卷积层、卷积核数目以及结构设置。图2是模型判别器网络结构和参数的设置。生成器和判别器参数根据红
外纸币数据设计。为了提取多量的特征就需要多图1生成器网络结构
Fig.1
Network structure of
generator
图2
判别器网络结构
Fig.2
Network structure of discriminator
桡骨层卷积,但要考虑过拟合问题。
红外纸币鉴伪模型结构如图3所示。生成器G 和判别器D 博弈训练,随机噪声Z 和标签C 生成带标签的接近数据集分布的数据G (X 1),
G (X 1)和标鉴数据X 2经过D 判断真假,优化生成网络和判
别器网络,生成模型特征抽取后形成的分类器C ,输出该数据类别为真币还是;带标签的数据集X 2经过判别器对数据的分类,并优化分类器;将不带标签的数据集X 3送往鉴判别器可以优化分类器,通过训练提高其分类的置信区间,最终实现
··
52
第1期
纸币半监督分类。
2实验过程与分析
2.1
数据集选择
本文选用的数据集是在聚龙公司采集的红外图像。数据集共有900张,其中真币800张,100张。训练集550张,其中500张真币,50张。验证集225张,其中真币200张,25张。测试集125张,其中真币100张,25张。生成数据取100张,具有真币特征数据50张,具特征数据50张,做训练集样本。利用基于Python 的kreas 学习框架,在CPU 和win10系统环境下进行实验。2.2
数据集预处理
纸币数据采集中,由于光照、纸币位置等因素,图像存在倾斜问题,需要进行倾斜校正预处理。采用霍夫变换进行倾斜校正,原理如图4所
示。
图4
霍夫变换原理图
Fig.4
Schematic diagram of Hough transform
根据四条边界线的交点可得纸币倾斜角,根据像素点坐标可以推出图像位置关系。(X 0,Y 0)是纸币旋转前像素点的坐标,(X 1,Y 1)是旋转之
后的坐标,旋转前后的位置关系
éëêêùûúúX 1Y 11=éëêê
ùûúúcos θ-sin θ0sin θcos θ00
01éëêêùûúúX 0Y 01(17)
经过霍夫变换倾斜校正后的红外特征纸币,再对其边缘用Canny 算子切割,效果如图5
所示。
图3
红外特征纸币鉴伪模型
Fig.3
Identification model for infrared characteristics of paper
currency
图5
纸币数据预处理前后图
Fig.5
Paper currencies before and after data preprocessing
陈小静,等:基于辅助分类生成对抗网络的纸币红外特征鉴伪算法
·
·
53
辽宁科技大学学报
第44卷
对处理后的纸币进行模型的训练测试。2.3
网络训练
基于改进ACGAN 网络来完成纸币红外特征鉴伪。网络结构含有两全连接层,卷积核为3×3,步长调整为1,激活函数选择Leaky ReLU 函数。判别器网络卷积结构和生成器相同,全连接层改为3个,判别层可以输出样本的类别概率。
超参数不需要数据来驱动,可以在训练前或者训练中人为进行调整,包括学习率(learning rate )、批样本数量(batch size )、迭代次数等。学习率直接控制着训练中网络梯度更新的量级,学习率衰减或者增大能帮助模型有效地减少震荡或者逃离鞍点。生成器学习率设为0.0005,判别器学习率设为0.0001。过小的批样本数量,例如batch size 为1,即每个样本都去修正一次梯度方向,样本之间的差异越大越难以收敛。而过大的批样本数量,会使得梯度方向基本稳定,容易陷入局部最优解,降低精度。minibatch 是一次更新所用的数据条数,每个minibatch 都是随机的样本,增加了生成数据的多样性,本文设minibatch 数为16。为避免过度训练造成的过拟合,如果性能在一段时间内
不再提升,会采用提前停止的方式终止迭代。
在训练形式上采用半监督方式,综合生成器、判别器以及分类器三者相互作用相互优化的特点,将判别器改为分类器,同时保留判别器对纸币的真假数据的鉴别功能。由生成对抗网络原理,模型优化就是让生成器和鉴别区损失都最小。整个模型损失包括生成数据的真假以及分类损失
V (θ(D )
,θ(G )
)=E x -P data log D (x )+
E x -P z
log(1-D (G (z )))(18)
带标签样本数据的分类损失L c ,
C 表示类别L c =E ëûlog P |(C =c |X real )+E ëûlog P |(C =c |X fake )(19)
无标签数据分类损失用香农熵L u 表示,X 为
无标签数据,
n 是分类数目L u =∑i =1n
P (X )log 2P (X )
(20)
通过L u 衡量分类器对于无标签数据分类的不确定度。因此本模型收敛就是优化判断真假数据损失L u 及分类损失L c 两者和最小。2.4
实验结果
图6
是训练过程中模型的损失变化图。模型
图6
模型损失变换图
Fig.6
Diagram of model loss transformation
损失总体趋势先上升后下降,之后趋于稳定。显示了网络模型生成器和判别器对抗学习中,鉴伪模型由训练到平衡的过程。
图7为模型生成器产生的样例图。通过调节参数,降低模型损失,生成和样本数据逐渐接近的图像,图7a 是模型迭代早期输出的样例图,图7b 是模型迭代完成产生的样例图。生成的图像具有样本的特征,可以做样本数据,解决小样本数据训
练困难的问题。
本文数据正负样本差异较大,正确率就会变得比较片面,故选择精确率、召回率、F 值(F-Mea-sure )做评价指标。F 值定义为精确率和召回率的调和平均值。精确度为预测的样本中标签为的比例,即真币误判为。召回率为真实标签是的样本被预测为的比例,表示被正确分类的程度。分类器能把所有都分
··
54

本文发布于:2024-09-22 06:53:24,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/204424.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:生成   模型   数据
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议