第３８卷第３期 计算机应用与软件
Ｖｏｌ ３８Ｎｏ．３２０２１年３月
ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ
Ｍａｒ．２０２１
王 芳１ 周湘贞２
，３
１
（重庆商务职业学院 重庆４０１３３１）
２
（北京航空航天大学计算机学院 北京１００１９１）
３
（郑州升达经贸管理学院信息工程系 河南郑州４５１１９１）
收稿日期：
２０１９－０７－１２。国家自然科学基金面上项目（６１６７２０７７）；２０１８年度河南省重点研发与推广专项支持项目（１８２１０２１１０２７７）。王芳，副教授，主研领域：计算机网络技术。周湘贞，副教授。 摘 要 基于梯度攻击对图像进行修改，可造成基于神经网络的分类技术的精确度降低１０％左右，针对这一问题，提出利用网络空间领域里移动目标防御思想来增加神经网络对抗该类攻击的鲁棒性。定义整体网络集的“区别免疫”概念，将网络中防御方和用户之间的交互模拟为一个重复贝叶斯 斯坦科尔伯格博弈过程。基于此从该组网络集中挑选出一个受训练的网络对输入图像进行分类。该防御方法能减少ＭＮＩＳＴ数据库中受干扰图像的分类错误，同时对于正常的测试图像保持较高的分类精度。该方法可以与现有的防御机制结合使用，确保神经网络安全性。 关键词 贝叶斯 斯坦科尔伯格博弈 移动目标防御 深度神经网络
中图分类号 ＴＰ３０９．２ 文献标志码 Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００
０ ３８６ｘ．２０２１．０３．０２１
ＤＮＮＤＹＮＡＭＩＣＤＥＦＥＮＳＥＭＥＴＨＯＤＢＡＳＥＤＯＮＢＡＹＥＳＩＡＮＳＴＡＣＫＥＬＢＥＲＧＧＡＭＥ
ＷａｎｇＦａｎｇ１ ＺｈｏｕＸｉａｎｇｚｈｅｎ
２，３１
（ＣｈｏｎｇｑｉｎｇＢｕｓｉｎｅｓｓＶｏｃａｔｉｏｎａｌＣｏｌｌｅｇｅ，Ｃｈｏｎｇｑｉｎｇ４０１３３１，Ｃｈｉｎａ）
２
（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＢｅｉｈａｎｇＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１００１９１，Ｃｈｉｎａ）
３
（ＤｅｐａｒｔｍｅｎｔｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，Ｚｈｅｎｇｚｈｏ
爱你爱到骨头里ｕＳｈｅｎｇｄａＵｎｉｖｅｒｓｉｔｙｏｆＥｃｏｎｏｍｉｃｓ，ＢｕｓｉｎｅｓｓａｎｄＭａｎａｇｅｍｅｎｔ，
Ｚｈｅｎｇｚｈｏｕ４５１１９１，Ｈｅｎａｎ，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ Ｇｒａｄｉｅｎｔ ｂａｓｅｄａｔｔａｃｋｃａｎｒｅｄｕｃｅｔｈｅａｃｃｕｒａｃｙｏｆｃｌａｓｓｉｆｉｃａｔｉｏｎｔｅｃｈｎｏｌｏｇｙｂａｓｅｄｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｂｙａｂｏｕｔ１０％ｂｙｍｏｄｉｆｙｉｎｇｔｈｅｉｍａｇｅ．Ｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍ，ｔｈｅｉｄｅａｏｆｍｏｖｉｎｇｔａｒｇｅｔｄｅｆｅｎｓｅｉｎｃｙｂｅｒｓｐａｃｅｉｓｕｓｅｄｔｏｅｎｈａｎｃｅｔｈｅｒｏｂｕｓｔｎｅｓｓｏｆｎｅｕｒａｌｎｅｔｗｏｒｋａｇａｉｎｓｔｓｕｃｈａｔｔａｃｋｓ．Ｔｈｅｃｏｎｃｅｐｔｏｆ“ｄｉｆｆｅｒｅｎｔｉａｌｉｍｍｕｎｉｔｙ”ｏｆｔｈｅｗｈｏｌｅｎｅｔｗｏｒｋｓｅｔｗａｓｄｅｆｉｎｅｄ，ａｎｄｔｈｅｉｎｔｅｒａｃｔｉｏｎｂｅｔｗｅｅｎｔｈｅｄｅｆｅｎｄｅｒａｎｄｔｈｅｕｓｅｒｉｎｔｈｅｎｅｔｗｏｒｋｗａｓｓｉｍｕｌａｔｅｄａｓａｒｅｐｅａｔｅｄＢａｙｅｓｉａｎＳｔａｃｋｅｌｂｅｒｇｇａｍｅｓｐｒｏｃｅｓｓ．Ｂａｓｅｄｏｎｔｈｉｓｐｒｏｃｅｓｓ，ａｔｒａｉｎｅｄｎｅｔｗｏｒｋｗａｓｓｅｌｅｃｔｅｄｆｒｏｍｔｈｉｓｓｅｔｏｆｎｅｔｗｏｒｋｓｔｏｃｌａｓｓｉｆｙｔｈｅｉｎｐｕｔｉｍａｇｅｓ．Ｔｈｅｄｅｆｅｎｓｅｍｅｔｈｏｄｃａｎｒｅｄｕｃｅｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｅｒｒｏｒｓｏｆｉｎｔｅｒｆｅｒｅｄｉｍ
ａｇｅｓｉｎＭＮＩＳＴｄａｔａｂａｓｅ，ａｎｄｍａｉｎｔａｉｎｈｉｇｈｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙｆｏｒｎｏｒｍａｌｔｅｓｔｉｍａｇｅｓ．Ｔｈｅｍｅｔｈｏｄｃａｎａｌｓｏｂｅｃｏｍｂｉｎｅｄｗｉｔｈｅｘｉｓｔｉｎｇｄｅｆｅｎｓｅｍｅｃｈａｎｉｓｍｔｏｅｎｓｕｒｅｔｈｅｓｅｃｕｒｉｔｙｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｓ．
Ｋｅｙｗｏｒｄｓ ＢａｙｅｓｉａｎＳｔａｃｋｅｌｂｅｒｇｇａｍｅ Ｍｏｖｉｎｇｔａｒｇｅｔｄｅｆｅｎｓｅ Ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ
０ 引 言
当前基于深度神经网络（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＤＮＮ）的图像分类系统被应用于多种重要场所，如支票
上手写数字的识别［
１］
、自动监督中物品的分类、自动驾驶领域［２］
等。如果攻击者造成系统输入的分类错误，
将产生严重后果。比如支票上手写数字“１”和“９”的错误分类将导致攻击者从银行取走更多的现金。文献［３－４］指出利用ＭＮＩＳＴ数据库建立的手写数字识别模型极易被攻击。交通标志中的“停止”标志如果识
别错误将导致自动驾驶出现严重交通事故［
３］
。人脸识topmodel
第３期 王芳，等：基于贝叶斯 斯坦科尔伯格博弈的ＤＮＮ动态防御方法１４３
别等图像系统中也存在此类攻击［５］。此外，人的肉眼一般无法区分出被攻击者篡改的图像与原始图像的差别。
ＤＮＮ在数据投射的高维度空间领域具有梯度较高的特性。攻击者试图干扰合法输入数据使网络分类器恰好发生错误，即如果Ｄ＾（ｘ）表示图像ｘ经神经网络Ｄ＾的输出，攻击者加在图像ｘ上的干扰ｐ试图使Ｄ＾（ｘ）≠Ｄ＾（ｘ＋ｐ）。对ｐ进行最小化以确保人肉眼无法区分图像ｘ＋ｐ和ｘ。基于快速梯度下降（ＦａｓｔＧｒａｄｉｅｎｔＳｉｇｎＭｅｔｈｏｄ，ＦＧＳＭ）攻击［４］和雅可比映射（ＪａｃｏｂｉａｎＳａｌｉｅｎｃｙＭａｐｓ，ＪＳＭ）攻击［３］就是这种攻击方式。
普通防御方法一般是通过攻击算法生成对抗样本，并将其加入到训练集中。这种途径的基本要求是需要使用尽可能强的攻击来生成对抗样本，同时网络模型的结构需要足够清晰明了，以便生成尽可能多的对抗样本，这就是对抗训练方法。
研究表明，在神经网络中，加在分类器输入图像上的单个干扰能够将基于ＭＮＩＳＴ数据库分类器的分类精度从９５．５％降低到１４．６％［６－７］，而且对抗训练方法对此类攻击没有明显的防御效果。受网络空间领域移动目标防御思想的启发，本文提出一种基于贝叶斯 斯坦科尔伯格博弈（ＢａｙｅｓｉａｎＳｔａｃｋｅｌｂｅｒｇＧａｍｅｓ）的ＤＮＮ动态防御方法（简称ＢＳＧ方法），与现有的防御机制一起防御深度神经网络中的各种攻击类型。
１ 相关研究
１．１ 深度神经网络中的攻击手段和防御策略１）基于梯度干扰。文献［３，６］提出多种方法生成对抗样本作为测试图像输入到ＤＮＮ中。主要有以下两种类型：（１）对抗训练模型的损失函数在数据点附近会有较大的曲率，使得基于损失函数的一阶近似攻击变得不准确，稍加扰动就可以使ＤＮＮ错误分类。（２）图像的像素点对应一个梯度值，只需选择数值大的像素点进行扰动，就能在尽可能少修改像素点的情况下进行扰动。
２）黑盒攻击。黑盒攻击中具有代表性的就是边界攻击［８］。它不同于依赖于梯度的攻击方式，该
攻击需要的模型信息很少，只需要知道模型最终的分类输出结果即可。在攻击分类中，其需要任意输入输出的能力，能实现源／目标误分类。首先寻到一个对抗样本（不限制阈值大小），然后依据一定策略将该对抗样本沿着原样本的方向移动，直到该对抗样本离原样本最近，同时依然保持对抗性。
针对黑盒攻击常见的防御方法包括：利用攻击算法生成对抗图像来修改训练输入。将该图像与期望标签一起作为神经网络参数加入训练过程中，能使ＤＮＮ减小未知高维度空间的梯度，减小对攻击干扰的影响。整个对抗训练［９］能增加此防御技术的效果。
３）通用干扰。针对某一特定网络生成一个干扰图像。一旦加入到ＤＮＮ的输入图像上，就会造成网络的分类错误［６］。因此，尽管生成干扰图像需要消耗时间，但每个网络只要计算出一个干扰就可以。而且对抗训练方法对该攻击类型无效。
另外，文献［１０］提出应用随机化技术来防御针对机器学习系统的攻击，然而对ＤＮＮ来说并不适用。产生误分类的攻击手段，其最终目的是降低分类的精确度，而ＤＮＮ中所有提高用户分类精度的模型并没有提供针对攻击者修改测试图像添加防护措施［１１］。文献［１２］提出一种基于ＭＩＮＳＴ数据库的检测攻击样本模型，但是该方法需要掌握一种样本误分类成另一种样本的原因，这在大部分情况下都很难实现。此外，利用分类器将输入图像区分为合法用户或者攻击者的方法也是不安全的，因为分类器本身也有可能被恶意攻击。１．２ 移动目标防御思想
海城黑社会移动目标防御（ＭｏｖｉｎｇＴａｒｇｅｔＤｅｆｅｎｓｅ，ＭＴＤ）应用在软件安全领域的策略是通过在多个软件系统中不断切换来降低攻击成功率［１３］，在网络应用系统的应用也可增加系统安全性［１４］。本文提出一种基于贝叶斯 斯坦科尔伯格博弈的动态防御方法为ＤＮＮ提供安全框架。将ＤＮＮ中的图像分类系统和用户之间的交互模拟成一个反复贝叶斯博弈过程，保证系统的安全性，并基于博弈论方法随机从整个网络集中挑选一个网络，为输入图像进行分类。博弈论确保了攻击者无法通过人为攻击策略增加误分类率。更重要的是，该策略能平衡系统安全性和合法用户高精确度分类性。
２ 深度神经网络中的动态防御
在ＭＴＤ系统中，防御方存在多种系统配置，攻击者发起的攻击只能影响防御系统的部分配置。已知系统输入，防御方选择一种配置对输入数据进行处理，并产生相应的输出数据，这样攻击方无法知道系统处理输入所选择的配置。由此可见对输入进行分类时，如何随机选择配置是该方法的关键。这种架构的缺点就是它有可能降低未受干扰输入图像的分类精度，因此需要寻求一种高分类精度和高安全性之
１４４ 计算机应用与软件
２０２１年
间的平衡。
２．１ 防御方配置
ＭＴＤ架构中的多种配置对应到ＤＮＮ中就是为同一种分类任务而训练的多个ＤＮＮ，并且同一种攻击方式不适用于所有Ｄ
ＮＮ。对于图像分类来说，卷积神经网络（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ，ＣＮＮ）的效果最好。因此，尽管防御方使用的ＤＮＮ配置可能在层数、参数和激活函数等方面有所不同，但也可能会使用ＣＮＮ的单元来产生类似的结果。本文模型中用Ｎ表示防御方的一组配置集，实验中Ｎ为３个基于ＭＮＩＳＴ的神经网络集，分别为卷积神经网络、多层感应器（
Ｍｕｌｔｉ ＬａｙｅｒＰｅｒｃｅｐｔｒｏｎ，ＭＬＰ）和分层周期性神经网络（ＨｉｅｒａｒｃｈｉｃａｌＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔ，ＨＲＮＮ）。
２．２ 用户类型和行为设置
本文模型中，将用户分为合法用户Ｌｕ和恶意用户Ａｕ。Ｌｕ只是使用ＢＳＧ系统完成特定的图像分类任务，不包含任何恶意目的，是机器学习服务提供方的目标用户。Ａ
ｕ试图干扰输入图像，使ＤＮＮ对输入图像产生错误的分类标签。Ｌｕ的目的是对输入图像进行分类，而Ａｕ则设法对该过程发起多种攻击行为。假设Ａ
ｕ了解ＢＳＧ系统中的不同架构，因此理论上可以对系统中的任意一个网络发起攻击，Ｕ表示发起的攻击集。针对某一网络发起的攻击ｕ∈Ｕ可能对其他网络配置来说无效，这就是区别免疫的概念。
２．３ 区别免疫
神经网络中的攻击效率与系统的误分类率（测试样本使网络误分类的概率）直接相关。模型中用Ｅ：Ｎ×Ｕ→［０，１００］表示误分类率，ｅｎ，ｕ表示网络ｎ受到攻击ｕ时的误分类率。假设ｕ只对一种特定配置有效，而对其他配置无效，这是ＢＳＧ系统有效性的前提。因此通过在多种配置之间进行切换就可以保证系统安全性，将该过程称之为区别免疫，其值δ（０≤δ≤１）的定义如下：
δ＝ｍｉｎｕｍａｘｎｅｎ，ｕ－ｍｉｎｎｅｎ，ｕ＋
１ｍａｘｎｅｎ，ｕ＋
１ ｎ，ｕ，ｅｎ，ｕ
≥０（１）
式中：ｍｉｎｎｅｎ，ｕ和ｍａｘｎｅｎ，ｕ分别表示攻击者发起攻击ｕ时对ＢＳＧ系统所造成的最小影响和最大影响，ｍｉｎｎｅｎ，ｕ和ｍａｘｎｅｎ，ｕ差值越大，则说明区别免疫过程越有效，当ｍｉｎｎｅｎ，ｕ和ｍａｘｎｅｎ，ｕ差值不变时，可通过分母值大小来判断免疫过程的有效性；分母中的“＋１”是为了确保分母不为０；分子上的“＋１”是为了确保当ｍｉｎｎｅｎ，ｕ＝ｍａｘｎｅｎ，ｕ时，ｍａｘｎｅｎ，ｕ
越大，δ值越小。２．４ 反复贝叶斯博弈
为保证ＢＳＧ方法安全性，每当对输入图像分类时，随机选择一个网络ｎ。如果只是简单地随机挑选一个网络，则有可能选的网络分类精度低，抗干扰能力差。而且随着时间推移，攻击者最终能推断出防御者的策略，并对抗干扰能力差的网络加以利用，导致更加严重的攻击后果。本文利用反复贝叶斯博弈来设计一个有效的变换策略。
ＢＳＧ系统的首要任务是保证合法用户的分类精度不受影响，其次是增加对受攻击者干扰图像的分类精度。合法用户和恶意用户形成一种贝叶斯博弈关系。假设攻击者通过对系统流量一定时间的探测和观察能够推断出防御者的变换策略，然后据此发起攻击。本威胁模型中，防御者在选择变换策略之前也会考虑到这种可能，形成一种反复博弈过程。将此次博弈过程描述为一种非零和博弈，下面定义两类用户的作用。
１）合法用户Ｌｕ和防御方都会获取一个代表ＤＮＮ系统分类精确度的收益值。比如，网络ｎ对输入图像的分类精度为９３％，则防御方和Ｌｕ的收益值都是９３，如表１所示。
表１ 防御方和合法用户收益值对比表
ＢＳＧ方法的神经网络
收益值（防御方，合法用户Ｌｕ）
ＣＮＮ（９９．１，９９．１）ＭＬＰ（９８．３，９８．３）ＨＲＮＮ
（９８．７，９８．７）
２）恶意用户Ａｕ对网络ｎ发起攻击ｕ，其收益值由ｅｎ，ｕ得来，与误分类率相关。防御方的收益值为网络ｎ对输入干扰图像分类的精确度，即（１００－ｅｎ，ｕ），如表２所示。
表２ 防御方和恶意用户收益值对比表
ＢＳＧ方
法的神经网络收益值（防御方，恶意用户Ａｕ）ＦＧＳＭＣＮＮ
ＦＧＳＭＭＬＰ
ＦＧＳＭＨＲＮＮ
ＣＮＮ（１１．６３，８８．３７）（４７．５４，５２．４６）（７４．６５，２５．３５）ＭＬＰ（３６．３７，６３．６３）（１．９６，９８．０４）（３８．１０，６１．９０）ＨＲＮＮ
（３５．７２，６４．２８）（２４．０８，７５．９２）（９．６５，９０．３５）
２．５ 防御方的变换策略
贝叶斯 斯坦科尔伯格博弈［１５］是一种典型的解决
探测以及攻击不确定性的安全博弈方法，本节将攻防过程建模为贝叶斯 斯坦科尔伯格博弈模型，获得最佳的网络切换策略。斯坦科尔伯格博弈包括先采取行动
第３期
王芳，等：基于贝叶斯 斯坦科尔伯格博弈的ＤＮＮ动态防御方法
１４５
我的特岗生活
的领导者以及随后行动的追随者，由于领导者首先采取行动，所以领导者在此博弈中占优。
模型中防御方策略向量为ｘ
，攻击为ｕ时，防御方使用网络ｎ的收益值为ＲＤ酚醛树脂的合成
ｎ，ｕ。类似的，攻击者和合法用户的策略向量分别为ｑＡｕ和ｑＬｕ，收益值为ＲＡｕｎ，ｕ和ＲＬｕｎ，ｕ
。攻击者选择最有效的攻击，求解防御方收益值的最大化过程如下：
ｍａｘｘ，ｑ
∑ｎ∈Ｎ
（α·∑ｕ∈Ｕ
ＲＤｎ，ｕｘｎｑＡｕｕ＋（１－α）·ＲＤｎ，ｕｘｎｑＬｕｕ）（２）ｓ．ｔ． ∑ｎ∈Ｎ
ｘｎ＝１
∑ｕ∈Ｕ
ｑＤ
ｕ＝１０≤ｘｎ≤１， ｎ∈ＮｑＤｕ
∈｛０，１｝
０≤ｖＤ
－∑ｕ∈Ｕ
ＲＤ
ｎ，ｕｘｎ
≤（１－ｎＤ
ｕ
）Ｍ
ｕ∈ＵＤ
， Ｄ∈｛
Ａｕ，Ｌｕ｝式中：α表示Ａｕ攻击ＢＳＧ系统的概率；Ｍ是一个很大的正数。式（２）通过调整ｘ和攻击方策略向量对防御方的期望收益（即分类精度）取最大值。前四个约束条件确保策略向量总和为１，ｘｎ和ｑｕ表示防御方选择网络ｎ攻击者发起攻击ｕ的概率。最后一个限制条件表示攻击者在防御策略情况下最大化其期望收益值
ｖＤ
，前提是攻击者了解ｘ并且选择相应的攻击策略ｑ。
约束条件中强迫Ｌｕ和Ａｕ选择纯策略，对于攻击者选
择的攻击，当（１－ｎＤｕ）Ｍ＝０时，ｖＤ＝∑ｕ∈Ｕ
ＲＤ
ｎ，ｕ
。３ 实验结果
３．１ 非对抗训练网络
在ＭＮＩＳＴ数据库基础上分别基于ＣＮＮ、ＭＬＰ和ＨＲＮＮ训练了三个神经网络。训练集和测试集大小分别为５００００和１００００幅图像。对每一个网络发起快速梯度下降（ＦＧＳＭ）攻击（干扰率ε＝０．３），然后计算所有网络中测试集的误分类率。系统的区别免疫值δ
＝０．２９，将ＢＳＧ系统和α取值为（０，１）间的单个网络进行对比，其目标函数值如图１所示，其中ＯＲＳ表示采用普通的随机切换策略。当α＝０时，ＢＳＧ系统选择ＣＮＮ时，最大分类精度为９９．１％，采用ＯＲＳ方法时，分类精度为９８．２％（原因是使用了低精确度的分类器）；当α＝１时，单个网络最小分类精度为２．０％，最大为１２．６％。尽管使用了高漏洞的网络，ＢＳＧ方法的分类精度也可达到３０％。防御方混合策略为ｘ＝（０．２７４，０．０６１，０．６６５）。由于选用了同等概率下漏洞更多的配置，ＯＲＳ分类精度为２４％
。
图１ ＢＳＧ方法和原始网络中合法用户的分类精度对比图
类似地，在基于Ｉｍａｇｅｎｅｔ数据集的两类不同网络（ＶＧＧ Ｆ，ＲｅｓＮｅｔ １５２）上发起ＦＧＳＭ攻击，系统区别免疫值δ＝０．３４。将ＢＳＧ系统和α取值为（０，１）的单个网络进行对比，其目标函数值如图２所示。当α＝０时，ＢＳＧ采用精确度最高的网络使分类精度最大化，因此ＲｅｓＮｅｔ １５２和ＢＳＧ方法的起点相同。随着攻击测试样本普适性增加，所有网络分类精度均有所下降，ＢＳＧ开始进行网络切换来提高对抗干扰的能力。当系统只收到攻击样本时，即α＝１时，ＢＳＧ的分类精度为４２％，而其他网络的分类精度为２０％左右。防御方混合策略为ｘ＝（０，０．１７１，０．２４１，０，０．４０１，０．１８７），未采
用高危漏洞的配置。
图２ ＢＳＧ方法和原始网络中分类精度对比图
３．２ 对抗训练网络
对抗训练对许多种攻击来说是一种有效的防御机制，利用攻击算法生成干扰图像并在训练过程中加以利用。但是该方法只对利用该算法生成的干扰图像有“免疫”效果，对其他攻击行为（如文献［１６］
中攻击行为）可能无效。为论证ＢＳＧ方法可以与对抗训练神经网络系统机制一起减少误分类率，在３个基于ＭＮＩＳＴ数据库的网络（ＣＮＮ、ＭＬＰ、ＨＲＮＮ）上实施对抗训练。攻击者发起ＦＧＳＭ攻击（对抗训练能够在一定程度上防御该攻击类型）和由文献［１６］提出的一种新的攻击
１４６
计算机应用与软件
２０２１年
类型ＣＷＬ２。ＢＳＧ和恶意用户Ａｕ之间的博弈关系如表３所示。分别统计得出整个测试数据在ＦＧＳＭ攻击下的误分类率和２０个测试数据点在１０００次ＣＷＬ２攻击下的误分类率。
表３ 对抗训练网络中图像分类精确度
ＢＳＧ方法的神经网络收益值（防御方，恶意用户Ａｕ）
ＦＧＳＭＣＮＮ
ＦＧＳＭＭＬＰ
ＦＧＳＭＨＲＮＮ
用心去工作读后感ＣＷＬ２
ＣＮＮ
（９４．２，５．８）（９７．８，２．２）（９７．６，２．４）（８０．０，２０．０）
ＭＬＰ（９６．４，４．０）（８７．０，１３．０）（６３．２，３６．８）（９０．０，１０．０）ＨＲＮＮ（９５．９，４．１）（８７．９，１２．１）（９３．２，６．８）（６０．０，４０．０）
ＢＳＧ系统和其组成网络的目标函数值对比图如图３所示。正如前文所述，ＯＲＳ性能比单一网络下单分类系统（如ＣＮＮ）差。当攻击概率较高（即α＝１）时，ＢＳＧ的误分类率大约为２４％，而ＣＮＮ的误分类率为２０％。大多数情况下，ＢＳＧ系统使用单一网络，因此可以与现有的神经网络防御机制共存，提高攻击干扰图
像的鲁棒性。
图３ 对抗训练网络目标函数值对比图
４ 结 语
针对深度神经网络中现有分类系统的脆弱性，基于网络空间领域的ＭＴＤ思想，本文提出一种基于贝叶斯 斯坦科尔伯格博弈的ＤＮＮ动态防御方法。定义了整体网络集“区别免疫”的概念，将网络中防御方和用户之间的交互模拟为一个反复贝叶斯博弈过程，基于此从该组网络集中挑选出一个受训练的网络对输入图像进行分类。实验结果表明，该方法可以减少基于ＭＮＩＳＴ数据库和Ｉｍａｇｅｎｅｔ数据库中受干扰图像的分类错误，同时对于正常的测试图像保持较高的分类精度。
参考文献
［１］朱虎明，李佩，焦李成，等．深度神经网络并行化研究综
述［Ｊ］．计算机学报，２０１８，４１（８）：１７１－１９１．
［２］白云汉．基于ＳＬＡＭ算法和深度神经网络的语义地图构
建研究［Ｊ］．计算机应用与软件，２０１８，３５（１）：１８３－１９０．［３］ＰａｐｅｒｎｏｔＮ，ＭｃｄａｎｉｅｌＰ，ＪｈａＳ，ｅｔａｌ．Ｔｈｅｌｉｍｉｔａｔｉｏｎｓｏｆ
ｄｅｅｐｌｅａｒｎｉｎｇｉｎａｄｖｅｒｓａｒｉａｌｓｅｔｔｉｎｇｓ［Ｃ］／／２０１６ＩＥＥＥＥｕｒｏ ｐｅａｎＳｙｍｐｏｓｉｕｍｏｎＳｅｃｕｒｉｔｙａｎｄＰｒｉｖａｃｙ（ＥｕｒｏＳ＆Ｐ）．ＩＥＥＥ，２０１６：３７２－３８７．
［４］ＳｚｅｇｅｄｙＣ，ＺａｒｅｍｂａＷ，ＳｕｔｓｋｅｖｅｒＩ，ｅｔａｌ．Ｉｎｔｒｉｇｕｉｎｇｐｒｏｐ
ｅｒｔｉｅｓｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｓ［ＥＢ］．ａｒＸｉｖ：１３１２．６１９９，２０１３．［５］ＳｈａｒｉｆＭ，ＢｈａｇａｖａｔｕｌａＳ，ＢａｕｅｒＬ，ｅｔａｌ．Ａｃｃｅｓｓｏｒｉｚｅｔｏａ
ｃｒｉｍｅ：Ｒｅａｌａｎｄｓｔｅａｌｔｈｙａｔｔａｃｋｓｏｎｓｔａｔｅ ｏｆ ｔｈｅ ａｒｔｆａｃｅｒｅｃ ｏｇｎｉｔｉｏｎ［Ｃ］／／Ｔｈｅ２０１６ＡＣＭＳＩＧＳＡＣＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍ ｐｕｔｅｒａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎｓＳｅｃｕｒｉｔｙ．ＡＣＭ，２０１６．
［６］Ｍｏｏｓａｖｉ ＤｅｚｆｏｏｌｉＳＭ，ＦａｗｚｉＡ，ＦａｗｚｉＯ，ｅｔａｌ．Ｕｎｉｖｅｒｓａｌ
ａｄｖｅｒｓａｒｉａｌｐｅｒｔｕｒｂａｔｉｏｎｓ［Ｃ］／／２０１７ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）．ＩＥＥＥ，２０１７：８６－９４．
［７］陈建廷，向阳．深度神经网络训练中梯度不稳定现象研
究综述［
Ｊ］．软件学报，２０１８，２９（７）：２４９－２６９．［８］ＰａｐｅｒｎｏｔＮ，ＭｃｄａｎｉｅｌＰ，ＧｏｏｄｆｅｌｌｏｗＩ，ｅｔａｌ．Ｐｒａｃｔｉｃａｌ
ｂｌａｃｋ ｂｏｘａｔｔａｃｋｓａｇａｉｎｓｔｍａｃｈｉｎｅｌｅａｒｎｉｎｇ［Ｃ］／／Ｐｒｏｃｅｅｄ ｉｎｇｓｏｆＴｈｅ２０１７ＡＣＭｏｎＡｓｉａＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎｓＳｅｃｕｒｉｔｙ．ＡＣＭ，
２０１７：５０６－５１９．［９］ＴｒａｍｅｒＦ，ＫｕｒａｋｉｎＡ，ＰａｐｅｒｎｏｔＮ，ｅｔａｌ．Ｅｎｓｅｍｂｌｅａｄｖｅｒ
ｓａｒｉａｌｔｒａｉｎｉｎｇ：Ａｔｔａｃｋｓａｎｄｄｅｆｅｎｓｅｓ［ＥＢ］．ａｒＸｉｖ：１７０５．０７２０４
，２０１７．［１０］ＢｉｇｇｉｏＢ，ＦｕｍｅｒａＧ，ＲｏｌｉＦ．Ａｄｖｅｒｓａｒｉａｌｐａｔｔｅｒｎｃｌａｓｓｉｆｉｃａ
ｔｉｏｎｕｓｉｎｇｍｕｌｔｉｐｌｅｃｌａｓｓｉｆｉｅｒｓａｎｄｒａｎｄｏｍｉｓａｔｉｏｎ［Ｊ］．ＬｅｃｔｕｒｅＮｏｔｅｓｉｎＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，２００８，５３４２：
５００－５０９．［１１］ＩｏｆｆｅＳ，ＳｚｅｇｅｄｙＣ．Ｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎ：Ａｃｃｅｌｅｒａｔｉｎｇｄｅｅｐ
ｎｅｔｗｏｒｋｔｒａｉｎｉｎｇｂｙｒｅｄｕｃｉｎｇｉｎｔｅｒｎａｌｃｏｖａｒｉａｔｅｓｈｉｆｔ［Ｃ］／／Ｔｈｅ２０１５ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ，２０１５．［１２］ＡｂｂａｓｉＭ，ＧａｇｎｅＣ．Ｒｏｂｕｓｔｎｅｓｓｔｏａｄｖｅｒｓａｒｉａｌｅｘａｍｐｌｅｓ
ｔｈｒｏｕｇｈａｎｅｎｓｅｍｂｌｅｏｆｓｐｅｃｉａｌｉｓｔｓ［ＥＢ］．ａｒＸｉｖ：１７０２．０６８５６，２０１７．
［１３］ＺｈｕａｎｇＲ，ＤｅｌｏａｃｈＳＡ，ＯｕＸＭ．Ｔｏｗａｒｄｓａｔｈｅｏｒｙｏｆｍｏｖ
ｉｎｇｔａｒｇｅｔｄｅｆｅｎｓｅ［Ｃ］／／ＡＣＭＷｏｒｋｓｈｏｐｏｎＭｏｖｉｎｇＴａｒｇｅｔＤｅｆｅｎｓｅ．ＡＣＭ，２０１４．
［１４］ＴａｇｕｉｎｏｄＭ，ＤｏｕｐｅＡ，ＺｈａｏＺ，ｅｔａｌ．Ｔｏｗａｒｄａｍｏｖｉｎｇｔａｒｇｅｔ
ｄｅｆｅｎｓｅｆｏｒｗｅｂａｐｐｌｉｃａｔｉｏｎｓ［Ｃ］／／ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒ ｅｎｃｅｏｎＩｎｆｏｒｍａｔｉｏｎＲｅｕｓｅａｎｄＩｎｔｅｇｒａｔｉｏｎ．ＩＥＥＥ，２０１５．［１５］卢振平，陈福才，程国振．基于贝叶斯 斯坦科尔伯格博弈
的ＳＤＮ安全控制平面模型［Ｊ］．网络与信息安全学报，２０１７，３（１１）：４０－４９．
［１６］ＣａｒｌｉｎｉＮ，ＷａｇｎｅｒＤ．Ｔｏｗａｒｄｓｅｖａｌｕａｔｉｎｇｔｈｅｒｏｂｕｓｔｎｅｓｓｏｆ
ｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｃ］／／２０１７ＩＥＥＥＳｙｍｐｏｓｉｕｍｏｎＳｅｃｕｒｉｔｙａｎｄＰｒｉｖａｃｙ（ＳＰ）．ＩＥＥＥ，２０１７：３９－５７．
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议