一种增强对抗图像样本迁移性攻击的方法

1.本发明属于机器视觉图像处理领域，特别是对抗图像样本迁移性攻击增强方法。

背景技术：

2.对抗图像样本的迁移性是指针对一个模型生成的对抗图像样本会同样对其他模型产生威胁。已有研究说明，深度神经网络极易受到对抗图像样本的影响。对抗图像样本是通过在原图片上添加人类难以察觉的扰动生成的，它能使分类器对图片产生误分类。越锋利的矛可以造就越坚实的盾。同理，攻击性越强的对抗图像样本可以催生出更加鲁棒的深度神经网络，所以研究如何生成更具威胁性的对抗图像样本是非常有必要的。为了更好的理解和改进深度神经网络，研究人员们设计了各种攻击方法。在对抗攻击分类上，对抗攻击可以分为白盒攻击和黑盒攻击。对于白盒攻击，由于攻击者可以获得目标模型（也称为受害者模型）的完整知识，因此攻击者可以通过梯度反传来直接生成对抗图像样本。然而，由于安全问题，攻击者想要在现实世界中获得一个模型的全部信息是很困难的，所以黑盒攻击应运而生。在黑盒攻击中，攻击者不需要知道目标模型的全部知识也能对目标模型进行攻击。黑盒攻击的攻击方式有很多种，其中一个分支名为基于迁移性的攻击。此分支的攻击流程是攻击者在白盒模型上通过梯度反传生成对抗图像样本，然后用它们作为输入来攻击黑盒模型。然而由于白盒模型和黑盒模型决策边界间的差异性，导致对抗图像样本在黑盒模型上的攻击成功率不高。因此，研究者们提出了各种攻击方法来减轻模型决策边界间的差异性对对抗图像样本迁移性的影响，包括投影梯度下降、动量快速梯度符号下降、输入变换、图像平移和方差调整。
3.然而，上述提到的方法都存在如下两个问题。首先，攻击者使用原图片的所有组成部分来生成对抗图像样本，导致生成的对抗图像样本在白盒模型上过拟合。第二，为维持对抗图像样本和原图片之间的视觉相似性，对抗子空间的搜索范围被限制，导致重要信息的遗漏。

技术实现要素：

4.为解决上述生成的对抗图像样本在白盒模型上过拟合问题和重要信息遗漏问题，本发明提出了一种增强对抗图像样本迁移性攻击的方法。
5.本发明采用的技术方案为：一种增强对抗图像样本迁移性攻击的方法，具体步骤如下：s1、定义对抗图像样本生成问题，用高斯核对原始图片进行卷积，以减少图片的高频部分；s11、令代表分类模型，其中，表示原始图像样本，是其对应的标签；s12、设计对抗图像样本，为扰动，以便它能成功地欺骗目标模
型，例如，同时使对抗图像样本能够不被人眼所感知，设置最大扰动来限制攻击者对原图片的修改程度；s13、定义对抗图像样本的生成问题：
ꢀꢀꢀꢀꢀ
（1）其中，表示交叉熵损失函数，表示最大扰动，表示扰动的无穷范数；s14、对原始图像样本进行低通滤波，得到低通滤波器之后的图像；s2、将扰动乘上一个大于一的系数得到新的扰动，用来放松约束，扩大可搜索的对抗子空间，让攻击者获得更多信息；s3、利用新的扰动生成对抗图像样本之后，将对抗子空间还原到原来的大小，生成对抗图像样本；s31、定义最大迭代次数为，将扰动除以迭代次数，得到学习率；s32、计算交叉熵损失函数关于样本图像的梯度；其中，表示对损失函数求关于的梯度，表示第t次迭代生成的对抗图像样本；s33、当迭代次数小于定义的最大迭代次数时，更新样本：
ꢀꢀꢀꢀꢀꢀꢀ
（2）其中，是sign函数，如果数值大于1，则将其变为1，如果数值小于1，则将其变为-1，如果数值为0 ，则不变；s34、输出对抗图像样本；其中，表示将生成的对抗抗本裁剪到的范围，表示最终生成的对抗图像样本。
6.进一步的，所述步骤s14的具体方法为：使用长度为的高斯卷积核进行滤波处理，降低图像的高频部分：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）
其中，标准差设为，表示在图像位置(i, j)的未经过归一化处理的高斯分布概率密度函数值，归一化来得到高斯卷积核：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）其中，表示经过归一化处理的权重值，是一个矩阵，是矩阵的元素值；将原始图像样本通过高斯卷积核，得到处理后的图片：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）其中，表示经过高斯低通滤波器之后的图像。
7.本发明的有益效果：本发明的方法首先在利用原图片生成对抗图像样本之前，用高斯核对其进行卷积，以减少图片的高频部分，而后扩大可搜索的对抗子空间，让攻击者获得更多信息，再利用捕获到的额外信息生成对抗图像样本之后，将对抗子空间还原到原来的大小，以减少对抗图像样本和原图片间的视觉对比，最后生成对抗图像样本。本发明的方法与模型增强等计算成本较高的方法相比，所增加的计算开销可以忽略不计，可以与其他攻击方法相结合，进一步提高对抗图像样本的迁移性，本发明方法从频域和可搜索对抗子空间的角度出发，通过减少原图片的高频成分，扩大可搜索的对抗子空间，能够生成更具迁移性的对抗图像样本。
附图说明
8.图1为本发明的一种对抗图像样本迁移性攻击增强方法的流程图。
9.图2为本实施例的实验结果图，其中图（a）为i-fgsm（快速梯度符号法），图（b）为mi-fgsm（动量迭代法）实验结果图。
具体实施方式
10.下面结合附图和具体实施方式对本发明作进一步说明。
11.如图1所示，本发明的一种对抗图像样本迁移性攻击增强方法流程图，具体步骤如下：s1、定义对抗图像样本生成问题，用高斯核对原始图片进行卷积，以减少图片的高频部分；s2、在步骤s1的基础上，扩大可搜索的对抗子空间，让攻击者获得更多信息；s3、基于步骤s1-s2中的信息基础，在利用捕获到的额外信息生成对抗图像样本之后，再将对抗子空间还原到原来的大小，生成对抗图像样本。
12.本实施例中，所述步骤s1具体子步骤如下：s11、令代表分类模型，其中，表示原始图像样本，是其对应的标
签；s12、设计对抗图像样本，为扰动，以便它能成功地欺骗目标模型，例如，同时使对抗图像样本能够不被人眼所感知，设置最大扰动来限制攻击者对原图片的修改程度；s13、定义对抗图像样本的生成问题：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，表示交叉熵损失函数，表示最大扰动，表示扰动的无穷范数；s14、在步骤s11-s13的基础上，使用长度为的高斯卷积核来降低图像的高频部分：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）其中标准差设为，表示在位置(i, j)的高斯分布概率密度函数值（未经过归一化处理），归一化来得到高斯卷积核：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）其中，表示经过归一化处理的权重值。
13.s15、将原始图片通过高斯卷积核，得到处理后的图片：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（9）其中，表示经过高斯低通滤波器之后的原始图片。
14.本实施例中，所述步骤s2具体子步骤如下：s21、将扰动乘上一个大于一的系数来放松约束，系数用来表示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（10）其中，表示放松约束后的扰动。
15.s22、扩大可搜索的对抗子空间，让攻击者获得更多信息；本实施例中，所述步骤s3具体子步骤如下：s31、定义最大迭代次数为，将步骤s21中放松约束后的扰动除以迭代次数：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（11）
其中，代表学习率。
16.s32、计算交叉熵损失函数关于样本的梯度其中，表示对损失函数求关于的梯度，表示第t次迭代生成的对抗图像样本。
17.s33、当迭代次数小于定义的最大迭代次数，更新样本：
ꢀꢀꢀꢀꢀꢀ
（12）其中，t代表迭代次数；s34、输出增强的生成对抗图像样本。
18.其中，表示将生成的对抗抗本裁剪到的范围，表示最终生成的对抗图像样本。
19.如图2所示，为了研究高斯核长度对对抗图像样本迁移性的影响，本实施例中分别用图（a）的i-fgsm（快速梯度符号法）和图（b）的mi-fgsm（动量迭代法）进行了实验。高斯核的长度从1到21。这里意味着直接在原图像上执行i-fgsm和mi-fgsm。从实验结果可以看到，黑盒攻击的成功率随着的增加而上升，但当超过9时成功率就开始下降。因此，在本实施例中将高斯核的长度设置为9。
20.为了证明所提出方法的有效性，在表1中展示本发明方法的攻击成功率。具体来说，本发明通过i-fgsm（迭代快速梯度符号法）、mi-fgsm（动量迭代法）、di-fgsm（多样化输入变换法）、ti-fgsm（图像平移法）和vmi-fgsm（方差调整法）以及与本发明的方法相结合的扩展，即i-re-fgsm、mi-re-fgsm、di-re-fgsm、ti-re-gsm和vmi-re-fgsm（其中每个方法中的re代表本发明的方法），来攻击inc-v3（inception-v3）、inc-v4（inception-v4）、res-152（resnet-152）和incres-v2（inception-resnet-v2）模型。
21.表1中每一个数据单元斜杠前面的数值表示之前方法的攻击成功率，后面的数值表示方法的攻击成功率。选择了七个防御模型，包括inc-v3ens3（inception-v3-ensemble3）、inc-v3ens4（inception-v3-ensemble4）、incres-v2ens（inception-resnet-v2-ensemble）、r&p（随机化）、nips-r3（图像转换）、rs（随机平滑）和nrp（自监督对抗训练）。从表1可以看出，本发明方法高于之前的方法。总的来说，本发明方法比之前的攻击方法高 3.6%~14.9%。
22.表1本发明方法与其他不同方法的效果对比。
23.综上可以看出，本发明的方法首先在利用原图片生成对抗图像样本之前，用高斯核对其进行卷积，以减少图片的高频部分，而后扩大可搜索的对抗子空间，让攻击者获得更多信息，再利用捕获到的额外信息生成对抗图像样本之后，将对抗子空间还原到原来的大小，以减少对抗图像样本和原图片间的视觉对比，最后生成对抗图像样本。本发明的方法与模型增强等计算成本较高的方法相比，所增加的计算开销可以忽略不计，可以与其他攻击方法相结合，进一步提高对抗图像样本的迁移性，本发明方法从频域和可搜索对抗子空间的角度出发，通过减少原图片的高频成分，扩大可搜索的对抗子空间，能够生成更具迁移性的对抗图像样本。

技术特征：

1.一种增强对抗图像样本迁移性攻击的方法，其特征在于，具体步骤如下：s1、定义对抗图像样本生成问题，用高斯核对原始图片进行卷积，以减少图片的高频部分；s11、令代表分类模型，其中，表示原始图像样本，是其对应的标签；s12、设计对抗图像样本，为扰动，以便它能成功地欺骗目标模型，例如，同时使对抗图像样本能够不被人眼所感知，设置最大扰动来限制攻击者对原图片的修改程度；s13、定义对抗图像样本的生成问题：
ꢀꢀꢀꢀꢀ
（1）其中，表示交叉熵损失函数，表示最大扰动，表示扰动的无穷范数；s14、对原始图像样本进行低通滤波，得到低通滤波器之后的图像；s2、将扰动乘上一个大于一的系数得到新的扰动，用来放松约束，扩大可搜索的对抗子空间，让攻击者获得更多信息；s3、利用新的扰动生成对抗图像样本之后，将对抗子空间还原到原来的大小，生成对抗图像样本；s31、定义最大迭代次数为，将扰动除以迭代次数，得到学习率；s32、计算交叉熵损失函数关于样本图像的梯度；其中，表示对损失函数求关于的梯度，表示第t次迭代生成的对抗图像样本；s33、当迭代次数小于定义的最大迭代次数时，更新样本：
ꢀꢀꢀꢀꢀꢀꢀ
（2）其中，是sign函数，如果数值大于1，则将其变为1，如果数值小于1，则将其变为-1，如果数值为0 ，则不变；s34、输出对抗图像样本；其中，表示将生成的对抗抗本裁剪到的范围，表示最终生成的对抗图像样本。2.如权利要求1所述的一种增强对抗图像样本迁移性攻击的方法，其特征在于，所述步
骤s14的具体方法为：使用长度为的高斯卷积核进行滤波处理，降低图像的高频部分：
ꢀꢀꢀꢀ
（3）其中，标准差设为，表示在图像位置(i, j)的未经过归一化处理的高斯分布概率密度函数值，归一化来得到高斯卷积核：
ꢀꢀꢀꢀꢀꢀ
（4）其中，表示经过归一化处理的权重值，是一个矩阵，是矩阵的元素值；将原始图像样本通过高斯卷积核，得到处理后的图片：
ꢀꢀ
（5）其中，表示经过高斯低通滤波器之后的图像。

技术总结

本发明公开了一种增强对抗图像样本迁移性攻击的方法，属于图像处理领域。首先在利用原图片生成对抗图像样本之前，用高斯核对其进行卷积，而后扩大可搜索的对抗子空间，让攻击者获得更多信息，再利用捕获到的额外信息生成对抗图像样本之后，将对抗子空间还原到原来的大小，减少对抗图像样本和原图片间的视觉对比，最后生成对抗图像样本。本发明与模型增强等方法相比，所增加的计算开销可以忽略不计，与其他攻击方法相结合，进一步提高对抗图像样本的迁移性，本发明从频域和可搜索对抗子空间的角度出发，通过减少原图片的高频成分，扩大可搜索的对抗子空间，生成更具迁移性的对抗图像样本。像样本。像样本。