一种基于分块域变换模拟技术的JPEG对抗样本生成方法

一种基于分块域变换模拟技术的jpeg对抗样本生成方法
技术领域
1.本发明涉及数据图像处理技术领域，具体是一种基于分块域变换模拟技术的jpeg对抗样本生成方法。

背景技术：

2.卷积神经网络的发展给图像分类、目标跟踪、语音识别等领域带来了革命性的技术变革。然而，由于卷积神经网络的使用门槛低，基于卷积神经网络的人工智能技术可实现全自动的无人识别-定位-狙击任务，给个人隐私和社会稳定带来了隐患。对抗样本可以在不影响人类视觉效果的前提下，引导卷积神经网络输出错误结果，这为非法使用的卷积神经网络提供了一种有效的抵御策略。
3.目前，对抗样本的生成方法主要专注于平衡对抗噪声的幅度和干扰效果。goodfellow等人在发现对抗样本，并提出了可高效生成对抗样本的快速梯度符号法(goodfellow, ian j., jonathon shlens, and christian szegedy. "explaining and harnessing adversarial examples." arxiv preprint arxiv:1412.6572 (2014))。目前为止，快速梯度符号法依然是速度最快的对抗样本生成方法之一。基本迭代法(kurakin, alexey, ian j. goodfellow, and samy bengio. "adversarial examples in the physical world." artificial intelligence safety and security. chapman and hall/crc, 2018. 99-112)以快速梯度法为基础，分多个步骤实现添加对抗噪声，生成的对抗样本攻击成功率更高。相比于基本迭代法，投影梯度法(madry, aleksander, et al. "towards deep learning models resistant to adversarial attacks." arxiv preprint arxiv:1706.06083 (2017))每次只添加极小的对抗噪声。为加快对抗样本的生成速度，投影梯度法在首次添加对抗噪声之前会在图像中添加一个随机噪声。投影梯度法是目前攻击强度最高的一阶攻击方法。carlini等人分别使用l0、l2、l
∞
等范数距离限制每步添加噪声的幅度，从而提出了c&w方法(carlini, nicholas, and david wagner. "towards evaluating the robustness of neural networks." 2017 ieee symposium on security and privacy (sp). ieee, 2017)。c&w方法生成的对抗样本在对抗噪声幅度和攻击效果上均有着良好的表现。
4.上述的对抗样本生成方法都以生成无损的样本为目标。然而，对抗样本本身的对抗效果对于有损压缩是敏感的(kurakin, alexey, ian j. goodfellow, and samy bengio. "adversarial examples in the physical world." artificial intelligence safety and security. chapman and hall/crc, 2018. 99-112)。为压缩节约存储资源及传输带宽，目前大多数的数字图像是有损压缩格式。而jpeg格式是一种常见的有损压缩图片格式。因此，提出一种基于分块域变换模拟技术的jpeg对抗样本生成方法。

技术实现要素：

5.本发明的目的在于提供一种基于分块域变换模拟技术的jpeg对抗样本生成方法，
解决了现有的对抗样本生成方法无法以有损压缩格式存储和传输的问题，通过以分块域变换模拟技术为基础构建jpeg解压缩模块，直接获取关于jpeg流的梯度信息，以广泛使用的jpeg图像格式生成了对抗样本。
6.本发明的目的可以通过以下技术方案实现：一种基于分块域变换模拟技术的jpeg对抗样本生成方法，所述对抗样本生成方法包括以下步骤：步骤一：以分块域变换模拟技术为基础，利用卷积层构建jpeg解压缩模块。
7.步骤二：将步骤一构建的jpeg解压缩模块与原始卷积神经网络组合形成输入为jpeg流的新模型。jpeg解压缩模块的输出为rgb图像，符合原始卷积神经网络的输入要求，jpeg图片能够在未解压缩状态下直接输入jpeg解压缩模块，再输入原始卷积神经网络。
8.步骤三：使用反向传播算法计算新模型关于输入的jpeg流的梯度信息，形成关于jpeg流的符号梯度。
9.步骤四：以jpeg图像8
×
8小块内梯度绝对值幅值的平均值为标准对块间梯度幅值进行排序，筛选待嵌入对抗噪声的小块。
10.步骤五：在每个已选定的小块内，按块内梯度幅值的大小排序，筛选绝对值最大的前n个像素点。
11.步骤六：在符号梯度的基础上乘以单步噪声幅值ε，依次与步骤四形成的块间掩膜和步骤五形成的块内掩膜做点乘运算，形成单步对抗噪声。
12.步骤七：将步骤六生成的单步对抗噪声用预设的最大噪声幅度e截断，并添加至输入的jpeg图片，生成新的样本。
13.步骤八：将步骤七生成的新样本重新输入新模型，检查是否是对抗样本，如果不是对抗样本，重复步骤三至步骤七，直至输出对抗样本。
14.进一步的，所述jpeg解压缩模块的构建方式包括：（1）、构建域变换卷积层。
15.（2）、构建颜变换卷积层。
16.（3）、依次组合乘法、域变换卷积层、取8位整数、颜变换卷积层、取8位整数，形成jpeg解压缩模块。
17.进一步的，所述域变换卷积层的构建通过8
×
8的反离散余弦变换用矩阵乘法实现，如公式（1）所示：xb=flatten(xf)
×mt
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）式中，xb表示空间域的8
×
8图像块，xf表示离散余弦域的图像块，m
t
表示反离散余弦变换矩阵，flatten表示摊平函数。
18.使用分块域变换技术实现反离散余弦变换，无偏置项的卷积层也是一种线性变换，通过搭建一个包括64个8
×
8尺寸卷积核、卷积步长为8的卷积层，使用m
t
初始化该卷积核参数，并固定该卷积层参数，形成域变换卷积层convidct，使用convidct进行反离散余弦变换的过程如公式（2）所示：xb=convidct*xfꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式中，*表示卷积运算。
19.进一步的，所述颜变换卷积层的构建通过搭建一个包括3个1
×
1尺寸卷积核、卷
积步长为1的卷积层，使用ycbcr到rgb颜空间变换系数初始化该卷积核参数，并固定该卷积层参数，称为颜变换卷积层，ycbcr到rgb颜空间转换的方式如公式（3）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）其中，r、g、b、y、cb、cr分别表示图像的r、g、b、y、cb、cr颜通道分量，由公式（3）中的系数组成的矩阵称为颜空间变换矩阵。
20.进一步的，所述步骤四块间梯度幅值排序的具体步骤为：（1）、对梯度值矩阵mg取绝对值，得到|mg|。
21.（2）、在每个8
×
8小块内，对|mg|求和，得到∑|mg|。
22.（3）、对∑|mg|内的值从大到小进行排序，保存排序后的索引。
23.进一步的，所述筛选待嵌入小块的具体步骤为：（1）初始化全为0的块间掩码矩阵maskb。
24.（2）将∑|mg|最大的前n个索引对应的maskb小块内的值设置为1。
25.进一步的，所述步骤五块内梯度幅值排序的具体步骤包括：（1）对梯度值矩阵mg取绝对值，得到|mg|。
26.（2）在|mg|的每个8
×
8小块内进行从大到小的排序，保存排序后的索引序列。
27.块内筛选的具体步骤为：（1）初始化全为0的块间掩码矩阵mask
p
。
28.（2）将|mg|每个8
×
8小块内最大的前n个索引对应的mask
p
值设置为1。
29.进一步的，所述步骤六形成单步对抗噪声具体的计算步骤：noise
ad = ε
·
sign(mg)
·
maskb·
mask
p
其中，noise
ad
表示单步对抗噪声，sign表示取符号函数，
·
表示矩阵中对应元素相乘，sign函数的运算方式如下式所示：其中，x表示输入，y表示输出。
30.进一步的，所述步骤八检查是否是对抗样本的条件包括：1）、步骤七生成的新样本是对抗样本，输出对抗样本；2）、步骤三至步骤七的重复次数达到预设的最大迭代次数s，输出生成失败；此情况需调整超参数重新执行本方案，以最终生成jpeg对抗样本。
31.本发明的有益效果：1、本发明jpeg对抗样本生成方法只需预先设定单步噪声幅度ε、最大噪声幅度e、最大迭代次数s等超参数，整个生成过程无需手工参与；生成的对抗样本符合jpeg压缩标准，可使用常规jpeg解压缩工具（图片浏览工具）直接读取；两步嵌入位置的筛选及嵌入多部迭代、最终截断的策略保证了解压缩后图片的良好视觉质量；
2、本发明jpeg对抗样本生成方法以分块域变换模拟技术为基础构建了jpeg解压缩模块，将该模块与原始卷积神经网络组合，计算原始卷积神经网络关于jpeg流的梯度值，取符号后形成对抗噪声，块间筛选和块内筛选的步骤防止了单步添加噪声过大影响最终生成对抗样本的视觉质量；筛选后的对抗噪声乘以单步噪声添加至输入的jpeg样本，循环并最终生成jpeg对抗样本，解决了数字图像对抗样本无法以有损压缩格式存储和传输的问题。
附图说明
32.下面结合附图对本发明作进一步的说明。
33.图1是本发明jpeg对抗样本生成方法流程图；图2是本发明解压缩模块的结构示意图；图3是本发明解压缩模块和resnet18分类模型组合形成新模型的示意图；图4是本发明块间筛选过程示意图；图5是本发明生成jpeg对抗样本的生成成功率；图6是本发明修改解压缩质量因子后的生成成功率曲线；图7是本发明修改质量因子对解压缩后图像视觉质量的影响图；图8是本发明不同质量因子下使用本方案生成jpeg对抗样本的平均峰值信噪比图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
35.一种基于分块域变换模拟技术的jpeg对抗样本生成方法，如图1所示，对抗样本生成方法包括以下步骤：步骤一：以分块域变换模拟技术为基础，利用卷积层构建jpeg解压缩模块jpeg压缩、解压缩的过程是以8
×
8的图像块为单位进行的，对jpeg图像进行处理的基本单位为8
×
8的图像小块；jpeg解压缩的过程包括熵解码、反量化、反离散余弦变换、颜空间逆变换、合并块等，其中熵解码的过程包括哈夫曼解码和zigzag解码，哈夫曼解码和zigzag解码均为无损解码，在本实施例中中不考虑，jpeg解压缩过程最主要的步骤是反离散余弦变换和颜空间逆变换。
36.jpeg解压缩模块的构建方式包括：（1）、构建域变换卷积层，通过搭建一个包括64个8
×
8尺寸卷积核、卷积步长为8的卷积层，使用8
×
8数据反傅里叶余弦变换的矩阵初始化该卷积核参数，并固定该卷积层参数，称为域变换卷积层。
37.反离散余弦变换是一种线性变换，8
×
8的反离散余弦变换用矩阵乘法实现，如公式（1）所示：xb=flatten(xf)
×mt
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
式中，xb表示空间域的8
×
8图像块，xf表示离散余弦域的图像块，m
t
表示反离散余弦变换矩阵，flatten表示摊平函数，即将数据变形到一维向量，由公式（1）可知，使用矩阵乘法实现反离散余弦变换需要首先将图像按8
×
8的尺寸进行分块，并将每个小块内的数据进行摊平，从而进一步进行变换运算，这种方法生成的xb是一维数据，需要再次形变为8
×
8的小块。
38.本实施例使用分块域变换技术实现反离散余弦变换，无偏置项的卷积层也是一种线性变换，通过搭建一个包括64个8
×
8尺寸卷积核、卷积步长为8的卷积层，使用m
t
初始化该卷积核参数，并固定该卷积层参数，形成域变换卷积层convidct，使用convidct进行反离散余弦变换的过程如公式（2）所示：xb=convidct*xfꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式中，*表示卷积运算；由公式（2）得到，使用域变换卷积层将图像块从离散余弦域变换到空间域只需要进行一步卷积运算，避免了数据摊平的过程，由于convidct的步长为8，卷积视野之间无相邻，卷积窗口的滑动替代了图像分块的过程。
39.（2）、构建颜变换卷积层，通过搭建一个包括3个1
×
1尺寸卷积核、卷积步长为1的卷积层，使用ycbcr到rgb颜空间变换系数初始化该卷积核参数，并固定该卷积层参数，称为颜变换卷积层，ycbcr到rgb颜空间转换的方式如公式（3）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）其中，r、g、b、y、cb、cr分别表示图像的r、g、b、y、cb、cr颜通道分量，由公式（3）中的系数组成的矩阵称为颜空间变换矩阵。
40.（3）、依次组合乘法、域变换卷积层、取8位整数、颜变换卷积层、取8位整数，形成jpeg解压缩模块，组合的具体方式如图2所示。
41.步骤二：选取resnet18分类模型作为原始的卷积神经网络，将构建的jpeg解压缩模块与原始卷积神经网络组合形成输入为jpeg流的新模型，jpeg解压缩模块与原始卷积神经网络组合方式如图3所示，图中conv表示卷积层，avg pool表示池化层，fc表示全连接层；卷积层中的第一个参数，例如3
×
3，表示卷积核尺寸；第二个参数，例如128，表示卷积层数量；第三个参数，例如/2，表示步长；全连接层中的参数表示神经元数量。
42.由于jpeg解压缩模块的输出为rgb图像，符合原始卷积神经网络的输入要求，jpeg图片可以在未解压缩状态下直接输入jpeg解压缩模块，再输入原始卷积神经网络。
43.步骤三：使用反向传播算法计算新模型（jpeg解压缩模块-原始卷积神经网络）关于输入的jpeg流的梯度信息，并取符号，形成关于jpeg流的符号梯度；步骤四：以jpeg图像8
×
8小块内梯度绝对值幅值的平均值为标准对块间梯度幅值进行排序，筛选待嵌入对抗噪声的小块，并形成块筛选掩膜maskb，如图4所示，图中掩膜中的1表示已选择的嵌入块，0表示未选择的嵌入块。
44.块间梯度幅值排序的具体步骤为：（1）、对梯度值矩阵mg取绝对值，得到|mg|；（2）、在每个8
×
8小块内，对|mg|求和，得到∑|mg|；
（3）、对∑|mg|内的值从大到小进行排序，保存排序后的索引。
45.筛选待嵌入小块的具体步骤为：（1）、初始化全为0的块间掩码矩阵maskb；（2）、将∑|mg|最大的前n个索引对应的maskb小块内的值设置为1。
46.这里只形成了关于每个小块的掩膜，形成最终的maskb需要根据小块掩膜填充每个8
×
8的小块，例如，某个小块的掩码（掩膜中对应的值）为0，则在该小块内的每个像素点都填充0。
47.步骤五：在每个已选定的小块内，按块内梯度幅值的大小排序，筛选绝对值最大的前n个像素点，并形成块内掩膜mask
p
。
48.块内梯度幅值排序的具体步骤包括（1）、对梯度值矩阵mg取绝对值，得到|mg|；（2）、在|mg|的每个8
×
8小块内进行从大到小的排序，保存排序后的索引序列；块内筛选的具体步骤为：（1）、初始化全为0的块间掩码矩阵mask
p
；（2）、将|mg|每个8
×
8小块内最大的前n个索引对应的mask
p
值设置为1。
49.步骤六：在符号梯度的基础上乘以单步噪声幅值ε，并依次与步骤四形成的块间掩膜和步骤五形成的块内掩膜做点乘运算（对应位置元素相乘），形成单步对抗噪声，具体的计算步骤如公式（4）所示：noise
ad = ε
·
sign(mg)
·
maskb·
mask
p
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）其中，noise
ad
表示单步对抗噪声，sign表示取符号函数，
·
表示矩阵中对应元素相乘，sign函数的运算方式如公式（5）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）其中，x表示输入，y表示输出。
50.步骤七：将步骤六生成的单步对抗噪声用预设的最大噪声幅度e截断，并添加至输入的jpeg图片，生成新的样本。
51.步骤八：将步骤七生成的新样本重新输入新模型（图3中组合形成的新模型），检查是否是对抗样本，如果不是对抗样本，重复步骤三至步骤七，直至达到以下两个条件之一：1）、步骤七生成的新样本是对抗样本，输出对抗样本；2）、步骤三至步骤七的重复次数达到预设的最大迭代次数s，输出生成失败；此情况需调整超参数重新执行本方案，以最终生成jpeg对抗样本。
52.如图5所示，图5为生成jpeg对抗样本的生成成功率，生成成功率随着原始输入jpeg图像的压缩质量因子的变大而递减，递减的趋势在质量因子超过90时趋于明显，质量因子超过94时，成功率低于90%。
53.为了提升较大质量因子情况下生成成功率，本实施例在质量因子超过92时对原jpeg图像的量化表进行修改，减小解压缩使用的质量因子，如图6所示。图6展示了解压缩质量因子减小后的生成成功率曲线，其中，原质量因子指的是不修改质量因子，原质量因子-1
指的是修改后解压缩质量因子比原压缩质量因子小1，相较于不修改质量因子的曲线，原质量因子-2的曲先所表示的生成成功率明显提高，如图7所示，图7展示了修改质量因子对解压缩后图像视觉质量的影响，在压缩质量因子较大的情况下，解压缩质量因子减小2并不会大幅影响图像的视觉质量。
54.如图8所示，图8以峰值信噪比（psnr）为标准展示了不同质量因子下使用本实施例生成10000个jpeg对抗样本的平均图像质量，在压缩质量因子超过88的情况下，psnr值超过30db。
55.在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
56.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
57.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
58.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
59.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
60.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

技术特征：

1.一种基于分块域变换模拟技术的jpeg对抗样本生成方法，其特征在于，所述对抗样本生成方法包括以下步骤：步骤一：以分块域变换模拟技术为基础，利用卷积层构建jpeg解压缩模块；步骤二：将步骤一构建的jpeg解压缩模块与原始卷积神经网络组合形成输入为jpeg流的新模型；jpeg解压缩模块的输出为rgb图像，符合原始卷积神经网络的输入要求，jpeg图片能够在未解压缩状态下直接输入jpeg解压缩模块，再输入原始卷积神经网络；步骤三：使用反向传播算法计算新模型关于输入的jpeg流的梯度信息，形成关于jpeg流的符号梯度；步骤四：以jpeg图像8
×
8小块内梯度绝对值幅值的平均值为标准对块间梯度幅值进行排序，筛选待嵌入对抗噪声的小块
；
步骤五：在每个已选定的小块内，按块内梯度幅值的大小排序，筛选绝对值最大的前n个像素点；步骤六：在符号梯度的基础上乘以单步噪声幅值ε，依次与步骤四形成的块间掩膜和步骤五形成的块内掩膜做点乘运算，形成单步对抗噪声；步骤七：将步骤六生成的单步对抗噪声用预设的最大噪声幅度e截断，并添加至输入的jpeg图片，生成新的样本；步骤八：将步骤七生成的新样本重新输入新模型，检查是否是对抗样本，如果不是对抗样本，重复步骤三至步骤七，直至输出对抗样本。2.根据权利要求1所述的一种基于分块域变换模拟技术的jpeg对抗样本生成方法，其特征在于，所述jpeg解压缩模块的构建方式包括：（1）、构建域变换卷积层；（2）、构建颜变换卷积层；依次组合乘法、域变换卷积层、取8位整数、颜变换卷积层、取8位整数，形成jpeg解压缩模块。3.根据权利要求2所述的一种基于分块域变换模拟技术的jpeg对抗样本生成方法，其特征在于，所述域变换卷积层的构建通过8
×
8的反离散余弦变换用矩阵乘法实现，如公式（1）所示：x
b
=flatten(x
f
)
×
m
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）式中，x
b
表示空间域的8
×
8图像块，x
f
表示离散余弦域的图像块，m
t
表示反离散余弦变换矩阵，flatten表示摊平函数；使用分块域变换技术实现反离散余弦变换，无偏置项的卷积层也是一种线性变换，通过搭建一个包括64个8
×
8尺寸卷积核、卷积步长为8的卷积层，使用m
t
初始化该卷积核参数，并固定该卷积层参数，形成域变换卷积层convidct，使用convidct进行反离散余弦变换的过程如公式（2）所示：x
b
=convidct*x
f
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式中，*表示卷积运算。4.根据权利要求2所述的一种基于分块域变换模拟技术的jpeg对抗样本生成方法，其特征在于，所述颜变换卷积层的构建通过搭建一个包括3个1
×
1尺寸卷积核、卷积步长为1的卷积层，使用ycbcr到rgb颜空间变换系数初始化该卷积核参数，并固定该卷积层参
数，称为颜变换卷积层，ycbcr到rgb颜空间转换的方式如公式（3）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）其中，r、g、b、y、cb、cr分别表示图像的r、g、b、y、cb、cr颜通道分量，由公式（3）中的系数组成的矩阵称为颜空间变换矩阵。5.根据权利要求1所述的一种基于分块域变换模拟技术的jpeg对抗样本生成方法，其特征在于，所述步骤四块间梯度幅值排序的具体步骤为：1）对梯度值矩阵m
g
取绝对值，得到|m
g
|；2）在每个8
×
8小块内，对|m
g
|求和，得到∑|m
g
|；3）对∑|m
g
|内的值从大到小进行排序，保存排序后的索引；筛选待嵌入小块的具体步骤为：1）初始化全为0的块间掩码矩阵mask
b
；2）将∑|m
g
|最大的前n个索引对应的mask
b
小块内的值设置为1。6.根据权利要求1所述的一种基于分块域变换模拟技术的jpeg对抗样本生成方法，其特征在于，所述步骤五块内梯度幅值排序的具体步骤包括：1）对梯度值矩阵m
g
取绝对值，得到|m
g
|；2）在|m
g
|的每个8
×
8小块内进行从大到小的排序，保存排序后的索引序列；块内筛选的具体步骤为：初始化全为0的块间掩码矩阵mask
p
；2）将|m
g
|每个8
×
8小块内最大的前n个索引对应的mask
p
值设置为1。7.根据权利要求1所述的一种基于分块域变换模拟技术的jpeg对抗样本生成方法，其特征在于，所述步骤六形成单步对抗噪声具体的计算步骤：noise
ad
= ε
·
sign(m
g
)
·
mask
b
·
mask
p
其中，noise
ad
表示单步对抗噪声，sign表示取符号函数，
·
表示矩阵中对应元素相乘，sign函数的运算方式如下式所示：其中，x表示输入，y表示输出。8.根据权利要求1所述的一种基于分块域变换模拟技术的jpeg对抗样本生成方法，其特征在于，所述步骤八检查是否是对抗样本的条件包括：1）、步骤七生成的新样本是对抗样本，输出对抗样本；2）、步骤三至步骤七的重复次数达到预设的最大迭代次数s，输出生成失败；此情况需调整超参数重新执行本方案，以最终生成jpeg对抗样本。

技术总结

本发明公开一种基于分块域变换模拟技术的JPEG对抗样本生成方法，所述对抗样本生成方法包括以下步骤：以分块域变换模拟技术为基础，利用卷积层构建JPEG解压缩模块、之后与原始卷积神经网络组合形成输入为JPEG流的新模型；获取该模型关于输入JPEG流的梯度信息；按照单步幅度构建对抗噪声；经过块间位置筛选和块内像素筛选步骤后确定对抗噪声嵌入位置，重复直至生成的JPEG流变为对抗样本。本发明JPEG对抗样本生成方法解决了数字图像对抗样本无法以有损压缩格式存储和传输的问题，通过以分块域变换模拟技术为基础构建JPEG解压缩模块，直接获取关于JPEG流的梯度信息，以广泛使用的JPEG图像格式生成对抗样本。JPEG图像格式生成对抗样本。JPEG图像格式生成对抗样本。