一种基于逆注意力支配的伪装防御数据生成方法

1.本发明属于人工智能中深度学习算法与物理伪装防御领域，具体涉及一种基于逆注意力支配的深度学习物理伪装防御数据生成方法。

背景技术：

2.深度学习旨在通过使用人工神经网络构建一种高级模式分类形式，以深度神经网络为代表的现代机器学习模型在各种复杂任务中不断取得新的突破，在许多应用中已经达到或超越人类的认知水平。深度学习的著名应用包括图像分类、自动驾驶、语音识别、游戏等等。尽管在定义明确的任务中，深度学习已经具有不俗的表现，但在可靠性和质量方面仍然存在许多问题。例如，它们也容易受到对抗攻击的影响。对抗攻击技术通常设计一些精心设计的扰动，这些扰动对人类来说是不可感知的，但很容易导致深度学习做出错误的预测，从而实现欺骗效果。
3.尽管对抗攻击的存在威胁到深度学习模型的应用性能，但研究对抗攻击技术仍存有价值，它可以在物理场景中用于迷惑无人飞行器、精确制导等靶向识别算法的提供有效的防御解决策略，实现伪装防御，保障本地集设备安全。
4.基于上述事实，衍生出大量学者进行物理伪装防御数据生成技术的研究。通常而言，伪装防御通过修改物理世界中真实对象的视觉特征来实现伪装防御，但复杂的物理约束和条件(如照明、距离、摄像头等)将产生的干扰进而降低防御的有效性。虽然现有的工作对物理伪装防御进行了初步的研究，但始终忽略了模型不可知和语义可理解的约束，导致伪装防御数据未能起到良好的防御效果。具体而言，现有工作的局限性可以总结为：(1)伪装防御数据的迁移性很差，这限制了它们在物理世界中的不同模型间的应对能力；(2)现有的方法产生的防御数据外观可疑，与人类感知不一致，易引起人类的注意。
5.针对上述问题，直观的做法是选取具有高泛化性策略对深度学习模型进行特征提取，以便生成的数据在不同模型之间具有良好的迁移性，并且通过一组扰动形状预设使其符合人类语义可理解。在物理场景中，伪装防御数据生成技术可以对本地集设备进行保护，以巧妙地避开深度识别模型的侦察。有鉴于此，本发明提出了一种基于逆注意力支配的深度学习物理伪装防御数据生成方法及其装置，旨在在短时间内生成迁移性强、人语义可理解的物理伪装防御数据，保障集设备部署安全

技术实现要素：

6.为了克服目前研究领域模型不可知和语义可理解等问题，本发明提供一种基于逆注意力支配的深度学习物理伪装防御数据生成方法。
7.本发明解决其技术问题所采用的技术方案是：本发明实施例的第一方面提供了一种基于逆注意力支配的伪装防御数据生成方法，所述方法包括以下步骤：
8.s1、选取原始图像数据集与其对应的深度学习模型；
9.s2、对原始图像数据集进行预处理，并训练深度学习模型；
10.s3、构建注意力机制得到注意图，对注意图进行离散化操作，以分散逆注意力区域，得到逆注意力区域分散损失ld；
11.s4、通过设置目标区域抑制损失、置信度分数抑制损失和目标类损失函数构建防御目标损失ln；
12.s5、构建局部扰动优化损失le和像素平滑损失ls，公式如下：
[0013][0014]
其中，β
·
e+1是权重张量，1是张量，t
def
是防御纹理张量，t0是种子像素补丁；
[0015][0016]
其中是待防御的输入数据i
def
在坐标(i,j)处的像素值；
[0017]
s6、基于逆注意力区域分散损失ld、防御目标损失ln、局部扰动优化损失le和像素平滑损失ls修改深度学习模型的输入数据，生成伪装防御数据。
[0018]
本发明实施例的第二方面提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的基于逆注意力支配的伪装防御数据生成方法。
[0019]
本发明实施例的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述的基于逆注意力支配的伪装防御数据生成方法。
[0020]
本发明的有益效果主要表现在：解决了现有物理伪装防御技术扰动不可迁移及易被人肉眼发掘的问题，提出了一种基于逆注意力支配的深度学习物理伪装防御数据生成方法及其装置。本发明方法具有良好的迁移性和人语义可理解性，能够有效生成伪装防御图像，保障本地集设备绕过深度学习模型侦察、识别。
附图说明
[0021]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0022]
图1是本发明的实施例中基于逆注意力支配的深度学习物理伪装防御数据生成方法框图。
[0023]
图2是本发明的实施例中提供的基于逆注意力支配的深度学习物理伪装防御数据生成装置的结构示意图。
具体实施方式
[0024]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0025]
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。
在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0026]
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0027]
下面结合附图，对本发明进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
[0028]
第一方面，本发明实施例提供了一种基于逆注意力支配的深度学习物理伪装防御数据生成方法，请参考图1，包括以下步骤：
[0029]
s1、获取原始图像数据集与其对应的深度学习模型架构，具体包括：
[0030]
s11、收集常用于图像分类的ms coco、pascal voc或imagenet数据集并保存为原始图像数据集x，真实标签集y，以及每张图像相应的边界框信息b；
[0031]
s12、选取深度学习模型，其中每一原始图像数据集需选取其对应的深度学习，示例性地，对于ms coco数据集采用faster r-cnn深度学习模型架构、pascal voc数据集采用yolov3深度学习模型架构、yolov5数据集采用yolov5深度学习模型架构。
[0032]
s2、训练步骤s1构建的深度学习模型具体包括：
[0033]
s21、将原始图像数据集按预设比例划分为训练集和测试集，通过one-hot编码将原始图像数据集中每个样本的标签转化为一维向量其格式，如[0,0,1,0,0,0]表示的样本的标签为6个类别中的第3个。
[0034]
s22、将步骤s21划分的训练集输入到步骤s12选取的深度学习模型中，通过采用小批量梯度下降的训练方法进行训练(批量设置为32)，使得三元组损失最小来对模型权重θ进行更新，将测试集输入至训练好的深度学习模型中计算其平均精确度，直至深度学习模型的平均精确度(map)达到90％以上训练完成。其中，三元组损失函数为：
[0035][0036][0037][0038]
loss＝l
box
+l
cls
+l
obj
[0039]
其中，s表示网格尺寸；b表示边界框信息；x，y，w，h表示图像中真实边界框的长度、宽度，位置宽度、位置高度；表示模型预测边界框的长度、宽度，位置宽度、位置高度；classes表示总类别数；p(
·
)表示概率函数；ci表示经过one-hot编码后的真实置信度分数；表示经过深度学习模型预测的置信度分数；表示在i,j处的b有目标，其值
为1，否则为0；表示在i,j处的b没有目标，其值为1，否则为0；λ
coord
，λ
class
，λ
nobj
，λ
obj
表示平衡参数，取值范围为[0,1]，且λ
coord
+λ
class
+λ
nobj
+λ
obj
＝1。
[0040]
s3、构建逆注意机制损失，具体包括：
[0041]
物理空间中，给定一个训练完备的深度神经网络(m,t)表示三维物体的网格张量m、纹理张量t，并且携带真实标签y。深度神经网络的输入图像i是真实对象(m,t)在环境条件d∈d(例如，摄影机视图、距离、照明度等)下的经过渲染器r的渲染，可以表示为i＝r((m,t),d)。为了产生物理伪装防御数据，通常通过生成不同物理属性(例如颜、形状)的防御纹理张量t
def
来替换原始张量t，且伪装防御物体满足i
def
＝r((m,t
def
),d)。因此，对物理伪装防御数据生成问题的定义可以描述为：
[0042][0043]
其中，ε表示纹理张量间的距离需满足的距离约束，
·
表示取2范数距离。
[0044]
s31、构建注意力机制，具体操作包括：
[0045]
将测试集输入到步骤s2训练好的深度学习模型中，以得到注意机制模块a。
[0046]
为了使伪装防御数据产生更强的迁移性，并且满足人语义可理解，引入模型注意力机制。具体而言，给定一个对象(m,t)，一个待优化的伪装防御纹理张量t
def
，以及一个特定的真实标签y，通过y得到待防御的输入数据i
def
，然后使用注意机制模块a计算注意图sy，如下所示：
[0047]
sy＝a(i
def
,y)
[0048]
其中，注意力机制模块a可以表示为：
[0049][0050]
其中，是真实标签y的梯度权重，k是激活特征图，py是真实标签y的置信度分数，是第k个激活特征图中位置(i,j)的像素值，relu(
·
)表示激活函数。此外，注意力机制模块可以是任意模型，非特定目标模型。
[0051]
s32、分散逆注意力区域，具体操作包括：
[0052]
其次，分散注意区域，并迫使注意力机制模块聚焦于非目标区域。直观地说，像素值热值的高低表示该区域对注意力机制模块预测的贡献程度。为了降低显著对象的注意权重并分散这些注意区域，引入对注意图的进行离散化操作，离散后得到连通图。该连通图包含一条路径，路径位于图中任何一对节点之间。在图像中，每个像素的注意权重高于特定阈值的区域可以视为连接区域。为了利用连通图分散模型的注意力，其中包括：通过将连通图分成多个子图来降低整体连通性；减少连接子图中每个节点的权重。为了实现这些目标，将逆注意力区域分散损失ld定义为：
[0053][0054]
其中，k是连通图的总数，gk是与sy中第k个连通图对应的区域中的像素值之和，n是sy的总像素数，nk是gk的总像素数。通过最小化ld，注意力区域中的显著区域变小(即分散)，
显著区域的像素值变低(即不再“加热”)，导致注意力图“分散”。
[0055]
s4、构建防御目标损失ln，具体包括：
[0056]
将测试集输入到步骤s2训练好的深度学习模型中，得到预测和真实边界框的交集(iou)、对象的置信度分数、目标对象类输出置信度。
[0057]
为了使敌方深度学习模型错误的识别检测或者未被识别检测，首先需要减少预测和真实边界框的交集(iou)，以抑制目标预测的区域，则目标区域抑制损失定义为：然后，通过最小化对象置信度来降低表示预测是否包含对象的置信度分数，将此损失表示为置信度分数抑制损失：最后，为了伪装防御需要深度学习模型具有一定的分类识别能力，以保证隐蔽性，选择所需要隐蔽的目标对象类t，记为c
t
，并将其预测与目标对象类输出置信度最大化，则目标类损失可以表示为：因此，基于上述的三个损失，防御目标损失ln可以定义为：
[0058][0059]
其中，λ
α
，λ
β
，λ
γ
为平衡参数，其值域范围为[0,1]，且λ
α
+λ
β
+λ
γ
＝1。
[0060]
s5、防御扰动局部优化，具体包括：
[0061]
物理场景的扰动需要满足在各个角度上都有物理意义，这就需要对扰动进行限制。引入了初始扰动图像预设p0，补丁包含与场景上下文的强大语义关联，用于保证图像更加符合物理实际场景，减少渲染违和度，以此来绕过人眼视察。然后，通过t0＝ψ(p0,t)在对象(m,t)上绘制种子像素补丁。其中ψ(
·
)是一个操作变换符，它首先将扰动预设像素内容转换为三维张量，然后通过张量加法渲染绘制目标物理的纹理，填充像素后，原始扰动预设形成掩码e。局部扰动优化损失le可以被定义为：
[0062][0063]
其中，β
·
e+1是权重张量，1是张量；权重张量中每个元素为1，且其尺寸与单位矩阵e相同，并按照元素乘法
⊙
进行相乘。
[0064]
为了确保生成的伪装防御图像的自然性，引入的平滑损失来减少相邻像素之间的不一致，像素平滑损失ls的计算可以写为：
[0065][0066]
其中是待防御的输入数据i
def
在坐标(i,j)处的像素值。
[0067]
s6、基于逆注意力区域分散损失ld、防御目标损失ln局部扰动优化损失
[0068]
、le和像素平滑损失ls修改深度学习模型的输入数据，生成伪装防御数据。，具体包括：
[0069]
通过联合优化深度学习模型注意力分散损失ld、防御目标损失ln、局部扰动优化损失le和像素平滑损失ls来生成伪装防御数据。具体而言，形式化定义为：
[0070]
minld+ln+ηle+ls[0071]
其中，η平衡了局部扰动优化损失le的比重，默认情况下取值为10-5
。
[0072]
采用梯度下降优化上述损失函数，具体而言，定义为：
[0073][0074]idef
＝i+ε
·
δi
[0075]
其中，ε(ε∈(0,0.1))平衡由损失函数优化后的像素和原始像素的比重，通过优化上述目标，最终由原始数据i生成伪装防御数据i
def
，用于防御深度学习模型的侦察、识别。
[0076]
第二方面，本发明实施例提供了一种实施基于逆注意力支配的深度学习物理伪装防御数据生成系统，用于实现上述的基于逆注意力支配的伪装防御数据生成方法，请参考图2，所述系统包括：
[0077]
收集模块，用于选取原始图像数据集与其对应的深度学习模型。
[0078]
预训练模块，用于对获得的原始图像数据集进行处理，再预训练深度学习模型；
[0079]
逆注意机制损失构建模块，通过构建深度学习模型的注意力机制，提取注意图，对注意图进行离散化操作，得到连通图，以分散逆注意力区域，并引入连通图计算逆注意力区域分散损失。
[0080]
防御目标损失构建模块，通过抑制模型预测和真实边界框的交集、最小化对象置信度、最大化目标类置信度进行防御目标损失构建，使敌方深度学习模型错误识别检测或未被识别检测。
[0081]
防御扰动局部优化模块，通过对包含场景上下文强语义关联性预设补丁进行像素更新，使其满足物理场景的扰动需要满足在各个角度上都有物理意义。
[0082]
伪装防御数据生成模块，通过联合优化逆注意机制损失构建模块、防御目标损失构建模块、局部扰动优化损失模块来生成伪装防御图像数据。
[0083]
实施例1：在ms coco数据集数据集上训练了faster r-cnn训练模型，训练参数为：sgd优化器，学习率lr＝0.0001,momentum＝0.9，batch size＝64，epoch＝8。在测试集10000张样本上的平均精度(map)为92.20％。使用逆注意力支配的深度学习物理伪装防御数据，能将敌方模型识别平均精度(map)下降至27.80％，巧妙地避开了深度学习模型对的侦察，进而有效的保护了集设备安全，并且在人眼的观察下服从自上而下的观察特性。
[0084]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0085]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0086]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0087]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0088]
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。
[0089]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

技术特征：

1.一种基于逆注意力支配的伪装防御数据生成方法，其特征在于，所述方法包括以下步骤：s1、选取原始图像数据集与其对应的深度学习模型；s2、对原始图像数据集进行预处理，并训练深度学习模型；s3、构建注意力机制得到注意图，对注意图进行离散化操作，以分散逆注意力区域，得到逆注意力区域分散损失l
d
；s4、通过设置目标区域抑制损失、置信度分数抑制损失和目标类损失函数构建防御目标损失l
n
；s5、构建局部扰动优化损失l
e
和像素平滑损失l
s
，公式如下：其中，β
·
e+1是权重张量，1是张量，t
def
是防御纹理张量，t0是种子像素补丁；其中是待防御的输入数据i
def
在坐标(i,j)处的像素值；s6、基于逆注意力区域分散损失l
d
、防御目标损失l
n
、局部扰动优化损失l
e
和像素平滑损失l
s
修改深度学习模型的输入数据，生成伪装防御数据。2.根据权利要求1所述的基于逆注意力支配的伪装防御数据生成方法，其特征在于，所述步骤s1中原始图像数据集包括ms coco数据集、pascalvoc数据集或imagenet数据集；原始图像数据集与其对应的深度学习模型具体为：每一原始图像数据集需选取其对应的深度学习，其中，ms coco数据集采用faster r-cnn深度学习模型、pascal voc数据集采用yolov3深度学习模型、yolov5数据集采用yolov5深度学习模型。3.根据权利要求1所述的基于逆注意力支配的伪装防御数据生成方法，其特征在于，所述步骤s2中对原始图像数据集进行预处理包括：将原始图像数据集按预设比例划分为训练集和测试集，通过one-hot编码将原始图像数据集中每个样本的标签转化为一维向量其格式；训练深度学习模型包括：采用小批量梯度下降的训练方法对深度学习模型进行训练，使得三元组损失最小来对深度学习模型权重θ进行更新，直至深度学习模型的平均精确度达到预设的精度阈值，完成对深度学习模型的训练。4.根据权利要求3所述的基于逆注意力支配的伪装防御数据生成方法，其特征在于，所述步骤s3中注意力机制的过程包括：将测试集输入到步骤s2训练好的深度学习模型中，以得到注意力机制模块a，可以表示为：其中，是真实标签y的梯度权重，k是激活特征图，p
y
是真实标签y的置信度分数，是第k个激活特征图中位置(i,j)的像素值，relu(
·
)表示激活函数。5.根据权利要求4所述的基于逆注意力支配的伪装防御数据生成方法，其特征在于，所述步骤s3包括：
对于一个对象(m,t)，一个待优化的伪装防御纹理张量t
def
，以及一个特定的真实标签y，通过真实标签y得到i
def
，然后使用注意机制模块a计算注意图s
y
，如下所示：s
y
＝a(i
def
,y)逆注意力区域分散损失l
d
的公式定义如下：其中，k是连通图的总数，g
k
是与s
y
中第k个连通图对应的区域中的像素值之和，n是s
y
的总像素数，n
k
是g
k
的总像素数。6.根据权利要求3所述的基于逆注意力支配的伪装防御数据生成方法，其特征在于，所述步骤s4具体为：目标区域抑制损失的公式如下：其中，s表示网格尺寸；b表示边界框信息；x，y，w，h表示图像中真实边界框的长度、宽度，位置宽度、位置高度；表示模型预测边界框的长度、宽度，位置宽度、位置高度；置信度分数抑制损失的公式如下：其中，c
i
表示经过one-hot编码后的真实置信度分数；表示经过深度学习模型预测的置信度分数；目标类损失的公式如下：基于上述的三个损失，防御目标损失l
n
定义为：其中，λ
α
，λ
β
，λ
γ
为平衡参数。7.根据权利要求6所述的基于逆注意力支配的伪装防御数据生成方法，其特征在于，平衡参数λ
α
，λ
β
，λ
γ
的值域范围为[0,1]，且λ
α
+λ
β
+λ
γ
＝1。8.根据权利要求1所述的基于逆注意力支配的伪装防御数据生成方法，其特征在于，所述步骤s6具体为：通过联合优化深度学习模型注意力分散损失l
d
、防御目标损失l
n
、局部扰动优化损失l
e
和像素平滑损失l
s
来生成伪装防御数据，优化目标定义为：minl
d
+l
n
+ηl
e
+l
s
其中，η用于平衡局部扰动优化损失l
e
的比重；采用梯度下降优化上述损失函数，公式如下：
i
def
＝i+ε
·
δi其中，ε用于平衡由损失函数优化后的像素和原始像素的比重，通过优化上述目标，最终由原始数据i生成伪装防御数据i
def
。9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-8任一项所述的基于逆注意力支配的伪装防御数据生成方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的基于逆注意力支配的伪装防御数据生成方法。

技术总结

本发明公开了一种基于逆注意力支配的伪装防御数据生成方法，包括：选取原始图像数据集与其对应的深度学习模型；对原始图像数据集进行预处理，并训练深度学习模型；构建注意力机制得到注意图，对注意图进行离散化操作，以分散逆注意力区域，得到逆注意力区域分散损失L

技术研发人员：

陈晋音 金海波 陈若曦 郑海斌

受保护的技术使用者：

浙江工业大学

技术研发日：

2022.09.26

技术公布日：

2022/12/19