国防科技
NATIONAL DEFENSE TECHNOLOGY
第42卷第2期2021年4月
Vol. 42, No. 2Apr. 202]
拓世英1，孙浩2，林子涵為陈进°
（1.国防科技大学电子科学学院，湖南长沙410073；
2.国防科技大学电子信息系统复杂电磁环境效应国家重点实验室，湖南 长沙410073； 3.国防科技大学前沿交叉学科学院，湖南长沙410074；
4.北京市遥感信息研究所，北京100192）
［摘 要］基于深度学习模型的新一代智能化多模态（可见光/红外/雷达）图像识别系统已逐步在航空航 天 情报侦察、人机交互增强作战系统、无人作战平台自动图像目标识别以及多模复合图像末制导等多个军事场景
中得到广泛应用。然而，由于深度神经网络模型在理论上存在不完备性和对抗脆弱性、多模态图像目标识别深 度网络结构设计与优化在工程上存在迁移性等因素，使得现有识别系统在鲁棒准确性方面评估不足，给系统在
未来战场复杂对抗场景中的广泛部署带来极大的安全隐患。为此，本文通过研究多模态图像智能目标识别系统
军事场景应用的风险模型，分析系统存在的潜在攻击面，开展基于深度神经网络的多模态图像识别对抗样本攻 击技术和对抗鲁棒准确性评估等关键技术研究，以期提升系统在复杂电磁环境条件下的鲁棒性和准确性。
［关键词］深度学习模型；智能图像识别；对抗攻击；鲁棒性评估
［中图分类号］E919 ［文献标志码］A ［文章编号］1671-4547（2021 ） 02-0008-06
DOI ： 10.13943/j.issn 1671-4547.2021.02.02
实物卡
1引言
以深度神经网络为代表的现代机器学习在
各种复杂任务中不断取得新的突破，在许多应用 中已经达到或超越人类的认知水平［旧。例如，美
国密苏里大学研究人员开发的新一代深度学习 智能化图像识别算法仅仅利用42分钟，便在我
国南方某地区的遥感卫星影像中以高置信度定 位90多个地对空导弹阵地，图像判读和情报生 成能力远远超过人类水平。随着现代战争侦察打
击手段不断升级，基于深度神经网络模型的新一
代多模态（可见光/红外/雷达）图像智能目标识
ei硅钢片别系统未来将在遥感卫星和无人飞行器自动侦
察、精确制导自动确认攻击目标、武器装备辅助 瞄准系统等场景广泛部署，军事目标“发现”即
“摧毁”逐步成为现实。然而，深度学习模型的
安全性和可信赖性问题在学术界和工业界仍缺
乏深入研究⑷，给其在军事场景和安全敏感领域
的深入应用和广泛部署带来巨大隐患。作为一种
信息计算组件，多模态图像智能目标识别系统可
能不会按预期程序工作或可能成为攻击者的目 标。对于意外故障和恶意对抗的鲁棒性，是决定 多模态图像智能目标识别算法在现实物理世界 中成功与否的关键因素。意外故障是因为学习系
统产生形式正确但完全不安全的结果。恶意对抗
是攻击者试图破坏系统的可用性、完整性或机密 性，胁迫识别系统，达成恶意目标4句。
未来战场将是复杂电磁环境下的信息对抗 和算法对抗，需要聚焦美军新一代多模态图像目
标识别系统的不透明性和脆弱性，开展智能化对 抗攻击与防御技术研究，以期实现对军队重点装
备和设施的智能化伪装，导致美军人工智能驱动
的图像识别系统形成漏判、误判或系统崩溃，从
而逃避其自动侦察和打击，保证军队在智能化作
［收稿日期］2020 - 09 - 09 ［修回日期］2020-10-12 ［采用日期］2020- 10-13
［作者简介］拓世英，男，博士，高级工程师，研究方向为雷达信号处理、智能感知；孙浩，男，博士，副教授，研究方向为
多模态图像解译与信息融合；林子涵，女，博士，助理研究员，研究方向为国防科技发展战略；陈进，男，博士，副研究员，
研究方向为多模态图像解译与信息融合。
拓世英，等：多模态图像智能目标识别对抗攻击9
战中抢占先机。
2新一代人工智能图像识别系统军事安全风险分析
2.1人工智能系统的发展与安全风险
DARPA总结了三代人工智能系统的主要特性⑴：（1）第一代人工智能侧重手工化处理知识
或狭义任务规则，没有学习能力且处理不确定性问题能力差，典型代表如专家系统；（2）第二代人工智能系统依赖统计学习，需要大规模高质量标注，只能提供有限的可靠性能，系统可解释性差，缺
乏因果推理能力，典型代表如深度学习系统;（3）第三代人工智能系统具备情境模型感知、学习、抽象和推理能力，并具有很强的适应不同情境的能力，典型代表如知识图谱驱动下的数据挖掘系统。DARPA在继续开发第二代人工智能技术及其军事应用的同时，积极布局第三代人工智能发展，旨在通过机器学习和推理、自然语言理解、建模仿真、人机融合等方面的研究，突破人工智能基础理论及核心技术。相关项目包括“机器常识”“终身学习机”“可解释的人工智能”“可靠自主性”“不同来源主动诠释”“自动知识提取”“确保AI抗欺骗可靠性”“加速人工智能”“基础人工智能科学…机器通用感知”“利用更少数据学习”“以知识为导向的人工智能推理模式”“高级建模仿真工具”“复杂混合系统”“人机交流…人机共生”等。 开发可操作的人工智能系统所需的第一步是回答以下问题：必须在哪种边界条件下解决哪个任务。首先要明确系统的预期输入以及它们的分布，并估算系统针对这些输入的性能水平，具体包括：（1）准确性或其他适当的指标，以评估系统输出结果的正确性；（2）鲁棒性或健壮性指标，以评估系统输出结果的可信度；（3）计算代价指标，以评估系统对计算资源的限制，系统在不同平台实现的功耗和通信约束；（4）模块化指标，以评估系统是否可以进行任务分解。希望得到的模块与整体式端到端系统相比，它的复杂性更低，便于解释和监测。
随着人工智能的飞速发展，其安全问题也显得尤为重要3,6】。为了从信息计算安全的角度评估人工智能系统，通常设立机密性、完整性和可用性三个主要的安全目标问。机密性的定义为确保人工智能机
器学习系统的组件（数据，算法，模型）只能由授权方访问，防止未经授权访问数据，例如成功的攻击可能在预测中发现训练数据。完整性的定义是确保人工智能机器学习系统只能由授权方修改，保证数据完整、正确且未被篡改。可用性的定义是确保授权方可以访问系统，保证信息计算服务或数据始终可以按预期使用。
2.2多模态图像智能目标识别系统安全风险
作为人工智能技术的典型应用之一，多模态图像智能目标识别系统同样面临多样化的安全风险。多模态图像智能目标识别系统在军事上的应用面临着诸多安全性和可靠性的挑战，主要可分为两大类：内部的可靠性问题和外部的攻击利用问题。
人工智能图像识别系统不能向操作人员解释决策过程［7］。军事活动的高风险意味着人工智能军事图像识别系统必须透明，以取得决策者的信任并便于进行风险分析。然而，现有的许多图像识别技术都缺乏足够透明性的黑盒，机器学习模型的透明性和可解释性不足。例如，利用深度神经网络对图像识别问题和自动控制问题进行建模时，需要数十万到数百万个量级的参数，复杂程序不容易解释。
人工智能军事图像识别系统必须鲁棒可靠，但现有的识别技术则可能易受难以察觉的输入数据操控攻击的影响，输入数据操控方甚至不需要了解所用的人工智能图像识别技术®刃。使用机器学习开发的深度学习模型在面对对手攻击时十分脆弱，攻击者通过操控输入信号，很容易欺骗基于深度学习的模
型。例如，攻击者利用精心设计的地面伪装模型就可能欺骗使用了先进目标探测技术的无人机。这类攻击按照发起攻击时需要先验知识的多少可以分为黑盒式攻击和白盒式攻击。在黑盒式攻击中，攻击者无法直接访问训练图像数据，不了解所使用的目标识别算法，也无法访问模型的源代码，攻击者仅能查询识别模型并观察模型响应。在白盒式攻击中，攻击者了解算法或能够访问模型源代码。
3人工智能图像识别对抗攻防技术
3.1系统潜在攻击面
根据数据处理过程和信息流向来看，人工智
10国防科技2021年第2期（总第327期）
能系统通常包括传感器数据采集或数据输入、数 据预处理、数据建模与分析和信息输出四个关键 步骤，每个步骤都可能面临潜在攻击⑶。（1 ）传 感器数据采集攻击：攻击者采用特定的方式对传
感器的数据采集环节进行干扰，从系统输入源头
发动攻击。例如，在光学成像中，攻击者可以通 过布置特定的反光阵列进行光路攻击；在雷达成
像中，攻击者可以设置不同的干扰样式进行对抗
压制干扰和欺骗干扰。（2）数据预处理攻击：传 感器采集的大规模原始数据在进行目标识别和
信息提取前，还需要进行一系列的校正和预处理
操作，多模态图像数据在进行各种预处理过程中
会产生新的安全风险。例如，针对图像识别模型
的重采样攻击，只有在特定空间分辨率时，攻击
的信息才会被发现。（3）数据建模与分析攻击：
针对数据建模在理论上存在的不完备性和模型
学习过程中数据覆盖的不全面性进行攻击，设计
针对性算法，通过估计模型的梯度参数和决策边
界信息，迭代优化实现模型攻击。（4）信息输出
攻击：许多人工智能系统输出接口会反馈多种信 息，攻击者通过分析输出信息可以开展模型逆向
攻击和模型提取攻击，实现对系统的干扰控制。
3.2对抗样本攻击技术
现有研究表明何，多模态图像智能目标识别 系统存在对抗脆弱性。对正常输入的样本图像添
加人眼无法察觉的微小扰动时，可以大大降低深
度识别模型的正确率。人工智能图像识别对抗攻
击最常见的形式是针对深度学习模型的对抗样
本生成攻击技术。深度神经网络在图像识别任务 上取得了巨大进展，在雷达图像、光学图像等领
域，其性能已明显优于传统方法，但深度神经网
络模型的鲁棒性问题和可解释性问题给模型的
部署带来了极大的安全隐患。抗样本攻击深度图 像分类网络过程示意图如图1所示，在原始图像
上添加肉眼不可见的噪声，便很容易欺骗深度学
习模型，使得深度图像分类网络输出的置信度发 生巨大改变。通常可采用网络可视化技术定性分 析原始图像与对抗样本在网络不同层的特征表
示变化，也可采用识别正确率、图像失真程度等
指标量化分析对抗样本攻击性能。
根据对抗扰动攻击目标和难度不同，可将对 抗样本攻击技术分为三类。（1 ）减小置信分数。
减小深度学习模型的识别置信度，使得深度神经
网络的识别结果不明确。（2）错误识别。造成深
度神经网络的识别结果错误，例如将导弹车辆识 别为其他类别。（3）定向错误识别。指定特定类 别识别输出的攻击，也称为定向攻击，例如将所
有的军事目标都识别为水体。
根据对抗攻击所利用的信息量的不同，可将
对抗样本攻击技术分为三类。（1 ）网络结构信息。
攻击者可以获得被攻击模型的网络结构、模型参
数、优化方法及数据集合等所有信息。（2）训练
太阳能电池背板
样本信息。攻击者可以获取用于训练被攻击模型
的训练样本集合。（3）识别结果信息。攻击者无
原始图像
对抗扰动
对抗攻击鲁棒 性评估
识别结果
对抗样本
深度识别网络识别结果
图1对抗样本攻击深度图像分类网络过程示
意图
拓世英，等：多模态图像智能目标识别对抗攻击
11
法获得关于被攻击模型的结构和参数信息，无法
访问训练样本数据，仅可以构造不同的输入数 据，观测系统的识别输出结果。
人工智能图像识别系统模型学习的不同阶
段，面临攻击类型也存在差异。在数据收集阶段，
攻击者可以直接获取数据。在训练阶段，攻击者
可以对训练过程进行干预，收集中间结果，进行 模型倒推和成员推断。在预测阶段，攻击者可以
访问模型，提取其他辅助信息，进行模型倒推和 模型参数提取。在预测阶段多模态图像对抗攻击 的可视化分析结果如图2所示，网络模型采用
VGG16，采用梯度回传类别激活可视化方法对模
型的第3、8、15、22、29层激活情况进行可视化
展示，采用三类不同方式进行定向攻击。图2 (a)
中，车辆图像切片BTR70攻击在合成孔径雷达 图像上被识别为ZIL131；图2 (b)中，高速道
路图像切片攻击在光学图像上被识别为建筑物。
3.3对抗样本防御技术
对抗样本攻击技术的不断发展促使研究者 开始关注如何检测对抗样本和抵御对抗攻击，从
而避免基于深度神经网络的新一代图像识别系
统出现识别错误。在训练阶段的防御主要是针对 网络模型，常用的防御方法包括修改网络、使用
附加网络或者改进网络的训练方法，典型代表包
括防御蒸憎、正则化、深度压缩网络及防御通用
扰动。在测试阶段的防御主要是针对数据，主要
思路是修改样本，使用转换方法减小测试样本可
能存在的扰动量，典型方法包括对抗训练、输入
变换和数据压缩等。修改训练数据和测试输入的 优势是无需改动网络模型，缺点是修改数据的尺 度难以掌握。修改网络模型的优势是修改后的网
络鲁棒性好，但实现难度与花费较高。网络附加
工具的可扩展性高，但过多的附加工具会使性能
急剧下降。由于深度学习模型的理论不完整和对 抗样本机理的不明确，目前还无法做到完全的防
御。常用的对抗样本检测算法主要有鲁棒性方 法、对抗样本空间、边界倾斜、线性对抗及通用
扰动等。
3.4开放性研究问题
3.4.1 人工智能图像识别系统脆弱性归因
复杂的智能化图像识别系统通常包括百万
量级的权重参数和偏置参数，在训练过程中依赖
于标记数据和优化算法进行迭代更新。巨大的参
数组合搜索空间导致优化的模型只能在一定标
准下近似输出决策边界。基于深度神经网络的图
像识别系统的一个缺点是：输入空间的微小扰动
(a)合成孔径雷达图像攻击可视化(b)可见光图像攻击可视化
图2多模态图像对抗攻击可视化分析结
果
12国防科技2021年第2期(总第327期)
可能会导致输出结果产生巨大差异。通常，识别模型是在特定领域、特定任务中依照数据的自然分布
进行训练，然而训练数据仅仅位于输入空间的低维流形上，无法覆盖大部分的输入空间。一方面，由于输入数据在高维空间中的分布区域不同，这种学习机制会在新的测试集上导致泛化能力下降；另一方面，攻击者可以利用训练数据覆盖不足的特性，构造对抗攻击样本，造成模型识别错误。
智能sd卡
依赖于深度神经网络模型的复杂图像识别系统的另一缺点是可解释性。传统的计算机程序对于具有足够专业知识的人员来说是可理解的、具有透明性。然而，由于巨大的参数空间，复杂人工智能系统并不具备透明属性。编程者虽然可以理解算法的边界条件，但人类无法将神经网络的内部表示同其输出特性联系起来，也无法理解其特征学习和分类决策过程。从信息安全的角度来看，攻击只能是在模型行为出现错误时才可以被检测。在模型训练过程完成后，由于模型缺乏透明性，很难检测训练数据的投毒攻击和后门攻击。
智能化图像识别模型的准确性和鲁棒性高度依赖训练数据的数量和质量。只有当训练数据和测试数据间没有偏差时，系统的整体性能才能达到高水平。智能化图像识别模型并不具有智慧，仅仅是从数据中学习相关关系，但无法区分哪些是真实的因果关系，哪些是虚假的相关关系。一方面，由于缺乏计算资源和专业知识，人工智能图像识别系统的开发者通常采用开源的预训练模型，模型在优化过程中存在不可控因素。另一方面，许多应用缺乏足够多的真实样本数据，因而开发者通常根据物理过程或生成模型进行数据仿真，仿真数据与真实数据间可能存在较大的差异性，带来新的偏差。
3.4.2建立数字域对抗样本攻击的形式化理论和统一测试基准
现有对抗攻击研究通常是先提出各种对抗攻击技术，然后研究对应的防御手段，并在数字域和物理域进行验证。研究思路和研究方法都是工程驱动，缺乏必要的理论解释和理论性能预测，不利于后续进_步的深入研究［则。军队应着力研究深度学习优化理论、对抗样本解释和生成理论、对抗训练理论等形式化理论，建立数学上完备、统一的对抗攻击理论，为新一代人工智能图像识别系统在军事应用中的广泛部署奠定理论基础。此外，为避免不同平台和不同数据集评测带来的性能漂移和不一致性，还需要研究通用的测试基准平台和测试样本数据集，客观评价现有的对抗攻击和防御实验效果。
3.4.3系统自动化测试与模型鲁棒性验证
当前，人工智能图像识别系统的形式化验证方法计算复杂度高，难以应用到军事场景中部署的深度学习模型上。而底层学习方法和优化策略存在复杂的代码依赖，给系统的自动化测试带来极大的困难。军队需要研究更优的自动测试方法，提升对攻击效果的估计效果，发现识别模型可能出现的异常预测结果。此外，模型异常模式的定义、不同分类条件下的边界行为建模、自动化评测指标设计等问题还需要进一步深入研究。
4结语晶闸管调压器
随着新一代人工智能技术的不断发展，基于深度学习模型的多模态图像目标智能识别系统已逐步在军事场景中得到广泛应用，但由于深度学习理论本身的不完备性和对抗样本攻击技术的存在，系统存在
极大的安全隐患。未来战场将是复杂电磁环境下的敌我双方强对抗作战，研究多模态图像智能目标识别对抗攻击与防御技术是一个重要的课题，对军队强军备战具有重大的战略意义。
复杂电磁环境下新一代人工智能图像识别系统需要融合来自不同模态传感器的图像数据。通过开展基于领域知识图谱嵌入、多粒度知识深度迁移、鲁棒对抗样本防御的多模型融合新方法研究，充分挖掘先验领域知识，建立模型驱动的多任务深度学习模型，才能够提升学习模型的可解释性和透明性，以及识别系统在智能化对抗场景中的准确性和安全性。
参考文献
氟橡胶成分分析［1］金亚秋.多模式遥感智能信息与目标识别：微波视觉的物理智能［J］.雷达学报,2019,8(6):710-716.［2］易平，王科迪，黄程，等.人工智能对抗攻击研究综述［J］.上海交通大学学报，2018,52(10):
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议