h t t p://w w w．j s j k x．c o m
D O I:１０．１１８９６/j s j k x．２１０３００３０６
到稿日期:２０２１Ｇ０３Ｇ３０㊀返修日期:２０２１Ｇ０４Ｇ２８
基金项目：国家２４２信息安全计划(２０１８Q３９)
T h i sw o r kw a s s u p p o r t e db y t h eN a t i o n a l２４２I n f o r m a t i o nS e c u r i t y P r o g r a m(２０１８Q３９)．
通信作者：贺欣(h e x i n＠c e r t．o r g．c n)
景慧昀１魏㊀薇１周㊀川２,３贺㊀欣４
１中国信息通信研究院㊀北京１０００８３
２中国科学院信息工程研究所㊀北京１０００９７
３中国科学院大学网络空间安全学院㊀北京１０００４９
４国家计算机网络应急技术处理协调中心㊀北京１０２２０９
鸡蛋托盘㊀(j i n g h u i y u n＠c a i c t．a c．c n)
㊀
摘㊀要㊀随着人工智能时代的到来，各行各业均开始结合自身业务需要部署人工智能系统，这全面加速了全球范围内人工智能规模化部署和应用进程.然而，人工智能基础设施㊁设计研发以及融合应用过程中面临的安全风险也随之而来.为了充分规避风险，世界各国纷纷采取制定人工智能伦理准则㊁完善法律法规和行业管理等方式来进行人工智能安全治理.在人工智能安全治理中，人工智能安全技术体系具有重要指导意义.具体而言，人工智能安全技术体系是人工智能安全治理的重要组成部分，是落实人工智能伦理规范和法律监管要求的重要支撑，更是人工智能产业健康有序发展的重要保障.然而，在当前阶段，全球范围内人工智能安全框架普遍缺失，安全风险突出且分立，迫切需要对人工智能各生命周期存在的安全风险进行总结与归纳.为解决上述问题，文中提出了涵盖人工智能安全目标㊁人工智能 安全分级能力㊁人工智能安全技术和管理体系的人工智能安全框架，期待为社会各界提升人工智能安全防护能力提供有益参考.
关键词：人工智能；安全框架
中图法分类号㊀T P１８３
㊀
A r t i f i c i a l I n t e l l i g e n c e S e c u r i t y F r a m e w o r k
J I N G H u iＧy u n１,W E IW e i１,Z H O U C h u a n２,３a n dH EX i n４
１C h i n aA c a d e m y o f I n f o r m a t i o na n dC o m m u n i c a t i o n sT e c h n o l o g y,B e i j i n g１０００８３,C h i n a
２I n s t i t u t e o f I n f o r m a t i o nE n g i n e e r i n g,C h i n e s eA c a d e m y o f S c i e n c e s,B e i j i n g１０００９７,C h i n a
宝商集团陕西辰济药业有限公司３S c h o o l o fC y b e r S e c u r i t y,U n i v e r s i t y o fC h i n e s eA c a d e m y o f S c i e n c e s,B e i j i n g１０００４９,C h i n a
４N a t i o n a l C o m p u t e rN e t w o r kE m e r g e n c y R e s p o n s eT e c h n i c a lT e a m/C o o r d i n a t i o nC e n t e r o fC h i n a,B e i j i n g１０２２０９,C h i n a
㊀
A b s t r a c t㊀W i t h t h ea d v e n to f a r t i f i c i a l i n t e l l i g e n c e,a l lw a l k so f l i f eb e g i nt od e p l o y a r t i f i c i a l i n t e l l i g e n c es y s t e m sa c c o r d i n g t o t h e i r o w n b u s i n e s s n e e d s,w h i c h a c c e l e r a t e s t h e s c a l e c o n s t r u c t i o n a n dw i d e s p r e a d a p p l i c a t i o n o f a r t i f i c i a l i n t e l l i g e n c ew o r l d w i d e i n a na l lＧa r o u n dw a y．H o w e v e r,t h e s e c u r i t y r i s k s o f a r t i f i c i a l i n t e l l i g e n c e i n f r a s t r u c t u r e,d e s i g n a n dd e v e l o p m e n t,a n d i n t e g r a t i o n a pＧp l i c a t i o n s a l s o a r i s e．T o a v o i d r i s k s,c o u n t r i e sw o r l d w i d e h a v e f o r m u l a t e dA I e t h i c a l n o r m s a n d i m p r o v e d l a w s a n d r e g u l a t i o n s a n d i n d u s t r y m a n a g e m e n t t o c a r r y o u t a r t i f i c i a l i n t e l l i g e n c e s a f e t y g o v e r n a n c e．I n t h e a r t i f i c i a l i n t e l l i g e n c e s e c u r i t y g o v e r n a n c e,t h e a rＧt i f i c i a l i n t e l l i g e n c e s e c u r i t y t e c h n o l o g y s y s t e m h a s i m p o r t a n t g u i d i n g s i g n i f i c a n c e．S p e c i f i c a l l y,t h ea r t i f i c i a l i n t e l l i g e n c es e c u r i t y t e c h n o l o g y s y s t e mi s a ne s s e n t i a l p a r t o f a r t i f i c i a l i n t e l l i g e n c e s e c u r i t yg o v e r n a n c e,c r i t i c a l s u p p o r t f o r i m p l e m e n t i n g a r t i f i c i a
l i nＧt e l l i g e n c e e t h i c a l n o r m s,m e e t i n g l e g a l a n d r e g u l a t o r y r e q u i r e m e n t s．H o w e v e r,t h e r e i s a g e n e r a l l a c ko f a r t i f i c i a l i n t e l l i g e n c e s e c uＧr i t y f r a m e w o r k i n t h ew o r l da t t h e c u r r e n t s t a g e,a n d s e c u r i t y r i s k s a r e p r o m i n e n t a n ds e p a r a t e d．T h e r e f o r e,i t i su r g e n t t os u mＧm a r i z e a n d c o n c l u d e t h e s e c u r i t y r i s k s e x i s t i n g i ne a c h l i f e c y c l e o f a r t i f i c i a l i n t e l l i g e n c e．T o s o l v e t h e a b o v e p r o b l e m s,t h i s p a p e r p r o p o s e s a nA I s e c u r i t y f r a m e w o r k c o v e r i n g A I s e c u r i t y g o a l s,g r a d e d c a p a b i l i t i e s o fA I s e c u r i t y,a n dA I s e c u r i t y t e c h n o l o g i e s a n d m a n a g e m e n t s y s t e m s．I t l o o k s f o r w a r d t o p r o v i d i n g v a l u a b l e r e f e r e n c e s f o r t h e c o m m u n i t y t o i m p r o v e a r t i f i c i a l i n t e l l i g e n c e＇s s a f e t y a n d p r o t e c t i o n c a p a b i l i t i e s．
K e y w o r d s㊀A r t i f i c i a l i n t e l l i g e n c e,S e c u r i t y f r a m e w o r k
㊀
１㊀人工智能安全风险
结合人工智能系统设计运营等全流程，详尽剖析人工智能系统在各生命周期阶段面临的安全风险，将有助于分析定位风险来源，研究和部署针对性的安全防御理论和技术.国际标准化组织(I S O)开展了«
人工智能系统生命周期过程»标
准项目，将人工智能系统全生命周期概括为初始㊁设计研发㊁检验验证㊁部署㊁运行监控㊁持续验证㊁重新评估㊁废弃８个阶段.基于I S O对人工智能系统全生命周期的划分，项目组描绘出了人工智能生命周期安全风险地图，如图１所示.
图１㊀人工智能风险地图
F i g．１㊀S e c u r i t y r i s km a p o f a r t i f i c i a l i n t e l l i g e n c e １．１㊀初始阶段安全风险
初始阶段指将想法转化为有形系统的过程，主要包括任务分析㊁需求定义㊁风险管理设计等过程.这个阶段的安全风险主要表现为对人工智能应用目标的设定有悖国家法律法规和社会伦理规范.
１．２㊀设计研发阶段安全风险
设计研发阶段指完成可部署人工智能系统创建的过程，主要包括确定设计方法㊁定义系统框架㊁编写软件代码㊁风险
管理等过程.这个阶段的安全风险主要表现为人工智能基础设施不完善㊁技术脆弱性[１Ｇ２]以及因设计研发有误等引发的安全风险.２０２０年９月，安全厂商３６０公开披露谷歌开源框架平台T e n s o 废水处理有机系统
r F l o w存在２４个安全漏洞[３].开源数据集以及提供数据采集㊁清洗㊁标注等服务的人工智能基础数据设施面临训练数据不均衡㊁个人隐私泄露等安全风险. １．３㊀检验验证阶段安全风险
检验验证阶段主要负责检查人工智能系统是否按照预期要求工作以及是否完全满足预定目标.这个阶段的安全风险主要表现为测试验证不充分㊁未能及时发现和修复前序阶段的安全风险[１Ｇ２].
１．４㊀部署阶段安全风险
部署阶段指在目标环境中安装和配置人工智能系统的过程.这个阶段的安全风险主要表现为部署人工智能系统的软硬件环境不可信，系统可能遭受非授权访问和非授权使用[４Ｇ５].
１．５㊀运行监控阶段安全风险
运行监控阶段主要包括针对人工智能系统的运行监控㊁维护升级等过程.这个阶段的安全风险主要表现为恶意攻击者对人工智能系统发起的对抗样本[６]㊁算法后门[７]㊁模型窃取[８]㊁模型反馈误导㊁数据逆向还原㊁成员推理[９Ｇ１０]㊁属性推断㊁代码漏洞利用等安全攻击，以及人工智能系统遭受滥用或恶意应用的风险.例如，在针对亚马逊和谷歌的在线人工智能分类任务进行黑盒对抗攻击时，研究者对窃取到的替代模型生成白盒对抗攻击样本，使用该样本使得亚马逊和谷歌的分类模型分别出现９ ６．１９％和８８．９４％的误判率[１１].１．６㊀持续验证阶段安全风险
在持续验证阶段，针对持续学习的人工智能系统进行持续检验验证.这个阶段的安全风险主要表现为测试验证数据更新不及时㊁未及时发现和修复因持续学习引入的模型反馈误导等.
１．７㊀重新评估阶段安全风险
当初始目标无法达到或者需要修改时，进入重新评估阶段.该阶段主要包括设计重定义㊁需求重定义㊁风险管理重设计等过程，其安全风险与初始阶段的安全风险类似，即人工智能应用目标的设定有悖国家法律法规和社会伦理规范.
１．８㊀废弃阶段安全风险
在废弃阶段，销毁使用目的不复存在或者有更好替代方案的人工智能系统，主要包括数据㊁算法模型以及系统整体的废弃销毁过程.这个阶段的安全风险主要表现为销毁不彻底㊁泄露个人隐私[１２].
２㊀人工智能安全框架
２．１㊀设计思路
２．１．１㊀框架范围
本框架聚焦于人工智能内的安全，重点关注解决人工智能基础设施和设计研发面临的安全风险，以及因上述安全问题直接引发的人工智能应用发生行为决策失控的安全风险.对于因滥用或者恶意使用人工智能应用而导致的物理世界和
２C o m p u t e r S c i e n c e计算机科学V o l．４８,N o．７,J u l y２０２１
社会安全风险，主要由国家法律法规和行业监管政策对使用者予以规制.２．１．２㊀核心要素
基于人工智能安全框架应遵循实用性㊁前瞻性和整体性
透风窗原则，从以下３个方面构建人工智能安全框架.
(１
)明确人工智能安全目标是前提.本框架通过全面分析人工智能应用面临的安全风险，提出了人工智能安全目标，为人工智能安全防护工作的实施指明了方向.
(２)构建人工智能安全能力是关键.为实现人工智能安全目标，本框架以建设人工智能安全能力为导向，参考网络安全
滑动标尺[１３
]，提出了人工智能安全能力分级叠加演进模型.
(３
)部署安全技术措施和落实安全管理是重要保障.为帮助人工智能应用研发运营企业有效形成和持续提升人工智能安全能力，提出了支撑人工智能安全能力的人工智能安全技术体系和管理体系.
综上所述，人工智能安全框架的构建包含安全目标㊁安全能力㊁安全技术和安全管理４个维度，需要从４个不同的层面指导企业开展人工智能安全防护工作.２．２㊀安全框架
人工智能安全框架包含安全目标㊁安全能力㊁安全技术和安全管理４个维度，如图２所示.这４个防护维度基于自顶向下㊁层层递进的方式指导企业构建人工智能安全防护体系.
其中，设定合理的安全目标是保障人工智能应用安全的起点和基础，安全能力是实现安全目标的有效保障，安全技术和安全管理是安全能力的支撑和体现
.
图２㊀人工智能安全框架
F i g ．２㊀A r t i f i c i a l i n t e l l i g e n c e s e c u r i t y f
r a m e w o r k ２．２．１㊀安全目标
通过系统地分析人工智能面临的安全风险及其产生根
源，从应用㊁功能㊁数据㊁决策㊁行为㊁事件６个方面提出安全需求和目标.
(１
)应用合法合规.人工智能已在交通㊁医疗等领域展现出了强大的能力.滥用或恶意使用人工智能应用将会给物理世界和社会带来巨大的负面影响.因此，首先应确保人工智能系统应用目标符合国家法律法规和社会伦理规范要求.(２
)功能可靠可控.人工智能技术正逐渐应用于智慧医疗㊁无人驾驶等安全关键性场景，人工智能的稳健可靠愈加重
要.然而，对抗样本[１]㊁算法后门[２]
等新型安全攻击方式，可
通过实时修改输入数据诱使人工智能应用产生非预期的错误输出.因此，应当确保人工智能系统各项功能在规定的运行条件和时间周期内始终产生预期的行为和结果，且一直处于人类操作员的控制之下.
(３
)数据安全可信.数据是人工智能的基石，人工智能从数据中汲取知识的同时，也面临着数据泄露[１４]
㊁数据偏见㊁数据投毒[１５]
等诸多安全隐患.因此，应确保人工智能应用收
集㊁使用㊁存储的数据不被窃取，不会泄露用户隐私且不被篡改，能够真实反映物理世界和人类社会的情况.
(４
)决策公平公正.智能风控㊁智能招聘等人工智能应用正逐步辅助甚至替代人类进行关键决策.训练数据
失衡㊁算法设计有误等原因可能导致人工智能应用产生带有偏见歧视的决策，从而损害社会的公平和正义.因此，应确保人工智能应用兼顾各类体的特征信息，不会对特定的人或体做出带有歧视和偏见的决策.
(５
)行为可以解释.深度神经网络等人工智能算法的 不可解释性 导致人们不仅无法解释算法做出某项决策的原因，也无法理解其内部运行原理和发现定位存在的问题.人
工智能可解释性[１６Ｇ１８]为诊断㊁发现㊁修复算法模型内在缺陷
提供指导，是人工智能安全的基础.因此，应确保人工智能应用以人类可以理解的方式对其行为和结果提供合理㊁准确的解释.
(６
)事件可以追溯.人工智能算法的 不可解释性 为人工智能安全事件的产生原因㊁行为主体等溯源要素分析带来挑战，传统安全审计方法无法胜任.因此，人工智能应用应根据业务场景量体裁衣，完善追溯体系，部署对安全事件产生的原因㊁发生环节㊁行为主体等进行有效追踪溯源的技术措施.２．２．２㊀安全能力
按照安全能力建设难度逐级递增以及安全资源投入产出比逐级递减的方式，参照网络安全滑动标尺模型，提出架构安全㊁被动防御㊁主动防御㊁威胁情报和反制进攻５级人工智能安全能力.前一级安全能力是构建后续级别安全能力的基础，其中第一级架构安全旨在指导企业建立用安全思维规划㊁设计㊁建设和使用人工智能应用的能力.第二级安全能力是被动防御，旨在指导企业在人工智能应用之外部署静态㊁被动式的安全能力.第三级安全能力是主动防御，旨在指导企业强化人工智能安全团队，实现动态㊁自适应㊁自生长的安全能
力.第四级安全能力是威胁情报，旨在指导企业获取和使用人工智能安全威胁情报以赋能人工智能安全系统㊁设备和人
３
景慧昀，等：人工智能安全框架
员.第五级安全能力是反制进攻，旨在指导企业建立针对人工智能恶意攻击者的合法反制能力.
(１)架构安全
架构安全指用安全思维规划㊁设计㊁建设和使用人工智能应用，以提升其内生安全的能力，主要包括以下５个方面.１)合规性评估.在初始需求分析阶段，结合具体业务场景，评估人工智能应用的目标及
实现方式是否符合国家法律法规㊁行业监管政策以及伦理规范.
２)业务安全性保障.在人工智能应用的业务层部署访问控制㊁安全隔离㊁安全熔断㊁安全冗余㊁安全监控等机制，保障在遭遇安全攻击等突发情况下人工智能应用仍能安全运行.例如，在自动驾驶汽车中部署安全分级回落机制，保障危险情况下汽车控制权被及时交还给人类.
３)算法安全性增强.通过改进算法训练方法㊁调整算法模型结构等方式，来增强算法鲁棒性㊁可解释性和公平性等.例如，可通过对抗训练[６]㊁模型正则化[１９]等方式提升算法的鲁棒性.
４)数据安全性提升.通过数据隐私计算㊁问题数据清洗处理等方式，提升数据自身机密性㊁可用性.例如，可通过差分隐私[２０]㊁同态加密[２１]㊁联邦学习[２２]等技术提升数据的机密性.
５)框架平台安全检测修复.对来自第三方的预训练模型和机器学习开源框架平台进行安全检测，并对发现的安全问题及时进行修复，以提前感知风险，降低安全事件发生的概率.例如,M i n d S p o r e[２３]具有完善的漏洞管理流程，能够快速响应新提交的安全漏洞问题.
(２)被动防御
被动防御指针对人工智能的新型安全攻击，在人工智能应用之外部署静态㊁被动式的安全能力，主要包括以下３个方面.１)恶意行为发现.通过分析提炼针对人工智能的新型安全攻击和恶意应用行为特征，
实时对人工智能应用的外部访问㊁输入数据㊁行为决策等进行检测，及时发现对抗样本[６]㊁算法后门[７]㊁模型窃取[８]㊁深度伪造[２４]等安全攻击和恶意应用行为.例如，在人工智能应用外部增加检测组件或模型，利用正常样本和对抗样本在特征空间中的差异检测来对抗样本攻击.
２)算法安全防护.在人工智能算法模型外部部署安全防护组件，通过运用算法知识产权保护㊁问题数据重构㊁算法安全评测等措施，帮助人工智能应用有效抵御对抗样本[６]㊁模型窃取[８]等算法的安全攻击.例如，利用问题数据重构技术，在尽量保留原有图像语义的情况下，破坏攻击者恶意添加的扰动，从而达到防御对抗样本攻击的目的.
３)数据安全防护.在人工智能应用外部部署安全防护组件，通过数据追踪溯源㊁数据安全评测等措施，帮助人工智能应用更有效地抵御训练数据投毒㊁数据逆向还原㊁成员推理[９Ｇ１０]等数据安全攻击.例如，利用数据安全标签技术，可及时发现被恶意篡改的数据达到防御训练数据投毒攻击的目的.
(３)主动防御
人工智能安全攻防技术正处于快速演化的过程，被动安全防御难以有效应对不断推陈出新的安全攻击手段.为弥补静态被动式防御的局限性，主动防御旨在引入和强化人工智能安全团队力量，实现动态㊁自适应㊁自生长的安全能力，主要包括以下４个方面.
大体积混凝土降温
１)持续安全监测.在人工智能应用运行过程中，借助人工智能安全专家力量持续监测应用运行状况以及安全状态，给出应用当前的安全风险级别，并对应用运行异常及时告警.２)安全事件分析.在人工智能应用发生数据泄露㊁行为失控等安全事件时，引入人工智能安全专家力量，及时分析研判事件的影响范围㊁严重程度㊁发生原因等.
３)安全防御响应.在安全事件发生时，综合利用各类安全防御技术，及时对安全事件进行响应处置，并恢复人工智能应用的正常运行.
４)安全威胁预测.运用人工智能㊁大数据分析等技术，实现从历史数据中感知预测未知安全威胁.
(４)威胁情报
充分利用威胁情报信息进一步提升和扩展主动防御效能.威胁情报指获取和使用人工智能安全威胁情报，赋能人工智能安全系统㊁设备和人员，主要包括以下３个方面.１)情报管理.人工智能安全专家综合利用各类技术措施完成威胁情报的获取㊁分拣㊁分析㊁评级㊁分类等综合管理.２)情报消费.人工智能安全专家综合运用威胁情报实现未知威胁挖掘㊁系统防御策略更新以及安全设备能力增强.３)情报产生.人工智能安全专家综合运用各类技术措施实现从各类公开数据资源中分析获取有关安全风险和威胁的知识.
(５)反制进攻
反制进攻指针对人工智能恶意攻击者的合法反制能力，主要包括以下两个方面.
１)安全事件追溯.在安全事件发生时，确保所发生的安全事件能够追溯到相关实体以支撑后续的法律权益维护.２)法律权益维护.出于自卫的目的，运用法律手段对攻击者采取反击行为.
２．２．３㊀安全技术
人工智能业务㊁算法㊁训练数据和机器学习框架平台是构建人工智能应用的４个核心组件，也是人工智能安全的重点防护对象.因此，本框架针对业务㊁算法㊁数据和平台提出安全防护技术手段.
２．２．４㊀安全管理
人工智能安全管理体系中，国家政府发挥着领导性作用，体现在统领管理机构的设立㊁法律法规的研制㊁监管政策的制定㊁技术标准的研发等方面.企业应当在充分理解并遵守人工智能安全管理规则的基础上，不断完善人工智能安全管理组织机构配置㊁制度流程和提升人员能力.本文聚焦于企业层面安全管理体系，主要包括以下３个方面.
(１)建立安全管理组织架构.企业设立或指定相关部门负责人工智能安全管理以及执行工作，明确岗位职责与人员分配.
(２)增强安全管理人员能力.增强和扩大人工智能安全专业人才队伍，提升从业人员的专业技能.工业数据采集控制
４C o m p u t e r S c i e n c e计算机科学V o l．４８,N o．７,J u l y２０２１
(３)制定安全管理流程制度.制定人工智能安全总纲㊁人工智能安全管理制度和办法，以及面向人工智能应用各生命周期的安全操作流程规范.
３㊀人工智能安全技术
近期，人工智能安全领域受到了全球的重点关注，已在算法鲁棒性增强㊁可解释性提升以及算法安全攻击检测和防御技术等方面取得了局部突破，可支撑实现在人工智能安全分级能力模型中架构安全和被动防御初始两级的安全能力.然而，对于主动防御㊁威胁情报和反制进攻这三级所需的人工智能安全理论和技术仍待学术界和工业界进一步联合创新攻关.人工智能安全技术图谱如图３所示.
图３㊀人工智能安全技术图谱
F i g．３㊀A r t i f i c i a l i n t e l l i g e n c e s e c u r i t y t e c h n o l o g y a t l a s ３．１㊀业务安全技术
业务安全技术指在人工智能业务层部署的安全防御技术，主要包括以下４个方面.
(１)业务合规性评估.基于国家法律法规㊁行业监管政策以及人工智能伦理规范等针对人工智能技术和
应用提出的安全要求，由人工智能安全专家对企业研发的面向具体业务场景的人工智能系统的应用目标和方式进行合规性评估.
(２)安全攻击检测.通过对人工智能应用的输入数据㊁访问行为㊁输出结果等方面进行综合分析，持续检测人工智能应用可能遭受的安全攻击，及时发现安全事件，支撑后续的安全事件响应处理.这一部分包含对抗样本检测[２５Ｇ２７]㊁模型后门检测[２８Ｇ２９]㊁成员推理检测㊁属性推断检测㊁数据逆向还原检测与模型窃取检测[８,３０].
目前，对于成员推理㊁属性推断㊁数据逆向还原等安全攻击，由于缺乏相关攻击的大量公开可用攻击技术手段，目前针对这些安全攻击的检测技术的方法研究尚未获得广泛关注.
(３)恶意应用检测.综合运用多媒体分析识别㊁数字取证等技术对虚假伪造信息生成㊁验证码绕过等人工智能恶意应用行为进行分析识别，例如针对深度合成图像D e e p f a k e的研究获得了广泛的关注[３１Ｇ３２].
(４)业务安全机制.综合运用身份验证㊁访问次数限制㊁模块隔离㊁多级安全机制㊁系统监测等传统网络安全技术措施，实现业务访问控制㊁安全隔离㊁安全熔断和安全监控等安全机制.例如，讯飞㊁商汤等人工智能开放平台实施了对用户调用语音识别算法的单日访问次数和每秒访问频率进行限定的安全防护措施.
３．２㊀算法安全技术
算法安全技术指针对人工智能算法部署的安全防御技术，主要包括以下５个方面.
(１)算法鲁棒性增强.人工智能算法模型的鲁棒性主要面临两个方面的挑战.一是正常环境扰动对算法模型鲁棒性的影响，例如拍摄光线亮度㊁角度㊁距离等都对机器视觉算法的鲁棒性造成了挑战.二是恶意攻击者对训练数据和运行输入数据进行的特定扰动对算法模型鲁棒性产生影响，例如训练数据投毒㊁对抗样本攻击等均可导致人工智能算法模型产生错误输出.综合运用数据增强㊁鲁棒特征学习㊁模型随机化㊁模型正则化等方法，能够有效提升人工智能算法模型的鲁棒性.例如,M a d r y等[３３]将对抗样本数据与真实数据混合后进行对抗训练，可大幅提升模型应对对抗样本攻击的能力，进而提升模型鲁棒性.
(２)算法公平性保障.在算法层面实施的保障公平性的技术措施主要有两类.一是改进人工智能算法自身，例如通过对算法附加公平性约束条件㊁减少算法对敏感属性的依赖㊁偏见后处理等方法增强算法自身的公平性.二是开展人工智能算法公平性审计，设计算法公平性审计数据集和审计指标，客观评价算法的公平性.例如,B o s e等[３４]针对现有的图嵌入算法无法处理公平约束的问题，在确保学习表示与敏感属性不相关的条件下，通过引入对抗框架来对图嵌入进行公平性约束，使用复合框架去除掉更多的敏感信息.G o o g l e开源的T e n s o r F l o w C o n s t r a i n e d O p t i m i z a t i o n也提供了相应的功能可供开发者调用.
(３)算法可解释性提升.提升人工智能算法可解释性的方法主要有两类.一是算法模型自身可解释，对于已经训练好的算法，模型无需额外的信息就可以理解模型的决策过程或决策依据，如朴素贝叶斯㊁线性回归㊁决策树㊁基于规则的模型等.二是算法模型事后解释技术[３５]，即利用解释方法或构建解释模型对已经训练好的算法模型的工作机制㊁决策行为和决策依据进行解释.例如,L i u等[３６]利用模型蒸馏技术将复杂模型学习的函数压缩为更小更快的模型，以降低模型的复杂度，进而更好地对算法进行解释.Y a n g等[３７]通过从受训神经网络中提取隐含单元㊁输出单元等单个单元层次上的规则来解释复杂模型决策逻辑.
５
景慧昀，等：人工智能安全框架
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议