0x00
⼈⼯智能⼴泛渗透于我们的⽣活场景中，随处可见。⽐如⼈脸识别解锁、⼈脸识别⽀付、语⾳输⼊，输⼊法⾃动联想等等，不过这些场景其实传统的模式识别或者机器学习⽅法就可以解决，⽬前来看真正能代表⼈⼯智能最前沿发展的莫过于深度学习，尤其是深度学习在⽆⼈驾驶、医疗决策（如通过识别拍⽚结果诊断是否有相应疾病）领域的应⽤。
不过深度学习存在所谓的⿊箱问题，由此带来了不可解释性，⽽这⼀点如果不能解决（事实上⽬前为⽌还没有很好解决）将会导致在深度学习在对安全性很敏感的领域中应⽤的受限。⽐如将其应⽤在医疗领域时，深度学习系统根据医学影像判断病⼈为癌症，但是不能解释为什么给出这个判断，⽽⼈类医学专家认为不是癌症，那么这时存在两种情况，⼀种是深度学习系统错了；第⼆种则是专家错了，可是由于系统⽆法给出解释，所以专家未必采纳系统意见，则造成病⼈的损失。⽆论是哪种情况，都可以看到不解决深度学习的可解释性问题，其未来的应⽤发展是⼀定会受到限制的。
本⽂的安排如下，在0x01会介绍深度学习相较于传统⽅法的特点；0x02⾄0x04会介绍深度学习的不可解释性，进⽽引出业界对为了实现可解释性做出的⼯作，其中在0x02会介绍设计可解释模型⽅⾯的⼯作，在0x03介绍将可解释性引⼊已有模型的⼯作，0x04会介绍可解释性与深度学习安全性的关系。在0x05将 会介绍模型的鲁棒性及相关研究，在0x06部分从模型、数据、承载系统三⽅⾯展开深度学习⾃⾝安全性问题的阐述。
苏州教育学院学报0x01
在0x00中我们谈到了⼈⼯智能、模式识别、机器学习、深度学习，这四个领域其实都是相互联系的。
我们先来进⾏简单的区分。后三者都是实现⼈⼯智能的途径，其中我们特别需要把深度学习与模式识别、机器学习这两个领域区分开来。
所谓模式识别就是通过计算机⽤数学技术⽅法来研究模式的⾃动处理和判读。我们把环境与客体统称为“模式”。随着计算机技术的发展，⼈类会研究复杂的信息处理过程，⼀个重要形式是⽣命体对环境及客体的识别。以光学字符识别之“汉字识别”为例：⾸先将汉字图像进⾏处理，抽取主要表达特征并将特征与汉字的代码存在计算机中。就像⽼师教我们“这个字叫什么、如何写”记在⼤脑中。这⼀过程叫做“训练”。识别过程就是将输⼊的汉字图像经处理后与计算机中的所有字进⾏⽐较，出最相近的字就是识别结果。这⼀过程叫做“匹配”。www.bf99
机器学习的流程也与此类似，这⾥不展开，接下来看看深度学习。
深度学习其是机器学习中⼀种基于对数据进⾏表征学习的算法。观测值（例如⼀幅图像）可以使⽤多种⽅式来表⽰，如每个像素强度值的向量，或者更抽象地表⽰成⼀系列边、特定形状的区域等。⽽使⽤某些特定的表⽰⽅法更容易从实例中学习任务（例如⼈脸识别）。
从上⾯的描述中我们可以看到深度学习是机器学习的⼀个分⽀，不过其最明显的特点在于会对数据进⾏表征学习。表征学习的⽬标是寻求更好的表⽰⽅法并创建更好的模型来从⼤规模未标记数据中学习
这些表⽰⽅法。可以看到，相⽐于传统的模式识别、机器学习需要⼿⼯提取特征，深度学习最⼤的优势是可以⾃动从数据中提取特征。
举个例⼦，使⽤机器学习系统识别⼀只狼，我们需要⼿动提取、输⼊我们⼈类可以将动物识别为狼的特征，⽐如体表⽑茸茸、有两只凶狠的眼睛等；⽽使⽤深度学习系统，我们只需要将⼤量的狼的图⽚输⼊系统，它就会⾃动学习特征。
0x02
深度学习的优点在于学习能⼒强、覆盖范围⼴、数据驱动，其缺点在于计算量⼤、硬件需求⾼、模型设计复杂。这是事实，但是作为安全研究⼈员，我们更需要关注的不是怎么搭房⼦（怎么设计深度学习系统），⽽是怎么拆房⼦（如何对其进⾏攻击）以及如果搭更坚固的房⼦（如何进⾏针对性防御）。
这⾥⾮常关键的⼀点，就是模型的可解释性问题。7900gtx
还是以前⾯设计识别狼的⼈⼯智能系统为例，在Macro[3]等⼈研究的⼯作中发现，深度学习系统会将西伯利亚哈⼠奇识别为狼，最后到的原因是因为在训练系统时，输⼊的狼的图⽚上的背景⼤多是皑皑⽩雪，使得系统在⾃动提取特征时将⽩雪背景作为了识别狼的标志。所以当我们给出⼀张西伯利亚
哈⼠奇的图⽚（如下右图所⽰）时，就会被系统识别为狼。下左图为通过LIME的解释性⽅法说明是系统做根据背景中的⽩雪做出判断的。
武汉职业技术学院图书馆
可以看到，系统使⽤了图⽚的背景并完全忽略了动物的特征。模型原本应该关注动物的眼睛。
相似的案例还有不少，⽐如特斯拉在佛罗⾥达州发⽣的事故[4]。
2016年5⽉，美国佛罗⾥达州⼀位男⼦驾驶开启⾃动驾驶模式后，特斯拉Model S撞上⼀辆正在马路中间⾏驶的半挂卡车，导致驾驶员当场死亡。事后排查原因时发现，主要是因为图像识别系统没能把货车的⽩⾊车厢与⼤背景中的蓝天⽩云区分开导致的，系统认为是卡车是蓝天⽩云时就不会⾃动刹车进⽽引发了事故。
这充分说明深度学习的可解释性的重要。
深度学习缺乏可解释性，其原因是因为其⿊箱特性。我们知道在神经⽹络计算过程中会⾃动从原始数据中提取特征并拆分、组合，构成其判别依据，⽽我们⼈类却可能⽆法理解其提取的特征。进⼀步地，当模型最后输出结果时，它是根据哪些⽅⾯、哪些特征得到这个结果的也就是说，对于我们⽽⾔该过程是不可解释的。
奥克洛铀矿事实上，不论⼯业界还是学术界都意识到了深度学习可解释性的重要性，《Nature》《Science》都有专题⽂章讨论，如[5][6],AAAI 2019也设置了可解释性⼈⼯智能专题[7]，DARPA也在尝试建⽴可解释性深度学习系统[8]
就⽬前研究现状来看，主要可以分为2个⽅⾯。小麦纤维素
⼀⽅⾯是设计⾃⾝就带有可解释性的模型，另⼀⽅⾯是使⽤可解释性技术来解释已有的模型。
在前⼀⽅⾯，已有的研究主要可以分为三类。
1）⾃解释模型
这主要在传统的机器学习算法中⽐较常见，⽐如1）在Naive Bayes模型中，由于条件独⽴性的假设，
我们可以将模型的决策过程转换为概率运算[10]；2）在线性模型中，基于模型权重，通过矩阵运算线性组合样本的特征值，展现出线性模型的决策过程[11]；3）在决策树模型中，每⼀条从根节点到不同叶⼦节点的路径都代表着不同的决策规则，因为决策结果实际是由⼀系列If-then组成的决策规则构造出来的[12]，下图就是参考⽂献[12]中举的⼀个决策树判别实例
2）⼴义加性模型
⼴义加性模型通过线性函数组合每⼀单特征模型得到最终的决策形式，⼀般形式为g(y)= f1(x1)+ f2(x2)+… + fn(xn)，其特点在于有⾼准确率的同时保留了可解释性。由其⼀般形式可以看到，因为我们是通过简单的线性函数组合每⼀个单特征模型得到最终决策形式，消除了特征之间的相互作⽤，从⽽保留了简单线性模型良好的可解释性。
典型⼯作如Poulin等⼈提出的⽅案[13]，设计了ExplainD原型，提供了对加性模型的图形化解释，包括对模型整体的理解以及决策特征的可视化，以帮助建⽴⽤户与决策系统之间的信任关系。下图就是利⽤设计的原因对朴素贝叶斯决策作出解释。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议