(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011496923.2
(22)申请日 2020.12.17
(71)申请人 第四范式（北京）技术有限公司
地址 100085 北京市海淀区清河中街66号
院1号楼九层LO901-1号
(72)发明人 宋吉鹏 詹镇江
(74)专利代理机构 北京开阳星知识产权代理有
限公司 11710
代理人 王雪
(51)Int.Cl.
G06F 16/33(2019.01)
G06K 9/62(2006.01)
(54)发明名称一种实现人工智能可解释的方法、装置、设备及存储介质(57)摘要本公开提供了一种实现人工智能可解释的方法、装置、设备及存储介质，所述方法包括：首先，接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据。其次，确定与所述待解释数据匹配的解释算子，最终，运行所述解释算子对所述待解释数据进行解释，得到解释结果。本公开实施例能够为目标AI模型对应的待解释数据提供解释结果，实现了人工智能可解释。另外，用户还可以基于人工智能可解释的需求自行设计人工智能可解释方法，用于对目标AI模型的待解释数据进行解释，提高了人工智能可解释方法 的灵活性。权利要求书2页 说明书10页 附图3页CN 112612872 A 2021.04.06
C N 112612872
A
1.一种实现人工智能可解释的方法，其特征在于，所述方法包括：
接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据；
确定与所述待解释数据匹配的解释算子；
运行所述解释算子对所述待解释数据进行解释，得到解释结果。
2.根据权利要求1所述的方法，其特征在于，所述接收目标AI模型对应的待解释数据的步骤之前，还包括：
获取与所述目标AI模型相关的元数据；
确定与所述元数据匹配的解释方案；
将所述元数据和所述解释方案保存为解释算子；其中，所述元数据用于匹配到所述解释算子。
3.根据权利要求2所述的方法，其特征在于，所述元数据包括特征元数据和/或模型元数据，所述确定与所述元数据匹配的解释方案的步骤，包括：
确定与所述特征元数据匹配的特征解释方案，和/或，确定与所述模型元数据匹配的模型解释方案。
4.根据权利要求3所述的方法，其特征在于，所述确定与所述特征元数据匹配的特征解释方案，包括：
将所述特征元数据中的至少一个维度特征确定为目标维度特征；
基于所述目标维度特征对应的数据类型，确定与所述目标维度特征匹配的特征解释方案。
5.根据权利要求3所述的方法，其特征在于，所述确定与所述模型元数据匹配的模型解释方案，包括：
基于所述模型元数据中的模型类型，确定与所述模型元数据匹配的模型解释方案；
或者，基于所述模型元数据中的模型输入输出数据构建模型，并基于构建的模型确定与所述模型元数据匹配的模型解释方案。
6.根据权利要求1所述的方法，其特征在于，所述运行所述解释算子对所述待解释数据进行解释，得到解释结果之后，还包括：
基于预设领域规则中领域描述特征与解释文本的对应关系，将所述解释结果中的领域特征描述替换为对应的解释文本。
7.根据权利要求1‑6任一项所述的方法，其特征在于，所述方法还包括：
将所述待解释数据与所述解释结果的对应关系存储于可解释语料数据库；
响应于解释结果的显示触发操作，将所述待解释数据和所述解释结果显示于可视化界面上。
8.一种实现人工智能可解释的装置，其特征在于，所述装置包括解释算子仓库和执行器，所述解释算子仓库用于存储解释算子，所述执行器包括算子匹配模块和解释执行模块；
所述算子匹配模块，用于在接收目标AI模型对应的待解释数据后，从所述解释算子仓库中获取与所述待解释数据匹配的解释算子；
所述解释执行模块，用于执行所述算子匹配模块匹配到的解释算子，对所述待解释数据进行解释，得到解释结果。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如权利要求1‑7任一项所述的方法。
10.一种设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1‑7任一项所述的方法。
一种实现人工智能可解释的方法、装置、设备及存储介质
技术领域
[0001]本公开涉及数据处理领域，尤其涉及一种实现人工智能可解释的方法、装置、设备及存储介质。
背景技术
[0002]人工智能可解释是指解决面向机器学习场景下的可解释问题，尤其是在对可靠性和安全性要求较高的领域，如医疗领域和银行、保险等金融监管领域等，对于提高人工智能模型的透明度和可解释性，已经成为机器学习系统中越来越被重视的需求。
[0003]因此，如何实现人工智能可解释，是目前亟待解决的技术问题。
发明内容
[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种实现人工智能可解释的方法、装置、设备及存储介质，能够为目标AI模型对应的待解释数据提供解释结果，实现人工智能可解释。
[0005]第一方面，本公开提供了一种实现人工智能可解释的方法，所述方法包括：[0006]接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据；
[0007]确定与所述待解释数据匹配的解释算子；
[0008]运行所述解释算子对所述待解释数据进行解释，得到解释结果。
[0009]一种可选的实施方式中，所述接收目标AI模型对应的待解释数据的步骤之前，还包括：
[0010]获取与所述目标AI模型相关的元数据；
[0011]确定与所述元数据匹配的解释方案；
[0012]将所述元数据和所述解释方案保存为解释算子；其中，所述元数据用于匹配到所述解释算子。
[0013]一种可选的实施方式中，所述元数据包括特征元数据和/或模型元数据，所述确定与所述元数据匹配的解释方案的步骤，包括：
[0014]确定与所述特征元数据匹配的特征解释方案，和/或，确定与所述模型元数据匹配的模型解释方案。
[0015]一种可选的实施方式中，所述确定与所述特征元数据匹配的特征解释方案，包括：[0016]将所述特征元数据中的至少一个维度特征确定为目标维度特征；
[0017]基于所述目标维度特征对应的数据类型，确定与所述目标维度特征匹配的特征解释方案。
[0018]一种可选的实施方式中，所述确定与所述模型元数据匹配的模型解释方案，包括：[0019]基于所述模型元数据中的模型类型，确定与所述模型元数据匹配的模型解释方案；
[0020]或者，基于所述模型元数据中的模型输入输出数据构建模型，并基于构建的模型确定与所述模型元数据匹配的模型解释方案。
[0021]一种可选的实施方式中，所述运行所述解释算子对所述待解释数据进行解释，得到解释结果之后，还包括：
[0022]基于预设领域规则中领域描述特征与解释文本的对应关系，将所述解释结果中的领域特征描述替换为对应的解释文本。
[0023]一种可选的实施方式中，所述方法还包括：
[0024]将所述待解释数据与所述解释结果的对应关系存储于可解释语料数据库；[0025]响应于解释结果的显示触发操作，将所述待解释数据和所述解释结果显示于可视化界面上。
[0026]一种可选的实施方式中，所述将所述元数据和所述解释方案保存为解释算子之后，还包括：
[0027]将所述解释算子存储于解释算子仓库中；其中，所述解释算子仓库中保留多个版本的解释算子，且支持针对所述解释算子已提交修改的回溯功能；
[0028]将所述多个版本的解释算子中的目标版本进行发布；其中，发布的解释算子用于供所述待解释数据匹配。
[0029]一种可选的实施方式中，所述接收目标AI模型对应的待解释数据之前，还包括：[0030]通过数据集成总线订阅目标AI模型的待解释数据生成事件；
[0031]相应的，所述接收目标AI模型对应的待解释数据，包括：
[0032]响应于所述目标AI模型的待解释数据生成事件的发生，接收所述目标AI模型对应的待解释数据。
[0033]一种可选的实施方式中，所述确定与所述待解释数据匹配的解释算子之前，还包括：
[0034]对所述待解释数据进行一致性校验；
[0035]如果所述待解释数据通过一致性校验，则执行所述确定与所述待解释数据匹配的解释算子的步骤。
[0036]第二方面，本公开提供了一种实现人工智能可解释的装置，所述装置包括解释算子仓库和执行器，所述解释算子仓库用于存储解释算子，所述执行器包括算子匹配模块和解释执行模块；
[0037]所述算子匹配模块，用于在接收目标AI模型对应的待解释数据后，从所述解释算子仓库中获取与所述待解释数据匹配的解释算子；
[0038]所述解释执行模块，用于执行所述算子匹配模块匹配到的解释算子，对所述待解释数据进行解释，得到解释结果。
[0039]一种可选的实施方式中，所述装置还包括设计器；
[0040]所述设计器，用于获取与所述目标AI模型相关的元数据，并确定与所述元数据匹配的解释方案，以及将所述元数据与所述解释方案保存为解释算子存储于所述解释算子仓库中。
[0041]一种可选的实施方式中，所述元数据包括特征元数据和/或模型元数据，所述设计器包括特征分析模块和/或模型解释模块；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议