(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010334307.0
(22)申请日 2020.04.24
(71)申请人 同盾控股有限公司
地址 311121 浙江省杭州市余杭区五常街
道文一西路998号18幢704室
(72)发明人 黄浩翔 刘崇坤
(74)专利代理机构 北京卓唐知识产权代理有限
公司 11541
代理人 卜荣丽 李志刚
(51)Int.Cl.
G06Q 10/06(2012.01)
(54)发明名称
介质
(57)摘要
本发明公开一种模型生命周期管理方法及
系统、设备、存储介质，其中方法主要包括以下步
上进行模型任务处理，模型任务至少包括模型需
模型审批、模型上线、投产后持续验证和监控等
子任务。采用本发明，通过构建通用模型工作流，
并基于该工作流进行模型生命周期中不同子任
务的处理，可以实现模型管理的流程化和统一
化，解决不同业务部门之间由于模型工作的流程
不统一带来的相关问题。权利要求书2页 说明书13页 附图7页CN 111523812 A 2020.08.11
C N 111523812
A
1.一种模型生命周期管理方法，其特征在于，所述方法包括：
基于模型生命周期定义通用版本的模型工作流；
根据不同的模型任务需求在通用模型工作流上进行模型任务处理，模型任务至少包括模型需求发起、模型开发、模型验证、模型实施和部署、模型审批、模型上线、投产后持续验证和监控子任务中的一个或多个。
2.根据权利要求1所述的模型生命周期管理方法，其特征在于，所述基于模型生命周期定义通用版本的模型工作流，包括：
定义工作流中的子任务；
在审核无误后，对工作流作者提交的工作流进行部署，以使所述工作流根据预先定义的任务环节和负责人自动推进；
工作流根据当前的进度给下一个子任务对应的负责人发送提醒信息，并赋予该负责人对应的模型任务环节的相关系统权限，其中提醒信息至少包括邮件提醒和系统登陆链接中的一个或多个；
在一个子任务完成后，工作流自动推进至下一个子任务。
3.根据权利要求2所述的模型生命周期管理方法，其特征在于，所述方法还包括：
在工作流生效期间，根据符合工作流查阅权限的查阅请求反馈工作流的历史活动和相关记录；
在工作流生效期间，若工作流需要进行修改或模型任务的添加、删减、更新时，工作流重新发布，从最近的未完成子任务处进行任务重启。
4.根据权利要求1所述的模型生命周期管理方法，其特征在于，所述方法还包括：
构建企业级别模型资产库，将所有模型及相关文档注册至同一管理平台；
根据预先配置的模型仪表板实时监控所述模型资产库中各模型在生命周期内的模型工作状态和性能指标。
5.根据权利要求4所述的模型生命周期管理方法，其特征在于，所述构建企业级别模型资产库，将所有模型及相关文档注册至同一管理平台，包括：
创建模型定义；
定义模型元数据；
连接模型对应的外部数据库和该模型的数据表单；
根据数据表单选取模型使用的变量生成模型验证报告，并给上述变量赋予报告角；
配置模型，上传模型对应的模型文件，定义数据窗口和基准，定义模型预测目标并赋予该目标所属的报告角-目标，定义分数分布和模型所属切割组；
将所有注册的模型保存至企业级别模型资产库中。
6.根据权利要求4所述的模型生命周期管理方法，其特征在于，所述模型仪表板上显示所有已注册模型的当前状态，并以预设的显示形式显示针对所选模型的验证结果，所述显示形式包括扇形统计图、条形统计图或表格中的一个或多个。
7.根据权利要求4所述的模型生命周期管理方法，其特征在于，所述方法还包括：
根据用户需求调整所述模型仪表板上显示的模型状态或验证结果的表达方式。
8.一种模型生命周期管理系统，其特征在于，所述系统包括：
工作流创建模块，用于基于模型生命周期定义通用版本的模型工作流；
工作流处理模块，用于根据不同的模型任务需求在通用模型工作流上进行模型任务处理，模型任务至少包括模型需求发起、模型开发、模型验证、模型实施和部署、模型审批、模型上线、投产后持续验证和监控子任务中的一个或多个。
9.根据权利要求8所述的管理系统，其特征在于，所述工作流创建模块，包括：
子任务创建单元，用于定义工作流中的子任务，定义子任务的相应职责和子任务负责人；
工作流部署单元，用于在审核无误后，将发布的工作流进行部署，以使所述工作流根据预先定义的任务环节和负责人自动推进；
子任务处理单元，用于工作流根据当前的进度给下一个子任务对应的负责人发送提醒信息，并在系统内根据设置好的工作赋予该负责人所负责的任务环节所需要的系统权限，其中提醒信息至少包括邮件提醒和系统登陆链接中的一个或多个；
子任务推进单元，用于在一个子任务完成后，工作流推进至下一个子任务。
10.根据权利要求9所述的管理系统，其特征在于，所述系统还包括：
查阅反馈模块，用于在工作流生效期间，根据符合工作流查阅权限的查阅请求反馈工作流历史活动和相关记录；
更新重启模块，用于在工作流生效期间，若工作流需要进行修改、或模型任务的添加、删减、更新时，工作流重新发布，从最近的未完成子任务处进行任务重启。
模型生命周期管理方法及系统、设备、存储介质
技术领域
[0001]本发明涉及模型管理技术领域，尤其涉及一种模型生命周期管理方法及系统、设备、存储介质。
背景技术
[0002]在当今世界各国的各类金融机构中，模型被广泛地开发和应用于营销、风控、决策等场景，成为包括信贷业务在内的各种金融业务中不可或缺的重要工具。但是，由于模型本身的错误或使用的不当，也会带来风险，这就是模型风险。例如，从1998年长期资本管理(LTCM)的崩溃、2007年美国次贷危机、2012年摩根大通(JP Morgan chase)“伦敦鲸”事件等都与模型风险有关，这表明模型风险仅作为一种操作风险就已经具备巨大的破坏力，而一个机构乃至一个国家的模型风险管理体系缺失，将给该机构或国家带来破坏力不可估量的系统性风险。
[0003]模型风险管理是一项长期性、系统性、复杂且细致的工作，在缺乏高效率方法和工具的情况下，必定会占用大量的人力资源，且工作的时效性和质量可能仍难以保障。[0004]现有的模型管理中随着业务线多样化、业务场景类型复杂化，机构内模型数量和模型工作任务迅速增加。一般来说，由于不同业务部门之间关于模型工作的流程不统一，模型工作有可能过于谨慎或者过于粗糙，导致模型工时不合理或模型质量参差不齐，时效性低，模型工作流程的每个环节责任模糊，无法定位到具体负责人，影响模型工作进度；模型投产后验证机制缺乏，缺乏周期性的验证计划，花费大量人力资源生成报告，模型报告不规范，无法及时发现和定位模型问题等。
发明内容
[0005]本发明实施例提供一种模型生命周期管理方法及系统、设备、存储介质，通过构建企业级的模型管理平台，可以解决模型管理中流程化和统一化的相关问题。
[0006]本发明实施例第一方面提供了一种模型生命周期管理方法，可包括：
[0007]基于模型生命周期定义通用版本的模型工作流；
[0008]根据不同的模型任务需求在通用模型工作流上进行模型任务处理，模型任务至少包括模型需求发起、模型开发、模型验证、模型实施和部署、模型审批、模型上线、投产后持续验证和监控子任务中的一个或多个。
[0009]本发明实施例第二方面提供了一种模型生命周期管理系统，可包括：
[0010]工作流创建模块，用于基于模型生命周期定义通用版本的模型工作流；[0011]工作流处理模块，用于根据不同的模型任务需求在通用模型工作流上进行模型任务处理，模型任务至少包括模型需求发起、模型开发、模型验证、模型实施和部署、模型审批、模型上线、投产后持续验证和监控子任务中的一个或多个。
[0012]本发明实施例第三方面提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行以下步骤：
[0013]基于模型生命周期定义通用版本的模型工作流；
[0014]根据不同的模型任务需求在通用模型工作流上进行模型任务处理，模型任务至少包括模型需求发起、模型开发、模型验证、模型实施和部署、模型审批、模型上线、投产后持续验证和监控子任务中的一个或多个。
[0015]本发明实施例第四方面提供了一种设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行以下步骤：[0016]基于模型生命周期定义通用版本的模型工作流；
[0017]根据不同的模型任务需求在通用模型工作流上进行模型任务处理，模型任务至少包括模型需求发起、模型开发、模型验证、模型实施和部署、模型审批、模型上线、投产后持续验证和监控子任务中的一个或多个。
[0018]本发明的有益效果：
[0019]基于模型生命周期，定义一个通用版本的模型工作流，让所有的模型工作能够遵循相对一致的流
程进行，工作流的每个环节指派到具体负责人，且根据环节不同，定义好需要上传的工作结果并根据需要在工作流里配置审批环节，从而在单个模型工作流里保证每个工作环节的工作质量，工作流与工作流之间，模型工作质量要求统一。
附图说明
[0020]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本发明实施例提供的一种模型生命周期管理方法的流程示意图；[0022]图2是本发明实施例提供的一种企业级模型管理系统的结构示意图；
[0023]图3是本发明实施例提供的另一种企业级模型管理系统的结构示意图；[0024]图4是本发明实施例提供的一种企业级模型管理系统的架构图；
[0025]图5是本发明实施例提供的模型表单、模型工作流、模型登记功能依赖关系图；[0026]图6是本发明实施例提供的流程引擎的架构图；
[0027]图7是本发明实施例提供的模型评估服务的架构图；
[0028]图8是本发明实施例提供的数据回流服务的架构图；
[0029]图9是本发明实施例提供的一种模型生命周期管理系统的结构示意图；[0030]图10是本发明实施例提供的工作流创建模块的结构示意图；
[0031]图11是本发明实施例提供的注册建库模块的结构示意图；
[0032]图12是本发明实施例提供的一种设备的结构示意图。
具体实施方式
[0033]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议