一种贷款申请评分模型的使用效果评估方法及系统

本发明涉及商业风险评估技术领域，尤其涉及一种贷款申请评分模型的使用效果评估方法及系统。

贷款申请评分模型(简称申请评分或评分)，是商业银行贷款风险控制领域的重要技术，运用统计分析与机器学习等算法对合法采集的客户授权信息，建立评分对客户信用综合评估，给出授信审批决策。运用评分进行授信审批，通常比人工审批具有更高效率、更低成本，且更为客观，不会出现不同的审批人员给出不同决策的情况，申请评分开发完成部署上线，参与风险决策，需持续跟踪监控申请评分的使用效果。通过监控，及时有效地发现评分效果的变动，并采取措施(如评分迭代或风险策略调整)规避模型风险，在商业银行模型风险管控领域意义重大。

通常情况下，商业银行对申请评分的监控可分为前段监控和后段监控。前端监控主要是监控申请评分的稳定性，对新增授信申请客户监控如评分分布、评分区间通过率、评分稳定性(PSI)及评分变量稳定性(PSI)等统计指标，后段监控，主要是对申请评分模型线上使用效果的监控，是银行模型风险评估最重要的一环，可为评分下线、评分策略调整或评分迭代提供风险决策意见。行业通常做法为，待申请评分上线一段时间(须满足贷后表现周期及统计样本数量要求)积累一定放款客户样本，依据放款客户的贷款表现，给客户打上好坏标签(打标签逻辑与模型开发时一致)。依据放款客户的好坏标签，计算出申请评分的效果指标(以行业常用统计量KS为例)。跟申请评分开发时的放款客户样本KS对比，若新增授信月份转化的放款客户的KS衰减过快或低于经验值0.20(监管及银行风险部门通常关注的阈值)，则认为评分模型接近失效，并采取相应风险规避措施如评分下线、评分策略调整或评分迭代等。

即使渠道流量质量每月不发生变化，放款客户在经过授信风控、提现转化意愿及提现风控等因素干扰后，也与授信申请客户发生了较大偏移；其次，由于授信风控与提现风控是根据银行风险偏好动态调整的，每个新增月份的放款客户也是不断变化的，来自新授信月份的放款客户相对早期授信月份的放款客户也是发生偏移的。这种客户体的偏移对申请评分的后段监控有重大影响，使得基于放款客户样本对申请评分效果的评估按照时间轴是不可比的，而基于此得出的模型效果结论是不准确的，进而给出的模型风险决策建议也是不符合业务实际情况的，错误的模型风险决策可能给商业银行带来损失。

针对上述所显示出来的问题，本发明提供了一种贷款申请评分模型的使用效果评估方法及系统用以解决背景技术中提到的基于人工经验所获得的模型效果结论是不准确的，进而给出的模型风险决策建议也是不符合业务实际情况的，错误的模型风险决策可能给商业银行带来损失的问题。

一种贷款申请评分模型的使用效果评估方法，包括以下步骤：

利用预设贷款申请评分模型对不同时期的第一客户样本和第二客户样本进行审批，获取模型验证样本集和模型外验证样本集；

推断所述模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签，将每个样本客户和其对应的前评估标签相关联；

根据模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签计算出模型验证样本集和模型外验证样本集的评分变量值以及二者每项审批指标的第一评分值；

根据模型验证样本集和模型外验证样本集中的评分变量值以及二者每项审批指标的第一评分值分析出预设贷款申请评分模型的使用效果结论；

其中，所述当前评估标签包括：好人标签与坏人标签。

优选的，所述利用预设贷款申请评分模型对不同时期的第一客户样本和第二客户样本进行审批，获取模型验证样本集和模型外验证样本集，包括：

利用所述预设贷款申请评分模型生成多项审批指标；

获取所述第一客户样本和第二客户样本中每个样本客户的客户资料，基于所述每个样本客户的客户资料，利用预设贷款申请评分模型对每个样本客户进行评分，获取评分结果；

根据所述评分结果将第一客户样本和第二客户样本中的每个样本客户对应地分配到所述多项审批指标中；

分配完毕后，统计每项审批指标的样本客户数量，将第一客户样本和第二客户样本分别对应的统计结果以及多项审批指标确认为所述模型验证样本集和模型外验证样本集。

优选的，所述推断所述模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签，将每个样本客户和其对应的前评估标签相关联，包括：

筛选银行的征信负面逾期变量，并对所述征信负面逾期变量进行极坏性认定，确定第一极坏性认定规则；

查询多头银行征信机构及民间征信机构的征信变量阈值，对所述征信变量阈值进行第二极坏性认定，确定第二极坏性认定规则；

根据预设的第三方的有效评分阈值，进行第三极坏性认定，确定第三极坏性认定规则；

根据第一极坏性认定规则、第二极坏性认定规则和第三极坏性认定规则，构建更优性原则；

规避预设的评分变量标签，确定目标评分变量标签，并计算目标评分变量标签的评分变量指标IV，构建评分变量规避性原则；

通过所述评分变量规避性原则和更优性原则，设计好坏标签推断策略；

根据所述好坏标签推断策略确定每个样本客户的当前评估标签并将每个样本客户和其对应的前评估标签进行关联。

优选的，所述根据模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签计算出模型验证样本集和模型外验证样本集的评分变量值以及二者每项审批指标的第一评分值，包括：

根据第一客户样本和第二客户样本中每个样本客户的当前评估标签确定每个样本客户的申请评分；

利用下列公式计算出每项审批指标的第一评分值：

其中，KSn表示为第n项审批指标的第一评分值，mn表示为第n项指标中的样本客户的数量，FG表示为预估的好人样本的累计概率分布，FB表示为预估的坏人样本的累计概率分布，Scorei表示为第i个样本客户的申请评分；

根据下列公式计算出模型验证样本集和模型外验证样本集的评分变量值：

其中，IV表示为模型验证样本集/模型外验证样本集的评分变量值，N表示为模型验证样本集/模型外验证样本集中审批指标的数量，GoodDistj表示为模型验证样本集/模型外验证样本集中第j个审批指标中好人标签的样本客户数量所占模型验证样本集/模型外验证样本集中所有好人标签的样本客户数量的比例，BadDistj表示为模型验证样本集/模型外验证样本集中第j个审批指标中坏人标签的样本客户数量所占模型验证样本集/模型外验证样本集中所有坏人标签的样本客户数量的比例，ln表示为自然对数。

优选的，所述根据模型验证样本集和模型外验证样本集中的评分变量值以及二者每项审批指标的第一评分值分析出预设贷款申请评分模型的使用效果结论，包括：

利用预设贷款申请评分模型的实际风险风险策略调整日志对模型验证样本集和模型外验证样本集中每项审批指标的第一评分值进行调整，获得每项审批指标的第二评分值；

对比模型验证样本集和模型外验证样本集中同一项审批指标的第二评分值以确定预设贷款申请评分模型的使用评分效果是否下降；

若确定预设贷款申请评分模型的使用评分效果下降，利用模型验证样本集和模型外验证样本集中的评分变量值以确定预设贷款申请评分模型的使用评分效果下降的具体原因；

将所述预设贷款申请评分模型的使用评分效果以及预设贷款申请评分模型的使用评分效果下降的具体原因确认为所述预设贷款申请评分模型的使用效果结论。

优选的，所述方法还包括：

绘制预设周期内预设贷款申请评分模型的第一评分监控报表；

根据预设周期内预设贷款申请评分模型的第一评分监控报表生成预设贷款申请评分模型的风险决策建议；

将所述预设贷款申请评分模型的风险决策建议上传至预设服务器以供工作人员对所述预设贷款申请评分模型进行完善。

优选的，所述获取所述第一客户样本和第二客户样本中每个样本客户的客户资料，基于所述每个样本客户的客户资料，利用预设贷款申请评分模型中每个样本客户进行评分，获取评分结果，包括：

从每个样本客户的客户资料中获取该样本客户的信用评分数据；

确认每个样本客户的信用评分数据是否满足预设贷款申请评分模型的评估条件，若是，将该样本客户的信用评分数据输入到所述预设贷款申请评分模型中，否则，确认该样本客户的信用评分数据不合理；

基于输入的样本客户的信用评分数据，利用所述预设贷款申请评分模型中的预设信用分评估算法评估出每个样本客户的信用评估分值；

将每个样本客户的信用评估分值确认为该用户的评分结果。

优选的，所述根据预设周期内预设贷款申请评分模型的第一评分监控报表生成预设贷款申请评分模型的风险决策建议，包括：

根据模型验证样本集评分变量值以及模型验证样本集中每项审批指标的第一评分值确定预设贷款申请评分模型的初始运行参数；

对所述初始运行参数进行属性划分，获取划分结果；

根据所述划分结果确定预设贷款申请评分模型的特征属性因子；

根据所述特征属性因子构建预设贷款申请评分模型的决策树；

将所述第一评分监控报表中的评分结果代入到所述决策树中，获得决策树输出的分析结果；

解析所述分析结果，获得预设贷款申请评分模型的多个评价指标及每个评价指标对应的权重因子；

根据所述多个评价指标以及每个评价指标对应的权重因子构建基于预设贷款申请评分模型的评价因子权重矩阵；

将所述分析结果代入到所述评价因子权重矩阵中获得第一评分监控报表与所述评价因子权重矩阵相关联的关联度矩阵；

根据所述关联度矩阵与评价因子权重矩阵确定预设贷款申请评分模型的波动矩阵因子；

解析每个波动矩阵因子，获得其相关的风险因子，根据所述第一评分监控报表对每个波动矩阵因子对应的风险因子进行筛选，获得每个波动矩阵因子关联最大的目标风险因子；

生成每个波动矩阵因子对应的目标风险因子对应的解决建议，统计多个解决建议进行整合以获得所述预设贷款申请评分模型的风险决策建议。

一种贷款申请评分模型的使用效果评估系统，该系统包括：

审批模块，用于利用预设贷款申请评分模型对不同时期的第一客户样本和第二客户样本进行审批，获取模型验证样本集和模型外验证样本集；

推断模块，用于推断所述模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签，将每个样本客户和其对应的前评估标签相关联；

计算模块，用于根据模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签计算出模型验证样本集和模型外验证样本集的评分变量值以及二者每项审批指标的第一评分值；

分析模块，用于根据模型验证样本集和模型外验证样本集中的评分变量值以及二者每项审批指标的第一评分值分析出预设贷款申请评分模型的使用效果结论；

其中，所述当前评估标签包括：好人标签与坏人标签。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明所提供的一种贷款申请评分模型的使用效果评估方法的工作流程图；

图2为本发明所提供的一种贷款申请评分模型的使用效果评估方法的另一工作流程图；

图3为本发明所提供的一种贷款申请评分模型的使用效果评估方法的又一工作流程图；

图4为应用实施例中的个贷业务转化流程图；

图5为构建的客户样本截图；

图6为KS监控报表截图；

图7为KS月度监控截图；

图8为本发明所提供的一种贷款申请评分模型的使用效果评估系统的结构示意图。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

贷款申请评分模型(简称申请评分或评分)，是商业银行贷款风险控制领域的重要技术，运用统计分析与机器学习等算法对合法采集的客户授权信息，建立评分对客户信用综合评估，给出授信审批决策。运用评分进行授信审批，通常比人工审批具有更高效率、更低成本，且更为客观，不会出现不同的审批人员给出不同决策的情况，申请评分开发完成部署上线，参与风险决策，需持续跟踪监控申请评分的使用效果。通过监控，及时有效地发现评分效果的变动，并采取措施(如评分迭代或风险策略调整)规避模型风险，在商业银行模型风险管控领域意义重大。

通常情况下，商业银行对申请评分的监控可分为前段监控和后段监控。前端监控主要是监控申请评分的稳定性，对新增授信申请客户监控如评分分布、评分区间通过率、评分稳定性(PSI)及评分变量稳定性(PSI)等统计指标，后段监控，主要是对申请评分模型线上使用效果的监控，是银行模型风险评估最重要的一环，可为评分下线、评分策略调整或评分迭代提供风险决策意见。行业通常做法为，待申请评分上线一段时间(须满足贷后表现周期及统计样本数量要求)积累一定放款客户样本，依据放款客户的贷款表现，给客户打上好坏标签(打标签逻辑与模型开发时一致)。依据放款客户的好坏标签，计算出申请评分的效果指标(以行业常用统计量KS为例)。跟申请评分开发时的放款客户样本KS对比，若新增授信月份转化的放款客户的KS衰减过快或低于经验值0.20(监管及银行风险部门通常关注的阈值)，则认为评分模型接近失效，并采取相应风险规避措施如评分下线、评分策略调整或评分迭代等。

即使渠道流量质量每月不发生变化，放款客户在经过授信风控、提现转化意愿及提现风控等因素干扰后，也与授信申请客户发生了较大偏移；其次，由于授信风控与提现风控是根据银行风险偏好动态调整的，每个新增月份的放款客户也是不断变化的，来自新授信月份的放款客户相对早期授信月份的放款客户也是发生偏移的。这种客户体的偏移对申请评分的后段监控有重大影响，使得基于放款客户样本对申请评分效果的评估按照时间轴是不可比的，而基于此得出的模型效果结论是不准确的，进而给出的模型风险决策建议也是不符合业务实际情况的，错误的模型风险决策可能给商业银行带来损失。为了解决上述问题，本实施例公开了一种贷款申请评分模型的使用效果评估方法。

一种贷款申请评分模型的使用效果评估方法，如图1所示，包括以下步骤：

步骤S101、利用预设贷款申请评分模型对不同时期的第一客户样本和第二客户样本进行审批，获取模型验证样本集和模型外验证样本集；

步骤S102、推断所述模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签，将每个样本客户和其对应的前评估标签相关联；

步骤S103、根据模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签计算出模型验证样本集和模型外验证样本集的评分变量值以及二者每项审批指标的第一评分值；

步骤S104、根据模型验证样本集和模型外验证样本集中的评分变量值以及二者每项审批指标的第一评分值分析出预设贷款申请评分模型的使用效果结论；

其中，所述当前评估标签包括：好人标签与坏人标签。

上述技术方案的工作原理为：利用预设贷款申请评分模型对不同时期的第一客户样本和第二客户样本进行审批，获取模型验证样本集和模型外验证样本集，推断所述模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签，将每个样本客户和其对应的前评估标签相关联，根据模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签计算出模型验证样本集和模型外验证样本集的评分变量值以及二者每项审批指标的第一评分值，根据模型验证样本集和模型外验证样本集中的评分变量值以及二者每项审批指标的第一评分值分析出预设贷款申请评分模型的使用效果结论。

上述技术方案的有益效果为：通过评估不同时期的客户对于预设贷款申请评分模型的评分值和评分变量值进而来分析出预设贷款申请评分模型的使用效果结论相较于传统技术中靠工作人员经验获取的使用效果评估更为合理，可更早且更有效的发现模型风险，避免不可信的评分效果结论及模型风险决策建议给银行带来坏账损失，而且大幅缩短得出评分效果结论及模型风险决策建议的时效，解决了现有技术中基于人工经验所获得的模型效果结论是不准确的，进而给出的模型风险决策建议也是不符合业务实际情况的，错误的模型风险决策可能给商业银行带来损失的问题。

在一个实施例中，如图2所示，所述利用预设贷款申请评分模型对不同时期的第一客户样本和第二客户样本进行审批，获取模型验证样本集和模型外验证样本集，包括：

步骤S201、利用所述预设贷款申请评分模型生成多项审批指标；

步骤S202、获取所述第一客户样本和第二客户样本中每个样本客户的客户资料，基于所述每个样本客户的客户资料，利用预设贷款申请评分模型对每个样本客户进行评分，获取评分结果；

步骤S203、根据所述评分结果将第一客户样本和第二客户样本中的每个样本客户对应地分配到所述多项审批指标中；

步骤S204、分配完毕后，统计每项审批指标的样本客户数量，将第一客户样本和第二客户样本分别对应的统计结果以及多项审批指标确认为所述模型验证样本集和模型外验证样本集。

上述技术方案的有益效果为：通过生成多项审批指标可以有效地存储审批之后的每项审批指标对应的客户样本，从而可以快速地对每个样本客户进行评分，根据最终的评分结果将所有样本客户对应地存储到相应的审批指标中，提高了工作效率。

在一个实施例中，所述推断所述模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签，将每个样本客户和其对应的前评估标签相关联，包括：

筛选银行的征信负面逾期变量，并对所述征信负面逾期变量进行极坏性认定，确定第一极坏性认定规则；

查询多头银行征信机构及民间征信机构的征信变量阈值，对所述征信变量阈值进行第二极坏性认定，确定第二极坏性认定规则；

根据预设的第三方的有效评分阈值，进行第三极坏性认定，确定第三极坏性认定规则；

根据第一极坏性认定规则、第二极坏性认定规则和第三极坏性认定规则，构建更优性原则；

规避预设的评分变量标签，确定目标评分变量标签，并计算目标评分变量标签的评分变量指标IV，构建评分变量规避性原则；

通过所述评分变量规避性原则和更优性原则，设计好坏标签推断策略；

根据所述好坏标签推断策略确定每个样本客户的当前评估标签并将每个样本客户和其对应的前评估标签进行关联。

上述技术方案的有益效果为：通过根据三种规则来综合评估出每个样本客户的当前评估标签可以保证最终的评估结果更加实际与准确，同时也可以从多角度来评估每个样本客户的为人标签，保证了评估结果的客观性。

在一个实施例中，所述根据模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签计算出模型验证样本集和模型外验证样本集的评分变量值以及二者每项审批指标的第一评分值，包括：

根据第一客户样本和第二客户样本中每个样本客户的当前评估标签确定每个样本客户的申请评分；

利用下列公式计算出每项审批指标的第一评分值：

其中，KSn表示为第n项审批指标的第一评分值，mn表示为第n项指标中的样本客户的数量，FG表示为预估的好人样本的累计概率分布，FB表示为预估的坏人样本的累计概率分布，Scorei表示为第i个样本客户的申请评分；

根据下列公式计算出模型验证样本集和模型外验证样本集的评分变量值：

其中，IV表示为模型验证样本集/模型外验证样本集的评分变量值，N表示为模型验证样本集/模型外验证样本集中审批指标的数量，GoodDistj表示为模型验证样本集/模型外验证样本集中第j个审批指标中好人标签的样本客户数量所占模型验证样本集/模型外验证样本集中所有好人标签的样本客户数量的比例，BadDistj表示为模型验证样本集/模型外验证样本集中第j个审批指标中坏人标签的样本客户数量所占模型验证样本集/模型外验证样本集中所有坏人标签的样本客户数量的比例，ln表示为自然对数。

上述技术方案的有益效果为：通过利用公式来计算每项审批指标的评分值可以有效地根据每项审批指标内的每个样本客户的当前评估标签准确合理地评估出每项审批指标的评分值，提高了数据评估的准确地性。

在一个实施例中，所述根据模型验证样本集和模型外验证样本集中的评分变量值以及二者每项审批指标的第一评分值分析出预设贷款申请评分模型的使用效果结论，包括：

利用预设贷款申请评分模型的实际风险风险策略调整日志对模型验证样本集和模型外验证样本集中每项审批指标的第一评分值进行调整，获得每项审批指标的第二评分值；

对比模型验证样本集和模型外验证样本集中同一项审批指标的第二评分值以确定预设贷款申请评分模型的使用评分效果是否下降；

若确定预设贷款申请评分模型的使用评分效果下降，利用模型验证样本集和模型外验证样本集中的评分变量值以确定预设贷款申请评分模型的使用评分效果下降的具体原因；

将所述预设贷款申请评分模型的使用评分效果以及预设贷款申请评分模型的使用评分效果下降的具体原因确认为所述预设贷款申请评分模型的使用效果结论。

上述技术方案的有益效果为：通过利用预设贷款申请评分模型的实际风险风险策略调整日志对模型验证样本集和模型外验证样本集中每项审批指标的第一评分值进行调整可以更加可观地获取每项审批指标的评分值，提高了评估数据的准确性，进一步地，通过根据模型验证样本集和模型外验证样本集中的评分变量值以确定预设贷款申请评分模型的使用评分效果下降的具体原因可以根据实际每项审批指标对应的参数来精准地确定预设贷款申请评分模型的使用评分效果下降的具体原因，进一步地提高了客观性。

在一个实施例中，所述方法还包括：

绘制预设周期内预设贷款申请评分模型的第一评分监控报表；

根据预设周期内预设贷款申请评分模型的第一评分监控报表生成预设贷款申请评分模型的风险决策建议；

将所述预设贷款申请评分模型的风险决策建议上传至预设服务器以供工作人员对所述预设贷款申请评分模型进行完善。

上述技术方案的有益效果为：解决了商业银行在评分上线使用后评分效果评估方法不当的问题，实现了于当日、当周及当月末即可有效评估当日、当周及当月的评分效果。相比行业经验，对评分效果的评估更为合理，可更早且更有效的发现模型风险，避免不可信的评分效果结论及模型风险决策建议给银行带来坏账损失，而且大幅缩短得出评分效果结论及模型风险决策建议的时效。

在一个实施例中，如图3所示，所述获取所述第一客户样本和第二客户样本中每个样本客户的客户资料，基于所述每个样本客户的客户资料，利用预设贷款申请评分模型中每个样本客户进行评分，获取评分结果，包括：

步骤S301、从每个样本客户的客户资料中获取该样本客户的信用评分数据；

步骤S302、确认每个样本客户的信用评分数据是否满足预设贷款申请评分模型的评估条件，若是，将该样本客户的信用评分数据输入到所述预设贷款申请评分模型中，否则，确认该样本客户的信用评分数据不合理；

步骤S303、基于输入的样本客户的信用评分数据，利用所述预设贷款申请评分模型中的预设信用分评估算法评估出每个样本客户的信用评估分值；

步骤S304、将每个样本客户的信用评估分值确认为该用户的评分结果。

上述技术方案的有益效果为：通过利用预设贷款申请评分模型中的预设信用分评估算法评估出每个样本客户的信用评估分值可以根据信用评估分值直观地确定每个样本客户的评分结果。

在一个实施例中，所述根据预设周期内预设贷款申请评分模型的第一评分监控报表生成预设贷款申请评分模型的风险决策建议，包括：

根据模型验证样本集评分变量值以及模型验证样本集中每项审批指标的第一评分值确定预设贷款申请评分模型的初始运行参数；

对所述初始运行参数进行属性划分，获取划分结果；

根据所述划分结果确定预设贷款申请评分模型的特征属性因子；

根据所述特征属性因子构建预设贷款申请评分模型的决策树；

将所述第一评分监控报表中的评分结果代入到所述决策树中，获得决策树输出的分析结果；

解析所述分析结果，获得预设贷款申请评分模型的多个评价指标及每个评价指标对应的权重因子；

根据所述多个评价指标以及每个评价指标对应的权重因子构建基于预设贷款申请评分模型的评价因子权重矩阵；

将所述分析结果代入到所述评价因子权重矩阵中获得第一评分监控报表与所述评价因子权重矩阵相关联的关联度矩阵；

根据所述关联度矩阵与评价因子权重矩阵确定预设贷款申请评分模型的波动矩阵因子；

解析每个波动矩阵因子，获得其相关的风险因子，根据所述第一评分监控报表对每个波动矩阵因子对应的风险因子进行筛选，获得每个波动矩阵因子关联最大的目标风险因子；

生成每个波动矩阵因子对应的目标风险因子对应的解决建议，统计多个解决建议进行整合以获得所述预设贷款申请评分模型的风险决策建议。

上述技术方案的有益效果为：通过确定预设贷款申请评分模型对应的每个波动矩阵的目标风险因子可以基于预设贷款申请评分模型的自身指标来合理地为其改进来确定对应的风险决策建议，保证最终的决策建议符合预设贷款申请评分模型的实际情况，保证了客观性。

在一个实施例中，商业银行客户借款申请转化流程如下：

授信申请。客户有借款需求，向银行提出借款申请。银行通过授信风险规则、申请评分及人工审核等评估客户信用状况，对于信用状况良好的客户审批通过，并依据客户风险不同给予差异化授信额度及定价(利息)，即授信通过。对不符合风险控制要求的客户，审批拒绝，即授信拒绝。

提现申请。客户在银行授信审批通过获得额度后，可进行提现申请以获取资金。客户提现申请转化具有偶然性，如果提现时点与授信时点间隔较久，客户信用状况可能发生变化了，因此银行在客户提现申请时会再次审核，提现审核通过后(提现通过)银行才会放款至客户银行卡。无法通过提现风控审核的客户，将会被拒绝，即提现拒绝。

具体业务转化流程如图4所示，从图4中我们可以看出放款客户经过业务漏斗已与授信申请客户发生较大偏移。以授信申请客户是全量的申请客户，统计意义上更能代表整个申请客户总体；通常情况下，授信通过率依据渠道客户质量而有差别，5％-30％不等，授信通过客户相比授信申请客户，客户体已发生较大偏移。授信通过客户对借款资金的迫切程度，和对获批的额度及利息的满意程度，决定了是否在未来一段时间(30天)内进行提现申请转化，转化率通常为30％至50％不等，客户体进一步偏移。提现申请时，需要再次风控审核，提现通过的客户才能获得银行放款，而提现通过率通常在70％至90％不等，客户体又进一步发生偏移。

因此，即使渠道流量质量每月不发生变化，放款客户在经过授信风控、提现转化意愿及提现风控等因素干扰后，也与授信申请客户发生了较大偏移；其次，由于授信风控与提现风控是根据银行风险偏好动态调整的，每个新增月份的放款客户也是不断变化的，来自新授信月份的放款客户相对早期授信月份的放款客户也是发生偏移的。这种客户体的偏移对申请评分的后段监控有重大影响，使得基于放款客户样本对申请评分效果的评估按照时间轴是不可比的，而基于此得出的模型效果结论是不准确的，进而给出的模型风险决策建议也是不符合业务实际情况的，错误的模型风险决策可能给商业银行带来损失。

这里给出一个客户样本矩阵，如图5所示，以更好的说明以上客户体偏移情况。建模样本A使用的是较早授信月份的客户数据(包含模型验证样本集)，建模外样本B是申请评分模型部署上线使用以后的较近月份的样本数据，样本A与样本B无时间交集，按照业务环节如授信申请、授信通过、提现申请与提现通过(放款)，可分别生成不同的样本如A1、A2、A3、A4、B1、B2、B3与B4等。行业经验，申请评分后段监控基于样本A4与B4的评分效果对比评估。样本A4与B4因分别属于较早月份与较近月份，期间因申请模型评分自身决策及其他风险策略调整，客户样本已发生偏移(偏移幅度视期间风险策略调整幅度决定)，基于B4样本得出评分效果的结论是不可靠的(不能代表授信申请客户总体)，而且与基于A4样本的评分效果是不可比较的，即A4不可推断A1，B4不可推断B1，且B4不可推断A4。

通常迭代申请评分模型的前提，是原评分失效或达不到预期效果。行业通常基于B4推断A4的评分效果，进而推断A1或B1的评分效果，据此给出评分效果结论及模型风险决策建议是不可信的。

首先，不可信的评分效果结论及模型风险决策建议可能给银行带来坏账损失。若给出原评分失效(实际原评分仍有效)并进行迭代的建议，使用新评分捞回的人会有很高的风险；其次，若给出原评分继续有效(实际原评分接近失效或已失效)，继续使用原评分也会有很高的风险。这些暴露的风险将给银行带来坏账损失。也会给风险策略调整带来盲目性，间接增加银行人力的成本。

其次，得出评分效果结论及模型风险决策建议的时效性低。因要积累有一定贷后表现周期的足够数量的新增放款样本，通常要等待3至6个月才能观测到评分效果，发现模型风险并给出建议的时效性是比较低的。

为了解决上述问题，本实施例提出了一种对申请评分模型线上使用效果监控的创新(即对后段监控的创新)，可以很好的监控评估评分的使用效果，包括下列步骤：

1)评分模型基于放款客户样本A4(已知好坏标签样本)开发评审完毕，部署上线后进入模型监控环节，针对后段监控，监控评分KS指标及评分变量IV(Information Value，信息值)指标。计算样本A4上评分效果指标(KS_A4)及IV指标。

IV指标能反映出变量对好坏标签的贡献和解释能力，常用于评分模型中选择重要变量。在后段监控中，评分KS波动较大时，可以据此定位具体变量的贡献度变化，IV值计算公式如下：

·n为变量分箱数，i为第i个分箱

·GoodDisti为好人分布，是第i箱子中好人占所有好人的比例

·BadDisti为坏人分布，是第i个箱子中坏人占所有坏人的比例

2)设计好坏标签推断策略并存档。未知好坏标签的客户，须进行好坏标签推断，以计算KS指标及变量IV指标。好坏标签推断应满足可解释性、极坏性认定、无更优性以及评分变量规避性等原则，尽可能降低犯错概率。这里推荐基于规则的好坏标签认定方法：首先，筛选出人民银行征信负面逾期相关变量，并进行极坏性认定，如近两年贷款或信用卡曾经逾期多少天以上且逾期金额大于多少元规则、信用卡处于冻结状态等；其次，可使用人民银行征信机构查询多头及民间征信机构查询多头相关变量的大于某阈值(高度严格于风险策略拒绝阈值)进行认定；最后，可以依据第三方或自己研发的有效评分的某阈值(高度严格于风险策略拒绝阈值)进行认定。设计的好坏标签推断策略，一定要规避申请评分使用的变量，避免评分自我验证产生误判。

3)根据(2)中设计的好坏标签推断策略，认定授信申请(A1)、授信通过(A2)、提现申请(A3)、授信申请(B1)、授信通过(B2)、提现申请(B3)及提现申请(B4)等客户样本上未知好坏标签的客户的好坏标签，并分别计算其评分效果指标，即KS_A1、KS_A2、KS_A3、KS_B1、KS_B2、KS_B3及KS_B4。以及计算各样本对应的评分变量IV指标。

绘制上线以后累计效果指标KS监控报表，如图6所示，建模样本A(较早月份)与建模外样本B(较近月份)，无时间交集。通过对比，可以分析出模型上线后在累计新增样本B上与模型开发样本A的效果波动，并分析出由于什么原因产生的波动(如具体变量的IV波动)。首先，对比A1与B1上的效果，可以评估模型效果是否有衰减及衰减幅度；其次，对比B1和B2上的效果，可以评估授信风控调整对评分效果的影响；然后，对比B2和B3上的效果，可以评估客户提现意愿对评分效果的影响；最后，对比B3和B4上的效果，可以评估提现风控对评分效果的影响。在示例表格中，我们看到B4的效果降到了0.25，但是B1的效果为0.29与A1(0.30)基本持平，并无明显下降，可以基本判断B4上评分效果下降原因是由于授信风控、客户提现意愿及提现风控多重干扰的结果。

依据B4上的效果评判评分效果是不妥当的，对比A1与B1进行评估较为客观(排除授信\提现风控策略及提现意愿干扰)，再对矩阵中的样本进行横向及纵向的立体对比，并结合实际风险策略调整日志综合评估评分效果，给出模型效果客观结论。再结合个样本具体变量的IV指标波动情况，可以定位出评分效果下降的具体原因。KS监控报表示例如下(数据虚拟)。

5)绘制上线后新增月份(固定频度)的效果指标KS监控报表。如图7所示，也可按日或周绘制报表，监测评分效果的所用时间则可缩短至以日或周为单位，得出评分效果结论及模型风险决策建议的时效性大幅提升。

上述实施例可取得以下有益效果：解决了商业银行无法在授信申请客户上评估评分效果的问题，可以使用基于授信申请客户(代替放款客户)对申请评分进行效果评估，规避了经验上使用放款客户进行评分效果评估的各种问题，如评分效果指标不可信、时效性低等。同时解决了商业银行在评分上线使用后评分效果评估方法不当的问题，实现了于当日、当周及当月末即可有效评估当日、当周及当月的评分效果。相比行业经验，对评分效果的评估更为合理，可更早且更有效的发现模型风险，避免不可信的评分效果结论及模型风险决策建议给银行带来坏账损失，而且大幅缩短得出评分效果结论及模型风险决策建议的时效。

本实施例还公开了因一种贷款申请评分模型的使用效果评估系统，如图8所示，该系统包括：

审批模块801，用于利用预设贷款申请评分模型对不同时期的第一客户样本和第二客户样本进行审批，获取模型验证样本集和模型外验证样本集；

推断模块802，用于推断所述模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签，将每个样本客户和其对应的前评估标签相关联；

计算模块803，用于根据模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签计算出模型验证样本集和模型外验证样本集的评分变量值以及二者每项审批指标的第一评分值；

分析模块804，用于根据模型验证样本集和模型外验证样本集中的评分变量值以及二者每项审批指标的第一评分值分析出预设贷款申请评分模型的使用效果结论；

其中，所述当前评估标签包括：好人标签与坏人标签。

上述技术方案的工作原理及有益效果在方法权利要求中已经说明，此处不再赘述。

本领域技术用户员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。