一种模型切换中的评估方法、装置以及设备与流程

1.本说明书涉及互联网技术领域，尤其涉及一种模型切换中的评估方法、装置以及设备。

背景技术：

2.在使用模型对用户体行评估的场景下，例如风控或者推荐等场景下，往往需要长时间观察模型的实际表现情况。当确定好模型和策略后通常不会随意的进行切换和调整。一旦进行调整，在模型切换时就往往可能因为模型的不同而导致结果存在较大偏移，很容易造成下游策略的通过人数出现显著变化，造成业务的不稳定。
3.基于此，需要一种更稳定的模型切换中的评估方案。

技术实现要素：

4.本说明书实施例提供一种模型切换中的评估方法、装置、设备以及存储介质，用以解决如下技术问题：需要更加稳定的模型切换中的评估方案。
5.为解决上述技术问题，本说明书一个或多个实施例是这样实现的：
6.在第一方面，本说明书实施例提供一种模型切换中的评估方法，包括：确定第一模型对于目标体的预期分布，确定所述预期分布与目标分布之间的第一转换函数f1(x)；确定第二模型对于所述目标体的实际分布，确定所述实际分布与所述目标分布之间的第二转换函数f2(x)；获取待评估对象，采用所述第一模型生成对于所述待评估对象的第一评估结果；根据所述第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数将所述第一评估结果转换为目标评估结果，其中，所述第一模型和第二模型为风控模型，或者，所述第一模型和第二模型为推荐模型。
7.在第二方面，本说明书实施例提供一种模型切换中的评估装置，包括：第一确定模块，确定第一模型对于目标体的预期分布，确定所述预期分布与目标分布之间的第一转换函数f1(x)；第二确定模块，确定第二模型对于所述目标体的实际分布，确定所述实际分布与所述目标分布之间的第二转换函数f2(x)；第一评估模块，获取待评估对象，采用所述第一模型生成对于所述待评估对象的第一评估结果；转换模块，根据所述第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数将所述第一评估结果转换为目标评估结果；其中，所述第一模型和第二模型为风控模型，或者，所述第一模型和第二模型为推荐模型。
8.在第三方面，本说明书实施例提供一种电子设备，包括：
9.至少一个处理器；以及，
10.与所述至少一个处理器通信连接的存储器；其中，
11.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。
12.在第四方面，本说明书实施例提供一种非易失性计算机存储介质存储有计算机可执行指令，当计算机读取存储介质中的计算机可执行指令后，该指令使得一个或多个处理
器执行如第一方面所述的方法。
13.本说明书一个或多个实施例采用的上述至少一个技术方案能够达到以下有益效果：通过确定第一模型对于目标体的预期分布，确定所述预期分布与目标分布之间的第一转换函数f1(x)；确定第二模型对于所述目标体的实际分布，确定所述实际分布与所述目标分布之间的第二转换函数f2(x)；获取待评估对象，采用所述第一模型生成对于所述待评估对象的第一评估结果；根据所述第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数将所述第一评估结果转换为目标评估结果，从而实现用新老模型同时对齐到目标分布上，并实现全策略阈值上的新老模型对齐，无需针对策略的关键阈值进行调整，实现客户无感的稳定的模型切换。
附图说明
14.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
15.图1为本说明书实施例所提供的一种第一模型和第二模型对于相同的消费者体的评估结果的分布示意图；
16.图2为本说明书实施例提供的一种模型切换中的评估方法的流程示意图；
17.图3为本说明书实施例所提供的一种模型对齐的示意图；
18.图4为本说明书实施例提供的一种模型切换中的评估结果装置的结构示意图；
19.图5为本说明书实施例提供的一种电子设备的结构示意图。
具体实施方式
20.本说明书实施例提供一种模型切换中的评估方法、装置、设备以及存储介质。
21.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
22.模型评估已经被广泛使用于各种场景中，而模型评估中的基础即为所采用的模型类型。一旦模型类型出现变动，则有可能造成实际业务的不稳定。以风控场景为例，平台提供了第二模型(也可以称为老模型)给b端用户使用，以便b端用户基于风控模型来对用户进行评估结果，并确定该模型是否符合自身业务需求。
23.例如，b端用户在使用第二模型给各消费者进行评估并基于评估结果确定是否业务通过(这里的业务通过可以是诸如允许账号登录、面部识别通过以及信贷金额通过等等)，评估结果取值在区间[0，1]之间，并且要求在0.9评估结果时有90％以上的通过率，而在0.3评估结果时有20％的通过率。在长时间的运行第二模型之后b端用户认为该模型已经较为稳定，并且其下游业务业适应了该模型。
[0024]
若此时，需要对模型进行切换，例如将其从第二模型切换至第一模型(也可以称为
新模型)。那么一方面，第一模型的评估结果可能都与第二模型不同，例如，第一模型的评估结果区间可能是[0，10]，或者，[1，2]等等形式；另一方面，第一模型和第二模型对于相同的消费者体的评估结果的分布可能完全不同。如图1所示，图1为本说明书实施例所提供的一种第一模型和第二模型对于相同的消费者体的评估结果的分布示意图。在该示意图中，即使第一模型和第二模型的评估结果区间已经相同，但是由于二者的内部结构或者所采用的策略的不同，对于相同的用户体，其得到的评估结果分布可能区别就很大。
[0025]
这样一来，对于b端用户而言，由于其消费者体变化通常不会显著变化，在模型切换期间，就容易造成b端用户的业务混乱。例如，在使用第二模型时，其评估结果为0.9时有90％以上的通过率，在评估结果为0.3时有20％的通过率；而在切换至第一模型时，其评估结果为0.9时可能提高至了98％以上的通过率，在评估结果为0.3时则降低至10％的通过率，这种切换中产生的不稳定将会可能造成b端用户的业务混乱。基于此，本说明书实施例提供一种更稳定的模型切换中的评估方案。
[0026]
在第一方面，如图2所示，图2为本说明书实施例提供的一种模型切换中的评估方法的流程示意图，包括以下步骤：
[0027]
s201：确定第一模型对于目标体的预期分布，确定所述预期分布与目标分布之间的第一转换函数f1(x)。
[0028]
目标体可以是任意b端用户的用户体，例如，可以是信贷中的待投放用户，或者，也可以是面部识别中的待识别用户，或者，还可以是信息推荐中的待推荐用户等等。
[0029]
在本技术实施例中，第一模型和第二模型都为已经训练好的可用模型，其可以是诸如神经网络模型cnn、支持向量机svm、随机森林rf、梯度提升决策树gbdt、全连接神经网络dnn等等形式，第一模型和第二模型的内部结构不做限制。但第一模型和第二模型对于目标体的任意输入的一个对象，均可以给出一个确定的评估结果，评估结果的形式或者数值区间本技术也不做限定。
[0030]
目标体通常会包含有多个对象，从而第一模型可以给出相应的多个评估结果，从而基于多个评估结果可以得到第一模型对于目标体的预期分布。预期分布表征了第一模型对于目标体的实际评估结果的概率分布。预期分布可以通过函数的形式进行表征，例如，通过对目标体的多个评估结果值进行拟合而得到预期分布的概率密度函数。
[0031]
目标分布可以包括均匀分布或者正太分布，或者已经类型的分布。当目标分布为均匀分布时，假设目标分布的评估结果值的区间为[a，b]，则该均匀分布的概率密度函数为
[0032]
当目标分布为正态分布时，若假设评估结果值服从一个位置参数为μ，尺度参数为σ的正态分布，记为x～n(μ,σ2)，则该正态分布的概率密度函数为
[0033]
进而，可以采用分位数变换(具体分位数的选取可以根据实际需要确定，可以是诸如五分位或者十分位等等)或者概率积分变换(probability integral transformation)将预期分布转换为标准的均匀分布或者正态分布。换言之，在确定预期分布的概率密度函数之后，即可以确定其与目标分布之间的第一转换函数f1(x)。
[0034]
s203，确定第二模型对于所述目标体的实际分布，确定所述实际分布与所述目标分布之间的第二转换函数f2(x)。
[0035]
实际分布和预期分布的描述对象应当是相同的目标体。实际分布表征了第二模型对于目标体的实际打分的概率分布。如前所述，采用同样的方式，也可以将所述实际分布转换至目标分布，并确定所述实际分布与所述目标分布之间的第二转换函数f2(x)。
[0036]
s205，获取待评估对象，采用所述第一模型生成对于所述待评估对象的第一评估结果。
[0037]
待评估对象即为b端用户所对应的任一消费者，第一模型此时即基于自身结构给出对于待评估对象的第一评估结果x。
[0038]
第一模型和第二模型通常而言应当是功能类型相同的模型，例如，第一模型和第二模型均为风控模型；或者第一模型和第二模型均为推荐模型。
[0039]
当第一模型和第二模型均为风控模型时，第一评估结果即为对于用户的风控评估结果，风控评估结果可以是离散的风控等级类型(例如，风险等级一，或者，风险等级五)，也可以是在一定区间内的连续的风险评估值(例如，风险评估值为0.7，或者，风险评估值为0.3)。
[0040]
当第一模型和第二模型均为推荐模型时，第一评估结果即为对于待推荐信息的相关性评估结果，相关性评估结果同样可以是离散值或者连续值。
[0041]
s207，根据所述第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数将所述第一评估结果转换为目标评估结果。
[0042]
目标评估结果的类型与第一评估结果的类型一致，即当第一评估结果为对于用户的风控评估结果时，目标评估结果同样为对于用户的风控评估结果，但是具体的等级或者数值可能不同。当第一评估结果为对于待推荐信息的相关性评估结果时，目标评估结果同样为对于待推荐信息的相关性评估结果。
[0043]
在实际应用中，为避免对于b端用户的干扰，此时需要将第一评估结果x基于前述的第一转换函数f1(x)和所述第二转换函数f2(x)映射至第二模型的评估结果区间中。
[0044]
具体的映射方式为x'＝f
2-1
(f1(x))，其中的x'即为目标评估结果，f
2-1
(x)即为第二转换函数f2(x)的逆函数，在已知第二转换函数f2(x)时，则可以求解得到其对应的逆函数f
2-1
(x)。对于x'的计算方式即为首先基于第一评估结果和第一转换函数f1(x)计算得到对应的f1(x)值，再将f1(x)值带入第二转换函数f2(x)的逆函数即可得到目标评估结果。如图3所示，图3为本说明书实施例所提供的一种模型对齐的示意图。在经过步骤s201和s203中的分布转换之后，实际上可以看到无论两个模型的实际分布和取值区间如何不同，第一模型和第二模型已经在目标分布上实际上实现了完全对齐。因此，只需要基于第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数对第一评估结果进行转换，即可以将其映射至第二模型的实际分布中。
[0045]
通过确定第一模型对于目标体的预期分布，确定所述预期分布与目标分布之间的第一转换函数f1(x)；确定第二模型对于所述目标体的实际分布，确定所述实际分布与所述目标分布之间的第二转换函数f2(x)；获取待评估对象，采用所述第一模型生成对于所述待评估对象的第一评估结果；根据所述第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数将所述第一评估结果转换为目标评估结果，从而实现用新老模型同时对齐到目标分
布上，并实现全策略阈值上的新老模型对齐，无需针对策略的关键阈值进行调整，实现客户无感的稳定的模型切换。
[0046]
在一种实施例中，在将第二模型切换至第一模型以后，还可以对切换以后所产生的稳定性进行评估。具体而言，评估方式即为采用所述第一模型生成对于所述多个待评估对象的第一分布；采用所述第二模型生成对于所述多个待评估对象的第二分布；根据所述第一分布和第二分布确定体稳定性指标(population stability index，psi)，用于评估所述第二模型向第一模型切换时的稳定性。
[0047]
显然，若第一分布和第二分布越接近，则第二模型向第一模型切换时的稳定性越高，相应的，体稳定性指标的取值也越小。换言之，体稳定性指标的取值与切换时的稳定性负相关。
[0048]
体稳定性指标的计算方式可以自行定义，例如，一种可行的计算方式，可以是把各个分位段里的人占比差异进行累加放大，即体稳定性指标＝sum(实际占比-预期占比)。
[0049]
在一种实施例中，在计算所述体稳定性指标psi时，可以对所述第二分布进行分箱处理，生成多个箱体(例如，n个，n为大于1的自然数)；确定多个待评估对象在第i个箱体中的第二比例ai；统计所述多个待评估对象的第一分布在第i个箱体中的第一比例ei；根据所述第二比例ai和第一比例ei确定所述体稳定性指标psi。
[0050]
需要说明的是，分箱的方式可以是等频、等距等等方式，分箱方式不同，将导致计算得到的体稳定性指标psi略微有差异。在分箱过程中，若第二分布中的取值是连续型变量(特征变量、模型分数等)，分箱数值可以稍微设置的多些；若第二分布中的取值是离散型变量，则可以考虑提前合并数量较少的小分箱等等。
[0051]
在进行了分箱之后，即可以按相同分箱区间，对第二分布和第一分布分别统计各分箱内的样本占比，即分别确定各箱体中的第一比例ei和第二比例ai，需要说明的是，这里的第一分布指的是第一模型对于待评估对象所得到的目标评估结果的概率分布，进而即可以根据所述第二比例ai和第一比例ei确定所述体稳定性指标psi。
[0052]
在这个过程中，可以首先计算确定在第i个箱体中的第二比例ai和第一比例ei的比值ki，以及，确定在第i个箱体中的第二比例ai和第一比例ei的差值ri，进而根据所述ki和所述ri确定第i个箱体所对应的局部指标值pi。
[0053]
pi的计算方式可以根据实际需要确定，例如，或者等等。进而将多个箱体中的局部指标值pi的和确定为所述体稳定性指标psi，即通过前述方式计算得到的体稳定性指标psi可以从宏观上反映得到第二模型向第一模型切换时的稳定性。
[0054]
在一种实施例中，在将所述第一评估结果转换为目标评估结果时，还可以采用数值计算的方式进行。例如，从scikit-learn python的机器学习库中集成了相应的计算类函数，在给定相应的第一模型对于目标体的多个评估结果时，该计算类函数即可以实现将其对应的映射至目标分布(包括均匀分布或者正太分布)所对应的分值上。相应的，若目标
分布是其它类型的分布形式，则可以预先设计相应的计算类函数即可。换言之，该计算类函数实际上是表征了所述第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数。
[0055]
进而，该计算类函数同样可以基于第二模型对于所述目标体的多个评估结果值，将已经第一模型在目标分布上的分值对应的映射至第二模型的实际分布中。换言之，该过程实际上是基于预设的计算类函数、预期分布以及实际分布，将预期分布中的每一个评估结果在对齐之后转换为实际分布中的一个数值解。在这个过程中，由于无需计算预期分布和实际分布的解析解，讲可以大幅度的提高计算效率。
[0056]
在一种实施例中，由于平台所提供的第一模型实际上可能是提供至多个b端用户使用(例如，一个风控模型可能同时提供至多个金融机构使用)，而不同的b端用户的消费者体不同，这就有可能导致部分b端用户在模型切换以后的体稳定性指标psi满足预设要求，而同时也还有另一部分的b端用户的psi不满足预设要求。
[0057]
此时，当所述体稳定性指标psi不满足预设要求时，确定所述待评估对象所归属的待调整体；将所述第一模型和第二模型对所述待调整体进行单独对齐处理。
[0058]
此处的待调整体即可以认为是由该psi不满足预设要求的b端用户所提供的包含有用户特征的消费者体，而前述的待评估对象则可能是从任意的b端用户中抽取得到的消费者体。
[0059]
进而，可以基于该待调整体，将所述第一模型和第二模型对所述待调整体进行单独对齐处理。此处的单独对齐处理指的是，重复前述步骤中的s201至s207，并将s201至s207中的目标体替换为该待调整体，由于目标体被替换，因此，实际上得到的预期分布、第一转换函数f1(x)、实际分布、第二转换函数f2(x)以及第二转换函数f2(x)的逆函数的表现形式将有所不同，或者，可以将其称为单独对齐的第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数。
[0060]
进而在后续对该psi不满足预设要求的b端用户的消费者体进行评估结果时，同样将又第一模型给出第一评估结果，但在转换时将由单独对齐的第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数进行转换，从而得到单独对齐的目标评估结果。通过该方式，可以满足那些模型切换导致业务不稳定的部分b端用户，提高用户体验。
[0061]
在一种实施例中，在确定可以需要将第二模型切换至第一模型之前，还可以预先对切换时的稳定性进行模拟。即确定所述第一模型和所述第二模型的相关系数；根据所述相关系数确定模拟体稳定性指标psi，其中，所述模拟体稳定性指标psi与切换后所产生的不稳定性正相关。
[0062]
具体而言，可以首先给定任意的实验对象，并基于第一模型给出实验对象的评估结果s
new
，以及，基于第二模型给出实验对象的评估结果s
old
，然后基于预设的相关系数计算函数corr给出新老模型之间的相关系数corr(s
new
，s
old
)。进而，可以基于预设的超参数经验系数a给出模拟体稳定性指标psi＝a*ln[1000*(1-corr(s
new
，s
old
))+1]。
[0063]
在新老模型相关系数较高的情形下，一般而言模拟体稳定性指标psi的取值越低，即切换过程越稳定。随着相关系数降低，相应的模拟体稳定性指标psi的取值将会升高，预示切换过程将越不稳定。因此，模拟体稳定性指标psi可以用于第一模型上线前，评估新老模型切换时可能产生的不稳定的程度，若模拟体稳定性指标psi过大，则可能需要重新调整第一模型，直至第一模型在切换时所产生的psi能够满足要求。通过模拟体稳定
性指标psi的预先计算，可以避免在实际模型切换中导致的不稳定。
[0064]
基于同样的思路，本说明书实施例还提供了上述方法对应的装置和设备，如图4和图5所示。
[0065]
在第二方面，如图4所示，图4为本说明书实施例提供的一种模型切换中的评估装置的结构示意图，包括：
[0066]
第一确定模块401，确定第一模型对于目标体的预期分布，确定所述预期分布与目标分布之间的第一转换函数f1(x)；
[0067]
第二确定模块403，确定第二模型对于所述目标体的实际分布，确定所述实际分布与所述目标分布之间的第二转换函数f2(x)；
[0068]
第一评估模块405，获取待评估对象，采用所述第一模型生成对于所述待评估对象的第一评估结果；
[0069]
转换模块407，根据所述第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数将所述第一评估结果转换为目标评估结果；
[0070]
其中，所述第一模型和第二模型为风控模型，或者，所述第一模型和第二模型为推荐模型。
[0071]
可选地，当所述待评估对象为多个时，所述方法还包括指标计算模块409，采用所述第一模型生成对于所述多个待评估对象的第一分布；采用所述第二模型生成对于所述多个待评估对象的第二分布；根据所述第一分布和第二分布确定体稳定性指标psi，用于评估所述第二模型向第一模型切换时的稳定性。
[0072]
可选地，所述指标计算模块409，对所述第二分布进行分箱处理，生成多个箱体；确定多个待评估对象在第i个箱体中的第二比例ai；统计所述多个待评估对象的第一分布在第i个箱体中的第一比例ei；根据所述第二比例ai和第一比例ei确定所述体稳定性指标psi。
[0073]
可选地，所述指标计算模块409，确定在第i个箱体中的第二比例ai和第一比例ei的比值ki，以及，确定在第i个箱体中的第二比例ai和第一比例ei的差值ri；根据所述ki和所述ri确定第i个箱体所对应的局部指标值pi；将多个局部指标值pi的和确定为所述体稳定性指标psi。
[0074]
可选地，所述转换模块407，采用预设的计算类函数，根据第一评估结果计算对应的数值解，其中，所述计算类函数表征所述第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数；
[0075]
将所述数值解确定为目标评估结果。
[0076]
可选地，所述装置还包括单独处理模块411，当所述体稳定性指标psi不满足预设要求时，确定所述待评估对象所归属的待调整体；将所述第一模型和第二模型对所述待调整体进行单独对齐处理。
[0077]
可选地，所述装置中，所述目标分布包括均匀分布或者正态分布。
[0078]
可选地，所述装置还包括模拟模块413，用于在确定第一模型对于目标体的预期分布之前，确定所述第一模型和所述第二模型的相关系数；根据所述相关系数确定模拟体稳定性指标psi，其中，所述模拟体稳定性指标psi与切换后所产生的不稳定性正相关。
[0079]
在第三方面，如图5所示，图5为本说明书实施例提供的一种电子设备的结构示意
图，所述设备包括：
[0080]
至少一个处理器；以及，
[0081]
与所述至少一个处理器通信连接的存储器；其中，
[0082]
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。
[0083]
在第四方面，基于同样的思路，本说明书实施例还提供了对应于上述方法的一种非易失性计算机存储介质，存储有计算机可执行指令，当计算机读取存储介质中的计算机可执行指令后，该指令使得一个或多个处理器执行如第一方面所述的方法。
[0084]
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmable logic device,pld)(例如现场可编程门阵列(field programmable gate array，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(ruby hardware description language)等，目前最普遍使用的是vhdl(very-high-speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
[0085]
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0086]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，
或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0087]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0088]
本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0089]
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0090]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0091]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0092]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0093]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0094]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0095]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0096]
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0097]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0098]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0099]
以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

技术特征：

1.一种模型切换中的评估方法，包括：确定第一模型对于目标体的预期分布，确定所述预期分布与目标分布之间的第一转换函数f1(x)；确定第二模型对于所述目标体的实际分布，确定所述实际分布与所述目标分布之间的第二转换函数f2(x)；获取待评估对象，采用所述第一模型生成对于所述待评估对象的第一评估结果；根据所述第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数将所述第一评估结果转换为目标评估结果；其中，所述第一模型和第二模型为风控模型，或者，所述第一模型和第二模型为推荐模型。2.如权利要求1所述的方法，其中，当所述待评估对象为多个时，所述方法还包括：采用所述第一模型生成对于所述多个待评估对象的第一分布；采用所述第二模型生成对于所述多个待评估对象的第二分布；根据所述第一分布和第二分布确定体稳定性指标psi，用于评估所述第二模型向第一模型切换时的稳定性。3.如权利要求2所述的方法，其中，根据所述第一分布和第二分布确定体稳定性指标psi，包括：对所述第二分布进行分箱处理，生成多个箱体；确定多个待评估对象在第i个箱体中的第二比例ai；统计所述多个待评估对象的第一分布在第i个箱体中的第一比例ei；根据所述第二比例ai和第一比例ei确定所述体稳定性指标psi。4.如权利要求3所述的方法，其中，根据所述第二比例ai和第一比例ei确定所述体稳定性指标psi，包括：确定在第i个箱体中的第二比例ai和第一比例ei的比值ki，以及，确定在第i个箱体中的第二比例ai和第一比例ei的差值ri；根据所述ki和所述ri确定第i个箱体所对应的局部指标值pi；将多个局部指标值pi的和确定为所述体稳定性指标psi。5.如权利要求1所述的方法，其中，根据所述第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数将所述第一评估结果转换为目标评估结果，包括：采用预设的计算类函数，根据第一评估结果计算对应的数值解，其中，所述计算类函数表征所述第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数；将所述数值解确定为目标评估结果。6.如权利要求2所述的方法，其中，所述方法还包括：当所述体稳定性指标psi不满足预设要求时，确定所述待评估对象所归属的待调整体；将所述第一模型和第二模型对所述待调整体进行单独对齐处理。7.如权利要求1所述的方法，其中，所述目标分布包括均匀分布或者正态分布。8.如权利要求1所述的方法，其中，在确定第一模型对于目标体的预期分布之前，所述方法还包括：
确定所述第一模型和所述第二模型的相关系数；根据所述相关系数确定模拟体稳定性指标psi，其中，所述模拟体稳定性指标psi用于评估模型切换时可能产生的不稳定的程度。9.一种模型切换中的评估装置，包括：第一确定模块，确定第一模型对于目标体的预期分布，确定所述预期分布与目标分布之间的第一转换函数f1(x)；第二确定模块，确定第二模型对于所述目标体的实际分布，确定所述实际分布与所述目标分布之间的第二转换函数f2(x)；第一评估模块，获取待评估对象，采用所述第一模型生成对于所述待评估对象的第一评估结果；转换模块，根据所述第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数将所述第一评估结果转换为目标评估结果。10.一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8任一项所述的方法。

技术总结

本说明书实施例公开了一种模型切换中的评估方法、装置以及设备。通过确定第一模型对于目标体的预期分布，确定所述预期分布与目标分布之间的第一转换函数f1(x)；确定第二模型对于所述目标体的实际分布，确定所述实际分布与所述目标分布之间的第二转换函数f2(x)；获取待评估对象，采用所述第一模型生成对于所述待评估对象的第一评估结果；根据所述第一转换函数f1(x)和所述第二转换函数f2(x)的逆函数将所述第一评估结果转换为目标评估结果，从而实现用新老模型同时对齐到目标分布上，并实现全策略阈值上的新老模型对齐。并实现全策略阈值上的新老模型对齐。并实现全策略阈值上的新老模型对齐。