测试案例生成方法、装置、电子设备及计算机存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种测试案例生成方法、装置、电子设备及计算机存储介质。

背景技术：

2.随着金融技术的高速发展，银行业软件版本数量和上线频次大幅增长，金融系统软件具备业务复杂且业务量大的特点，且对系统稳定性、有效性、准确性和可扩展性的要求比较高，因此金融系统软件在上线前必须经过充分的软件测试，包括功能测试和非功能测试。非功能测试需要结合系统版本业务变化情况、非功能指标值变化情况、系统版本设计变化情况、基础软件变化情况，软件部署变化情况等多维度非功能评估项，设计单交易测试、混合交易测试、稳定性测试、应用集高可用测试、数据库高可用测试、超时测试、流控测试、服务一键式启停测试、极限可恢复测试、一致性测试等案例进行测试，其测试案例的确定需要结合多种非功能评估项综合确定。
3.因此，如何根据系统业务变化及版本变化内容评估非功能测试内容及案例，目前缺乏统一的非功能评估项标准，目前的生成非功能测试案例的方式主要依赖人工经验，但因投产系统版本越来越多，而人员背景、技术经验的不同，因此存在评估结论不准确、案例设计内容覆盖不全、案例设计效率低下的问题，从而导致生成的测试案例准确度不高。

技术实现要素：

4.有鉴于此，本发明实施例提供一种测试案例生成方法、装置、电子设备及计算机存储介质，以解决现有技术中存在的测试案例准确度不高的问题。
5.为实现上述目的，本发明实施例提供如下技术方案：
6.本发明实施例第二方面示出了一种测试案例生产方法，所述方法包括：
7.采集待投产系统版本的第一评估项；
8.将所述第一评估项输入非功能评估模型，基于所述非功能评估模型对所述第一评估项进行处理，输出对应的目标非功能测试案例，所述非功能评估模型用于存储非功能评估项与非功能测试案例之间的关系。
9.可选的，还包括：
10.利用所述目标非功能测试案例对所述待投产系统版本进行测试，得到测试结果；
11.将所述测试结果进行显示。
12.可选的，所述构建非功能评估模型的过程，包括：
13.对采集到各种不同的金融系统投产版本的非功能数据进行归纳处理，得到非功能评估项；
14.收集各种不同的金融系统投产版本的进行非功能测试的测试案例；
15.基于所述非功能评估项、非功能测试的测试案例、和非功能特征画像建立非功能评估模型。
16.可选的，所述基于所述非功能评估模型对所述第一评估项进行处理，输出对应的目标非功能测试案例，包括：
17.遍历非功能评估模型中所述非功能评估项与非功能测试案例之间的关系；
18.从所述非功能评估模型中查与所述第一评估项相同的非功能评估项所对应的非功能测试案例；
19.将所述非功能测试案例作为目标非功能测试案例。
20.本发明实施例第二方面示出了一种测试案例生成装置，所述装置包括：
21.采集模块，用于采集待投产系统版本的第一评估项；
22.案例生成模块，用于将所述第一评估项输入非功能评估模型，基于所述非功能评估模型对所述第一评估项进行处理，输出对应的目标非功能测试案例，所述非功能评估模型由构建模块构建得到。
23.可选的，还包括：
24.处理模块，用于利用所述目标非功能测试案例对所述待投产系统版本进行测试，得到测试结果；
25.将所述测试结果进行显示。
26.可选的，所述构建模块，具体用于：对采集到各种不同的金融系统投产版本的非功能数据进行归纳处理，得到非功能评估项；
27.收集各种不同的金融系统投产版本的进行非功能测试的测试案例；
28.基于所述非功能评估项、非功能测试的测试案例、和非功能特征画像建立非功能评估模型。
29.可选的，所述案例生成模块，具体用于：
30.遍历非功能评估模型中所述非功能评估项与非功能测试案例之间的关系；
31.从所述非功能评估模型中查与所述第一评估项相同的非功能评估项所对应的非功能测试案例；
32.将所述非功能测试案例作为目标非功能测试案例。
33.本发明实施例第三方面示出了一种电子设备，所述电子设备用于运行程序，其中，所述程序运行时执行如本发明实施例第一方面示出的测试案例生成方法。
34.本发明实施例第四方面示出了一种计算机存储介质，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如本发明实施例第一方面示出的测试案例生成方法。
35.基于上述本发明实施例提供的一种测试案例生成方法、装置、电子设备及计算机存储介质，所述方法包括：采集待投产系统版本的第一评估项；将所述第一评估项输入非功能评估模型，基于所述非功能评估模型对所述第一评估项进行处理，输出对应的目标非功能测试案例，所述非功能评估模型用于存储非功能评估项与非功能测试案例之间的关系。在本发明实施例中，通过预先构建的非功能评估模型对采集到的第一评估项目进行处理，即结合投产系统版本多维度评估项的变化情况，通过非功能评估模型进行匹配，得到非功能测试案例。从而解决依靠人工经验存在的评估结论不准确、案例设计内容覆盖不全、案例设计效率低下的问题，进而提高测试案例准确度。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
37.图1为本发明实施例示出的一种测试案例生成方法的流程示意图；
38.图2为本发明实施例示出的构建非功能评估模型的流程示意图；
39.图3为本发明实施例示出的另一种测试案例生成方法的流程示意图；
40.图4为本发明实施例示出的一种测试案例生成装置的结构示意图；
41.图5为本发明实施例示出的另一种测试案例生成装置的结构示意图。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
44.需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
45.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
46.为了方便理解，以下对本发明实施例中出现的术语进行解释说明：
47.非功能测试：一种软件测试类型，用于检查软件版本的非功能性方面，提高软件的性能效率、可用性、可维护性、可扩展性，降低非功能特性相关投产风险。
48.非功能特性：包括系统的性能效率、可靠性、可扩展性、可维护性四个方面。
49.非功能评估项：影响版本非功能特性的项，例如应用版本业务变化情况、非功能指
标值变化情况、应用设计变化情况、基础软件变化情况，软件部署变化情况等。
50.非功能评估模型：基于非功能评估项和非功能标准案例集，设置评估规则，建立非功能评估模型，依据非功能评估项变化情况匹配非功能案例集，自动生成测试案例。
51.非功能指标：衡量非功能需求的指标项，如系统处理能力、交易响应时间、ap资源使用率等。
52.非功能指标值：非功能指标对应的具体值。
53.非功能测试案例：非功能测试内容的标准化和可执行化体现，包括单交易案例、混合交易案例、稳定性案例、应用集高可用案例等。
54.参见图1，为本发明实施例示出了一种测试案例生成方法的流程示意图，所述方法包括：
55.步骤s101：采集待投产系统版本的第一评估项。
56.需要说明的是，第一评估项为非功能评估项。
57.在具体实现步骤s101的过程中，对各待投产系统版本进行第一评估项，即非功能评估项数据采集，批量获取各金融系统非功能评估项数据新值，以将其作为非功能评估模型的输入数据。
58.步骤s102：将所述第一评估项输入非功能评估模型，基于所述非功能评估模型对所述第一评估项进行处理，输出对应的目标非功能测试案例。
59.在步骤s102中，所述非功能评估模型用于存储非功能评估项与非功能测试案例之间的关系。
60.需要说明的是，具体构建非功能评估模型的过程，如图2所示，包括：
61.步骤s201：对采集到各种不同的金融系统投产版本的非功能数据进行归纳处理，得到非功能评估项。
62.在具体实现步骤s201的过程中，对不同金融系统投产版本的业务特点和技术特点进行归纳，形成标准的非功能评估项。
63.非功能评估项包括非功能指标评估项，非功能设计评估项，整体版本评估项。
64.其中，非功能指标评估项包括典型交易处理时间、一般营业日系统交易处理能力、特殊营业日系统交易处理能力、系统日交易总量、系统每日对外提供服务时长、日间批处理数据量、日间批处理时间窗口、日终批处理数据量、以及日终批处理时间窗口等数据。也就是说，将金融系统投产版本中与上述数据项相关的数据划分为非功能指标评估项。
65.非功能设计评估项包括应用集高可用性设计、灾备切换机制或脚本设计、批处理续跑或重跑设计、流控机制设计、超时机制设计、服务启停设计、服务自我拉起设计、以及交易一致性设计等数据。也就是说，将金融系统投产版本中与上述数据项相关的数据划分为非功能设计评估项。
66.整体版本评估项包括项目类型、业务场景、平台框架和公共组件客户端升级、应用集&数据库集部署方式、底层技术栈、操作系统&中间件&数据库版本、重要技术参数调整、以及联机交易情况等数据。也就是说，将金融系统投产版本中与上述数据项相关的数据划分为整体版本评估项。
67.步骤s202：收集各种不同的金融系统投产版本的进行非功能测试的测试案例。
68.在具体实现步骤s202的过程中，对非功能测试案例执行过程进行归纳，形成标准
化规范化的测试案例。
69.测试案例包括案例名称、案例类型、案例描述、执行步骤、预期结果等信息。
70.案例类型涵盖性能效率、可用性、可维护性、可扩展性测试，具体包括单交易基准案例、单交易负载案例、混合交易案例、稳定性案例、批处理效率案例、应用集机制有效性案例、数据库集机制有效性案例、批处理续跑或重跑有效性案例、流控有效性案例、超时有效性案例、灾备切换案例、交易一致性测试案例、极限可恢复案例、服务一键式启停案例、服务进程自我拉起测试案例、ap可扩展案例、以及db可扩展案例等类型。
71.下面举例说明标准的测试案例，如表(1)所示。
72.表(1)：
73.74.75.76.[0077][0078]
步骤s203：基于所述非功能评估项目和预设评估项初始值建立非功能特征画像。
[0079]
在具体实现步骤s203的过程中，选取非功能评估项，以及预先设置的评估项初始值，即原值，建立非功能特征画像。
[0080]
需要说明的是，每个金融系统的非功能特性画像仅需初期采集一次，后续可通过每次投产版本的采集评估项变化情况，自动更新各系统非功能画像；
[0081]
比如，某金融系统非功能特性画像可如表(2)所示。
[0082]
表(2)：
[0083]
[0084][0085]
步骤s204：基于所述非功能评估项、非功能测试的测试案例、和非功能特征画像建立非功能评估模型。
[0086]
在具体实现步骤s204的过程中，结合非功能评估项变化情况，设置对应的模型规则；构建所述非功能评估项、非功能测试的测试案例、和非功能特征画像之间的对应关系；并基于所述对应关系构建非功能评估模型，也就是说，将所述非功能评估项、非功能测试的测试案例、和非功能特征画像之间的对应关系存储至非功能评估模型。
[0087]
非功能评估模型中存储的非功能评估项、非功能测试的测试案例、和非功能特征画像之间的对应关系可如表(3)所示。
[0088]
表(3)：
[0089]
[0090]
[0091]
[0092]
[0093]
[0094]
[0095][0096]
在具体实现步骤s102的过程中，将所述第一评估项输入非功能评估模型，以遍历非功能评估模型中所述非功能评估项与非功能测试案例之间的关系，从非功能评估模型中查与所述第一评估项相同的非功能评估项所对应的非功能测试案例，将其作为目标非功能测试案例。
[0097]
在本发明实施例中，通过预先构建的非功能评估模型对采集到的第一评估项目进行处理，即结合投产系统版本多维度评估项的变化情况，通过非功能评估模型进行匹配，得到非功能测试案例。从而解决依靠人工经验存在的评估结论不准确、案例设计内容覆盖不全、案例设计效率低下的问题，进而提高测试案例准确度。
[0098]
基于上述本发明实施例示出的测试案例生成方法，相应的，本发明实施例还对应公开了另一种测试案例生成方法的流程示意图，如图3所示，所述方法包括：
[0099]
步骤s301：采集待投产系统版本的第一评估项。
[0100]
步骤s302：将所述第一评估项输入非功能评估模型，基于所述非功能评估模型对所述第一评估项进行处理，输出对应的目标非功能测试案例。
[0101]
在步骤s302中，所述非功能评估模型用于存储非功能评估项与非功能测试案例之间的关系。
[0102]
需要说明的是，步骤s301至步骤s302的具体实现过程与上述步骤s101至步骤s102的具体实现过程相同，可相互参见。
[0103]
步骤s303：利用所述目标非功能测试案例对所述待投产系统版本进行测试，得到测试结果。
[0104]
在具体实现步骤s303的过程中，通过所述目标非功能测试案例对所述待投产系统版本进行测试，得到测试结果。
[0105]
步骤s304：将所述测试结果进行显示。
[0106]
在具体实现步骤s304的过程中，将测试通过或测试不通过的测试结果显示给用户。若测试结果为测试通过时，可确定所述待投产系统版本可投入生产；若测试结果为测试不通过时，可确定所述待投产系统版本不可投入生产。
[0107]
可选的，在测试通过，且投产系统版本投产上线后，利用步骤s101采集到的非功能评估项，第一评估项的新值情况，更新各系统评估项原值，以及更新各系统非功能特性画像。
[0108]
在本发明实施例中，通过预先构建的非功能评估模型对采集到的第一评估项目进行处理，即结合投产系统版本多维度评估项的变化情况，通过非功能评估模型进行匹配，得到非功能测试案例。从而解决依靠人工经验存在的评估结论不准确、案例设计内容覆盖不全、案例设计效率低下的问题，进而提高测试案例准确度。通过所述目标非功能测试案例对所述待投产系统版本进行测试，得到测试结果，将所述测试结果进行显示。
[0109]
基于上述本发明实施例示出的测试案例生成方法，相应的，本发明实施例还对应公开了另一种测试案例生成装置，如图4所示，所述装置包括：
[0110]
采集模块401，用于采集待投产系统版本的第一评估项；
[0111]
案例生成模块402，用于将所述第一评估项输入非功能评估模型，基于所述非功能评估模型对所述第一评估项进行处理，输出对应的目标非功能测试案例，所述非功能评估模型由构建模块403构建得到。
[0112]
需要说明的是，上述本发明实施例公开的测试案例生成装置中的各个单元具体的原理和执行过程，与上述本发明实施示出的测试案例生成方法相同，可参见上述本发明实施例公开的测试案例生成方法中相应的部分，这里不再进行赘述。
[0113]
在本发明实施例中，通过预先构建的非功能评估模型对采集到的第一评估项目进行处理，即结合投产系统版本多维度评估项的变化情况，通过非功能评估模型进行匹配，得到非功能测试案例。从而解决依靠人工经验存在的评估结论不准确、案例设计内容覆盖不全、案例设计效率低下的问题，进而提高测试案例准确度。
[0114]
可选的，基于上述本发明实施例示出的测试案例生成装置，结合图4，参见图5，所述装置还包括：
[0115]
处理模块404，用于利用所述目标非功能测试案例对所述待投产系统版本进行测试，得到测试结果；将所述测试结果进行显示。
[0116]
在本发明实施例中，通过预先构建的非功能评估模型对采集到的第一评估项目进行处理，即结合投产系统版本多维度评估项的变化情况，通过非功能评估模型进行匹配，得
到非功能测试案例。从而解决依靠人工经验存在的评估结论不准确、案例设计内容覆盖不全、案例设计效率低下的问题，进而提高测试案例准确度。通过所述目标非功能测试案例对所述待投产系统版本进行测试，得到测试结果，将所述测试结果进行显示。
[0117]
可选的，基于上述本发明实施例示出的测试案例生成装置，所述构建模块403，具体用于：对采集到各种不同的金融系统投产版本的非功能数据进行归纳处理，得到非功能评估项；
[0118]
收集各种不同的金融系统投产版本的进行非功能测试的测试案例；
[0119]
基于所述非功能评估项、非功能测试的测试案例、和非功能特征画像建立非功能评估模型。
[0120]
可选的，基于上述本发明实施例示出的测试案例生成装置，所述案例生成模块402，具体用于：
[0121]
遍历非功能评估模型中所述非功能评估项与非功能测试案例之间的关系；
[0122]
从所述非功能评估模型中查与所述第一评估项相同的非功能评估项所对应的非功能测试案例；
[0123]
将所述非功能测试案例作为目标非功能测试案例。
[0124]
本发明实施例还公开了一种电子设备，该电子设备用于运行数据库存储过程，其中，所述运行数据库存储过程时执行上述图1至图3公开的测试案例生成方法。
[0125]
本发明实施例还公开了一种计算机存储介质，所述存储介质包括存储数据库存储过程，其中，在所述数据库存储过程运行时控制所述存储介质所在设备执行上述图1至图3公开的测试案例生成方法。
[0126]
在本公开的上下文中，计算机存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0127]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0128]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些
功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0129]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：

1.一种测试案例生成方法，其特征在于，所述方法包括：采集待投产系统版本的第一评估项；将所述第一评估项输入非功能评估模型，基于所述非功能评估模型对所述第一评估项进行处理，输出对应的目标非功能测试案例，所述非功能评估模型用于存储非功能评估项与非功能测试案例之间的关系。2.根据权利要求1所述的方法，其特征在于，还包括：利用所述目标非功能测试案例对所述待投产系统版本进行测试，得到测试结果；将所述测试结果进行显示。3.根据权利要求1所述的方法，其特征在于，所述构建非功能评估模型的过程，包括：对采集到各种不同的金融系统投产版本的非功能数据进行归纳处理，得到非功能评估项；收集各种不同的金融系统投产版本的进行非功能测试的测试案例；基于所述非功能评估项、非功能测试的测试案例、和非功能特征画像建立非功能评估模型。4.根据权利要求1所述的方法，其特征在于，所述基于所述非功能评估模型对所述第一评估项进行处理，输出对应的目标非功能测试案例，包括：遍历非功能评估模型中所述非功能评估项与非功能测试案例之间的关系；从所述非功能评估模型中查与所述第一评估项相同的非功能评估项所对应的非功能测试案例；将所述非功能测试案例作为目标非功能测试案例。5.一种测试案例生成装置，其特征在于，所述装置包括：采集模块，用于采集待投产系统版本的第一评估项；案例生成模块，用于将所述第一评估项输入非功能评估模型，基于所述非功能评估模型对所述第一评估项进行处理，输出对应的目标非功能测试案例，所述非功能评估模型由构建模块构建得到。6.根据权利要求5所述的装置，其特征在于，还包括：处理模块，用于利用所述目标非功能测试案例对所述待投产系统版本进行测试，得到测试结果；将所述测试结果进行显示。7.根据权利要求5所述的装置，其特征在于，所述构建模块，具体用于：对采集到各种不同的金融系统投产版本的非功能数据进行归纳处理，得到非功能评估项；收集各种不同的金融系统投产版本的进行非功能测试的测试案例；基于所述非功能评估项、非功能测试的测试案例、和非功能特征画像建立非功能评估模型。8.根据权利要求5所述的装置，其特征在于，所述案例生成模块，具体用于：遍历非功能评估模型中所述非功能评估项与非功能测试案例之间的关系；从所述非功能评估模型中查与所述第一评估项相同的非功能评估项所对应的非功能测试案例；将所述非功能测试案例作为目标非功能测试案例。
9.一种电子设备，其特征在于，所述电子设备用于运行程序，其中，所述程序运行时执行如权利要求1-4中任一所述的测试案例生成方法。10.一种计算机存储介质，其特征在于，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-4中任一所述的测试案例生成方法。

技术总结

本发明提供一种测试案例生成方法、装置、电子设备及计算机存储介质，所述方法包括：采集待投产系统版本的第一评估项；将所述第一评估项输入非功能评估模型，基于所述非功能评估模型对所述第一评估项进行处理，输出对应的目标非功能测试案例，所述非功能评估模型用于存储非功能评估项与非功能测试案例之间的关系。在本发明实施例中，通过预先构建的非功能评估模型对采集到的第一评估项目进行处理，即结合投产系统版本多维度评估项的变化情况，通过非功能评估模型进行匹配，得到非功能测试案例。从而解决依靠人工经验存在的评估结论不准确、案例设计内容覆盖不全、案例设计效率低下的问题，进而提高测试案例准确度。进而提高测试案例准确度。进而提高测试案例准确度。