基于虚拟机的张量数据计算推理方法、装置及存储介质与流程

1.本发明涉及深度学习技术领域，尤其涉及基于虚拟机的张量数据计算推理方法、装置及存储介质。

背景技术：

2.随着人工智能的不断发展，使得深度学习技术在各行各样受到了广泛应用，而深度学习的应用就离不开推理框架，例如，tensorflow、pytorch以及tnn等框架，但是不同的推理框架的功能不同，例如，tensorflow和pytorch是平台级框架，可用于训练和推理，而tnn框架只能用于推理，无论是哪种功能的框架，在其背后均适配了一些相关加速设备，例如，nvidia gpu、apple m1以及arm等，而不同推理框架的适配和优化程度又不尽相同，且不同种类的框架又因为训练平台不一样，需要适配多种模型文件，以及模型文件包括多种数据类型、操作流以及数据流，最终造成深度学习推理的碎片化，而这种碎片化，使得开发者在进行模型推理时增加了额外的开发工作，而且还需要开发者了解各种框架和平台之间的转换方式，加速设备的优化方式，造成开发工作量较为繁琐。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

4.本发明的主要目的在于提供一种基于虚拟机的张量数据计算推理方法、装置及存储介质，旨在解决现有技术无法适应各种框架和平台的计算推理，造成开发者进行模型推理的开发工作量较为繁琐的技术问题。
5.为实现上述目的，本发明提供了一种基于虚拟机的张量数据计算推理方法，所述基于虚拟机的张量数据计算推理方法包括以下步骤：
6.获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元；
7.根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码；
8.根据所述目标自解码和加速设备操作信息构建目标设备可执行文件；
9.根据所述目标设备可执行文件和模型类型对目标张量数据进行推理。
10.可选地，所述获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元，包括：
11.获取指定输入模型文件，根据所述指定输入模型文件得到对应的数值权重、张量结构以及计算图；
12.分别获取所述数值权重、所述张量结构以及所述计算图的数据格式；
13.在满足所述数值权重、所述张量结构以及所述计算图之间任意两者之间的所述数据格式不一致的条件时，通过前端输入层将所述数值权重、张量结构以及计算图转换成目标统一格式中间表示元。
14.可选地，所述根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码，包括：
15.获取中间转换层的层数，根据所述中间转换层的层数和中间层次优化策略得到设置在各层的数据优化策略；
16.根据所述各层的数据优化策略分别对所述目标统一格式中间表示元进行优化，得到张量计算模型文件；
17.根据所述张量计算模型文件生成目标自解码。
18.可选地，所述根据所述张量计算模型文件生成目标自解码，包括：
19.根据所述张量计算模型文件得到对应的文件类型和张量计算模型数据；
20.根据所述文件类型在编码策略集合中选取目标编码策略；
21.通过所述目标编码策略对所述张量计算模型数据进行编码，得到目标自解码。
22.可选地，所述根据所述目标自解码和加速设备操作信息构建目标设备可执行文件，包括：
23.获取若干数量的处理器信息和加速设备信息；
24.根据所述处理器信息和所述加速设备信息得到若干数量计算数据库；
25.通过所述若干数量计算数据库和预设数据库根据所述目标自解码逐层生成目标运行设备编码；
26.根据所述目标运行设备编码和所述加速设备操作信息构建目标设备可执行文件。
27.可选地，所述根据所述目标运行设备编码和所述加速设备操作信息构建目标设备可执行文件，包括：
28.根据所述加速设备操作信息得到加速设备支持操作信息和加速设备不支持操作信息；
29.根据所述加速设备支持操作信息将所述目标运行设备编码导入至加速设备进行执行，得到加速设备执行结果；
30.根据所述加速设备不支持操作信息将所述目标设备编码导入至目标处理设备进行执行，得到处理设备执行结果；
31.根据所述加速设备执行结果和所述处理设备执行结果构建目标设备可执行文件。
32.可选地，所述根据所述目标设备可执行文件和模型类型对目标张量数据进行推理，包括：
33.获取待运行设备信息，根据所述待运行设备信息确定目标运行设备；
34.通过所述目标运行设备对所述目标设备可执行文件进行执行，得到文件执行结果；
35.根据所述目标设备可执行文件确定模型类型；
36.根据所述文件执行结果和所述模型类型对目标张量数据进行推理。
37.此外，为实现上述目的，本发明还提出一种基于虚拟机的张量数据计算推理装置，所述基于虚拟机的张量数据计算推理装置包括：
38.获取模块，用于获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元；
39.生成模块，用于根据所述目标统一格式中间表示元和中间层优化策略生成目标自
解码；
40.构建模块，用于根据所述目标自解码和加速设备操作信息构建目标设备可执行文件；
41.推理模块，用于根据所述目标设备可执行文件和模型类型对目标张量数据进行推理。
42.此外，为实现上述目的，本发明还提出一种基于虚拟机的张量数据计算推理设备，所述基于虚拟机的张量数据计算推理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于虚拟机的张量数据计算推理程序，所述基于虚拟机的张量数据计算推理程序配置为实现如上文所述的基于虚拟机的张量数据计算推理方法。
43.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于虚拟机的张量数据计算推理程序，所述基于虚拟机的张量数据计算推理程序被处理器执行时实现如上文所述的基于虚拟机的张量数据计算推理方法。
44.本发明提出的基于虚拟机的张量数据计算推理方法，通过获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元；根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码；根据所述目标自解码和加速设备操作信息构建目标设备可执行文件；根据所述目标设备可执行文件和模型类型对目标张量数据进行推理；通过上述方式，基于前端接入层进行格式统一，然后基于中间转换层和中间层优化策略进行数据优化，再基于终端执行层构建的目标设备可执行文件和模型类型进行计算推理，从而能够适应各种框架和平台的计算推理，且简化开发者进行模型推理的开发工作量。
附图说明
45.图1是本发明实施例方案涉及的硬件运行环境的基于虚拟机的张量数据计算推理设备的结构示意图；
46.图2为本发明基于虚拟机的张量数据计算推理方法第一实施例的流程示意图；
47.图3为本发明基于虚拟机的张量数据计算推理方法第二实施例的流程示意图；
48.图4为本发明基于虚拟机的张量数据计算推理装置第一实施例的功能模块示意图。
49.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
50.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
51.参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于虚拟机的张量数据计算推理设备结构示意图。
52.如图1所示，该基于虚拟机的张量数据计算推理设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器
(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
53.本领域技术人员可以理解，图1中示出的结构并不构成对基于虚拟机的张量数据计算推理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
54.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于虚拟机的张量数据计算推理程序。
55.在图1所示的基于虚拟机的张量数据计算推理设备中，网络接口1004主要用于与网络一体化平台工作站进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于虚拟机的张量数据计算推理设备中的处理器1001、存储器1005可以设置在基于虚拟机的张量数据计算推理设备中，所述基于虚拟机的张量数据计算推理设备通过处理器1001调用存储器1005中存储的基于虚拟机的张量数据计算推理程序，并执行本发明实施例提供的基于虚拟机的张量数据计算推理方法。
56.基于上述硬件结构，提出本发明基于虚拟机的张量数据计算推理方法实施例。
57.参照图2，图2为本发明基于虚拟机的张量数据计算推理方法第一实施例的流程示意图。
58.在第一实施例中，所述基于虚拟机的张量数据计算推理方法包括以下步骤：
59.步骤s10，获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元。
60.需要说明的是，本实施例的执行主体为基于虚拟机的张量数据计算推理设备，还可为其他可实现相同或相似功能的设备，例如面向张量计算的虚拟机等，本实施例对此不作限制，在本实施例中，以面向张量计算的虚拟机为例进行说明。
61.应当理解的是，面向张量计算的虚拟机(bayesvm，bvm)支持多种深度学习框架的模型文件和多种加速设备，bvm的设计结构包括三层，分别为前端接入层、中间转换层以及终端执行层，且应用于深度学习推理领域。
62.可以理解的是，指定输入模型文件指的是需要部署至加速设备上的模型对应的文件，指定输入模型文件可以为多种类型，目标统一格式中间表示元指的是由指定输入模型文件中各个数据构建的中间表示元，目标统一格式中间表示元是为了给下一层的中间转换层使用。
63.进一步地，步骤s10，包括：获取指定输入模型文件，根据所述指定输入模型文件得到对应的数值权重、张量结构以及计算图；分别获取所述数值权重、所述张量结构以及所述计算图的数据格式；在满足所述数值权重、所述张量结构以及所述计算图之间任意两者之间的所述数据格式不一致的条件时，通过前端输入层将所述数值权重、张量结构以及计算图转换成目标统一格式中间表示元。
64.可以理解的是，bvm在接收到指定输入模型文件后，由于每种深度学习框架的模型文件格式并不相同，因此，需要对指定输入模型文件进行格式统一，具体是根据指定输入模型文件得到对应的数值权重、张量结构以及计算图，然后判断数值权重、张量结构以及计算图的数据格式是否均相同，若是，则直接传输至中间转换层进行处理，若否，则通过前端接
入层将数值权重、张量结构以及计算图统一成相同格式的中间表示元，即目标统一格式中间表示元。
65.步骤s20，根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码。
66.可以理解的是，目标自解码指的是深度自解编码，目标自解码是为了给下一层的终端执行层使用，中间层优化策略指的是设置在中间转换层的各层的优化策略，并且每一层可以设置一个或者多个优化策略，例如，算子融合优化策略、矩阵分解优化策略，例如，通过算子融合优化策略减少数据在显存和内存之间的交换次数，以及通过矩阵分解优化策略增加并行性，在得到目标统一格式中间表示元后，通过中间层优化策略对目标统一格式中间表示元进行优化，以生成目标自解码。
67.步骤s30，根据所述目标自解码和加速设备操作信息构建目标设备可执行文件。
68.应当理解的是，加速设备操作信息包括加速设备支持的操作信息和加速设备不支持的操作信息，目标设备可执行文件指的是在目标设备上可以正常执行的文件，在执行加速设备操作信息后，生成的目标自解码会自动构建出目标设备可执行文件，而目标设备是在bvm所在的系统运行时指定需要运行的设备。
69.进一步地，步骤s30，包括：获取若干数量的处理器信息和加速设备信息；根据所述处理器信息和所述加速设备信息得到若干数量计算数据库；通过所述若干数量计算数据库和预设数据库根据所述目标自解码逐层生成目标运行设备编码；根据所述目标运行设备编码和所述加速设备操作信息构建目标设备可执行文件。
70.可以理解的是，由于目标设备包括不同架构，在运行过程中会使用到处理器和加速设备，例如，cpu、gpu以及npu，处理器信息指的是目标设备在运行是所使用处理器信息，处理器信息包括但不限于处理器数量、处理器类型等信息，同样，加速设备信息指的是部署目标设备至加速设备的信息，该加速设备信息包括但不限于加速设备数量、加速设备类型等信息，而加速设备又封装成对应的计算库，即若干数量计算数据库，包括但不限于cuda、tensorrt、compute library以及rocm，预设数据库指的是不同厂商的硬件芯片所独有的计算库，基于若干数量计算数据库和预设数据库由目标自解码逐层生成目标运行设备编码。
71.进一步地，所述根据所述目标运行设备编码和所述加速设备操作信息构建目标设备可执行文件，包括：根据所述加速设备操作信息得到加速设备支持操作信息和加速设备不支持操作信息；根据所述加速设备支持操作信息将所述目标运行设备编码导入至加速设备进行执行，得到加速设备执行结果；根据所述加速设备不支持操作信息将所述目标设备编码导入至目标处理设备进行执行，得到处理设备执行结果；根据所述加速设备执行结果和所述处理设备执行结果构建目标设备可执行文件。
72.应当理解的是，加速设备支持操作信息指的是加速设备支持的操作信息，同样，加速设备不支持信息指的是加速设备不支持的操作信息，在生成目标运行设备编码后，会优先使用加速设备支持操作信息去执行目标运行设备编码，得到加速设备执行结果，然后根据加速设备不支持操作信息将目标设备编码留在cpu执行，得到处理设备执行结果，从而实现兼顾加速和通用，在执行完成后，根据加速设备执行结果和处理设备执行结果构建目标设备可执行文件。
73.步骤s40，根据所述目标设备可执行文件和模型类型对目标张量数据进行推理。
74.可以理解的是，模型类型指的是指定输入模型文件对应的模型的类型，在得到目
标设备可执行文件后，在目标运行设备上对目标设备可执行文件进行执行，执行完成后，得到目标张量数据的推理结果，例如，模型类型为图像识别模型，在执行完成后，输出的推理结果为图像特征。
75.进一步地，步骤s40，包括：获取待运行设备信息，根据所述待运行设备信息确定目标运行设备；通过所述目标运行设备对所述目标设备可执行文件进行执行，得到文件执行结果；根据所述目标设备可执行文件确定模型类型；根据所述文件执行结果和所述模型类型对目标张量数据进行推理。
76.应当理解的是，待运行设备信息指的是开发人员所需要运行的设备信息，根据待运行设备信息确定目标运行设备，然后将目标设备可执行文件导入至目标运行设备中进行执行，以得到文件执行结果，然后根据文件执行结果和模型类型对目标张量数据进行推理，即根据模型类型得到目标张量数据的推理结果的类型，然后根据文件执行结果和模型类型得到目标张量数据的推理结果。
77.本实施例通过获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元；根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码；根据所述目标自解码和加速设备操作信息构建目标设备可执行文件；根据所述目标设备可执行文件和模型类型对目标张量数据进行推理；通过上述方式，基于前端接入层进行格式统一，然后基于中间转换层和中间层优化策略进行数据优化，再基于终端执行层构建的目标设备可执行文件和模型类型进行计算推理，从而能够适应各种框架和平台的计算推理，且简化开发者进行模型推理的开发工作量。
78.在一实施例中，如图3所述，基于第一实施例提出本发明基于虚拟机的张量数据计算推理方法第二实施例，所述步骤s20，包括：
79.步骤s201，获取中间转换层的层数，根据所述中间转换层的层数和中间层次优化策略得到设置在各层的数据优化策略。
80.应当理解的是，层数指的是中间转换层所有的分层数量，中间层次优化策略指的是设置在中间转换层的优化策略，中间层次优化策略可以为多个，然后根据层数和中间层次优化策略得到设置在各层的数据优化策略，例如，设置在第一层的数据优化策略为算子融合优化策略，设置在第二层的数据优化策略为算子融合优化策略和矩阵分解优化策略。
81.步骤s202，根据所述各层的数据优化策略分别对所述目标统一格式中间表示元进行优化，得到张量计算模型文件。
82.可以理解的是，由于每种模型文件和目标设备之间各有差异，直接运行会出现不能适配的情况，即便可以适配也不能得到最佳性能方案，因此，需要进行格式转换，具体为在得到前端接入层给予的目标统一格式中间表示元后，中间转换层会按照指定目标的各个分层采用数据优化策略对目标统一格式中间表示元进行多层次的优化。
83.步骤s203，根据所述张量计算模型文件生成目标自解码。
84.进一步地，步骤s203，包括：根据所述张量计算模型文件得到对应的文件类型和张量计算模型数据；根据所述文件类型在编码策略集合中选取目标编码策略；通过所述目标编码策略对所述张量计算模型数据进行编码，得到目标自解码。
85.可以理解的是，文件类型指的是张量计算模型文件的类型，张量计算模型数据指的是张量计算模型文件中的各个数据，目标编码策略指的是将数据进行编码的策略，目标
编码策略是通过文件类型在编码集中选取与张量计算模型数据相适应的编码策略，然后通过目标编码策略对张量计算模型数据进行编码，以得到目标自解码。
86.本实施例通过获取中间转换层的层数，根据所述中间转换层的层数和中间层次优化策略得到设置在各层的数据优化策略；根据所述各层的数据优化策略分别对所述目标统一格式中间表示元进行优化，得到张量计算模型文件；根据所述张量计算模型文件生成目标自解码；通过上述方式，根据中间转换层的层数和中间层次优化策略得到设置在各层的数据优化策略，然后根据指定的目标通过各层的数据优化策略分别对目标统一格式中间表示元进行优化，在优化完成后，得到张量计算模型文件，然后根据张量计算模型文件自动生成目标自解码，从而能够有效提高生成目标自解码的准确性，进而提高模型文件与目标设备之间的适配性。
87.此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于虚拟机的张量数据计算推理程序，所述基于虚拟机的张量数据计算推理程序被处理器执行时实现如上文所述的基于虚拟机的张量数据计算推理方法的步骤。
88.由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
89.此外，参照图4，本发明实施例还提出一种基于虚拟机的张量数据计算推理装置，所述基于虚拟机的张量数据计算推理装置包括：
90.获取模块10，用于获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元。
91.生成模块20，用于根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码。
92.构建模块30，用于根据所述目标自解码和加速设备操作信息构建目标设备可执行文件。
93.推理模块40，用于根据所述目标设备可执行文件和模型类型对目标张量数据进行推理。
94.本实施例通过获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元；根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码；根据所述目标自解码和加速设备操作信息构建目标设备可执行文件；根据所述目标设备可执行文件和模型类型对目标张量数据进行推理；通过上述方式，基于前端接入层进行格式统一，然后基于中间转换层和中间层优化策略进行数据优化，再基于终端执行层构建的目标设备可执行文件和模型类型进行计算推理，从而能够适应各种框架和平台的计算推理，且简化开发者进行模型推理的开发工作量。
95.需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
96.另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于虚拟机的张量数据计算推理方法，此处不再赘述。
97.在一实施例中，所述获取模块10，还用于获取指定输入模型文件，根据所述指定输入模型文件得到对应的数值权重、张量结构以及计算图；分别获取所述数值权重、所述张量
结构以及所述计算图的数据格式；在满足所述数值权重、所述张量结构以及所述计算图之间任意两者之间的所述数据格式不一致的条件时，通过前端输入层将所述数值权重、张量结构以及计算图转换成目标统一格式中间表示元。
98.在一实施例中，所述生成模块20，还用于获取中间转换层的层数，根据所述中间转换层的层数和中间层次优化策略得到设置在各层的数据优化策略；根据所述各层的数据优化策略分别对所述目标统一格式中间表示元进行优化，得到张量计算模型文件；根据所述张量计算模型文件生成目标自解码。
99.在一实施例中，所述生成模块20，还用于根据所述张量计算模型文件得到对应的文件类型和张量计算模型数据；根据所述文件类型在编码策略集合中选取目标编码策略；通过所述目标编码策略对所述张量计算模型数据进行编码，得到目标自解码。
100.在一实施例中，所述构建模块30，还用于获取若干数量的处理器信息和加速设备信息；根据所述处理器信息和所述加速设备信息得到若干数量计算数据库；通过所述若干数量计算数据库和预设数据库根据所述目标自解码逐层生成目标运行设备编码；根据所述目标运行设备编码和所述加速设备操作信息构建目标设备可执行文件。
101.在一实施例中，所述构建模块30，还用于根据所述加速设备操作信息得到加速设备支持操作信息和加速设备不支持操作信息；根据所述加速设备支持操作信息将所述目标运行设备编码导入至加速设备进行执行，得到加速设备执行结果；根据所述加速设备不支持操作信息将所述目标设备编码导入至目标处理设备进行执行，得到处理设备执行结果；根据所述加速设备执行结果和所述处理设备执行结果构建目标设备可执行文件。
102.在一实施例中，所述推理模块40，还用于获取待运行设备信息，根据所述待运行设备信息确定目标运行设备；通过所述目标运行设备对所述目标设备可执行文件进行执行，得到文件执行结果；根据所述目标设备可执行文件确定模型类型；根据所述文件执行结果和所述模型类型对目标张量数据进行推理。
103.本发明所述基于虚拟机的张量数据计算推理装置的其他实施例或具有实现方法可参照上述各方法实施例，此处不在赘余。
104.此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
105.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
106.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(read only memory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，一体化平台工作站，或者网络设备等)执行本发明各个实施例所述的方法。
107.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发
明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：

1.一种基于虚拟机的张量数据计算推理方法，其特征在于，所述基于虚拟机的张量数据计算推理方法包括以下步骤：获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元；根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码；根据所述目标自解码和加速设备操作信息构建目标设备可执行文件；根据所述目标设备可执行文件和模型类型对目标张量数据进行推理。2.如权利要求1所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元，包括：获取指定输入模型文件，根据所述指定输入模型文件得到对应的数值权重、张量结构以及计算图；分别获取所述数值权重、所述张量结构以及所述计算图的数据格式；在满足所述数值权重、所述张量结构以及所述计算图之间任意两者之间的所述数据格式不一致的条件时，通过前端输入层将所述数值权重、张量结构以及计算图转换成目标统一格式中间表示元。3.如权利要求1所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码，包括：获取中间转换层的层数，根据所述中间转换层的层数和中间层次优化策略得到设置在各层的数据优化策略；根据所述各层的数据优化策略分别对所述目标统一格式中间表示元进行优化，得到张量计算模型文件；根据所述张量计算模型文件生成目标自解码。4.如权利要求3所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述根据所述张量计算模型文件生成目标自解码，包括：根据所述张量计算模型文件得到对应的文件类型和张量计算模型数据；根据所述文件类型在编码策略集合中选取目标编码策略；通过所述目标编码策略对所述张量计算模型数据进行编码，得到目标自解码。5.如权利要求1所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述根据所述目标自解码和加速设备操作信息构建目标设备可执行文件，包括：获取若干数量的处理器信息和加速设备信息；根据所述处理器信息和所述加速设备信息得到若干数量计算数据库；通过所述若干数量计算数据库和预设数据库根据所述目标自解码逐层生成目标运行设备编码；根据所述目标运行设备编码和所述加速设备操作信息构建目标设备可执行文件。6.如权利要求5所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述根据所述目标运行设备编码和所述加速设备操作信息构建目标设备可执行文件，包括：根据所述加速设备操作信息得到加速设备支持操作信息和加速设备不支持操作信息；根据所述加速设备支持操作信息将所述目标运行设备编码导入至加速设备进行执行，得到加速设备执行结果；根据所述加速设备不支持操作信息将所述目标设备编码导入至目标处理设备进行执
行，得到处理设备执行结果；根据所述加速设备执行结果和所述处理设备执行结果构建目标设备可执行文件。7.如权利要求1至6中任一项所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述根据所述目标设备可执行文件和模型类型对目标张量数据进行推理，包括：获取待运行设备信息，根据所述待运行设备信息确定目标运行设备；通过所述目标运行设备对所述目标设备可执行文件进行执行，得到文件执行结果；根据所述目标设备可执行文件确定模型类型；根据所述文件执行结果和所述模型类型对目标张量数据进行推理。8.一种基于虚拟机的张量数据计算推理装置，其特征在于，所述基于虚拟机的张量数据计算推理装置包括：获取模块，用于获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元；生成模块，用于根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码；构建模块，用于根据所述目标自解码和加速设备操作信息构建目标设备可执行文件；推理模块，用于根据所述目标设备可执行文件和模型类型对目标张量数据进行推理。9.一种基于虚拟机的张量数据计算推理设备，其特征在于，所述基于虚拟机的张量数据计算推理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于虚拟机的张量数据计算推理程序，所述基于虚拟机的张量数据计算推理程序配置有实现如权利要求1至7中任一项所述的基于虚拟机的张量数据计算推理方法。10.一种存储介质，其特征在于，所述存储介质上存储有基于虚拟机的张量数据计算推理程序，所述基于虚拟机的张量数据计算推理程序被处理器执行时实现如权利要求1至7中任一项所述的基于虚拟机的张量数据计算推理方法。

技术总结

本发明涉及深度学习技术领域，公开了一种基于虚拟机的张量数据计算推理方法、装置及存储介质，所述方法包括：获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元；根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码；根据所述目标自解码和加速设备操作信息构建目标设备可执行文件；根据所述目标设备可执行文件和模型类型对目标张量数据进行推理；通过上述方式，基于前端接入层进行格式统一，然后基于中间转换层和中间层优化策略进行数据优化，再基于终端执行层构建的目标设备可执行文件和模型类型进行计算推理，从而能够适应各种框架和平台的计算推理，且简化开发者进行模型推理的开发工作量。工作量。工作量。