人工智能产品的生成方法、装置和服务器

著录项
  • CN202010205469.4
  • 20200320
  • CN111427677A
  • 20200717
  • 网易(杭州)网络有限公司
  • 冯阳;刘柏;周彩冬;刘思彦;胡志鹏;范长杰;李仁杰
  • G06F9/48
  • G06F9/48 G06F9/455 G06F21/31

  • 浙江省杭州市滨江区长河街道网商路599号4幢7层
  • 浙江(33)
  • 北京超成律师事务所
  • 吴迪
摘要
本发明提供了一种人工智能产品的生成方法、装置和服务器,应用于AI平台,所述AI平台上的各个AI模型服务均配置有访问接口,所述AI模型服务采用模型镜像方式实现,其中,该方法包括:响应针对于AI平台的模型申请操作,展示模型申请操作对应的第一用户的使用权限下的AI模型服务;响应针对于展示的所述AI模型服务的选取与配置操作,确定选取与配置操作对应的目标AI模型服务和各个目标AI模型服务间的调用关系;其中,调用关系包括同步调用、异步调用和异步调用的顺序;根据调用关系和各个目标AI模型服务的访问接口生成目标AI产品。通过该方法,可以满足多方向AI产品的使用需求,提升了AI产品的生成效率。
权利要求

1.一种人工智能产品的生成方法,其特征在于,应用于AI平台,所述AI平台上的各个AI模型服务均配置有访问接口,所述AI模型服务采用模型镜像方式实现,所述方法包括:

响应针对于所述AI平台的模型申请操作,展示所述模型申请操作对应的第一用户的使用权限下的AI模型服务;

响应针对于展示的所述AI模型服务的选取与配置操作,确定所述选取与配置操作对应的目标AI模型服务和各个所述目标AI模型服务间的调用关系;其中,所述调用关系包括同步调用、异步调用和所述异步调用的顺序;

根据所述调用关系和各个所述目标AI模型服务的访问接口生成目标AI产品。

2.根据权利要求1所述的方法,其特征在于,响应针对于所述AI平台的模型申请操作,展示所述模型申请操作对应的第一用户的使用权限下的AI模型服务的步骤,包括:

响应针对于所述AI平台的模型申请操作,对所述模型申请操作对应的第一用户进行鉴权以确定出所述第一用户的使用权限;

将所述第一用户的使用权限对应的AI模型服务展示于所述第一用户的用户空间;其中,所述用户空间基于容器编排技术配置有独立的物理资源。

3.根据权利要求2所述的方法,其特征在于,所述响应针对于所述AI平台的模型申请操作,对所述模型申请操作对应的第一用户进行鉴权以确定出所述第一用户的使用权限的步骤,包括:

响应针对于所述AI平台的模型申请操作,提示模型管理员对所述模型申请操作对应的第一用户进行鉴权;

响应鉴权处理操作,将所述鉴权处理操作对应的AI模型服务的使用权限配置给所述第一用户。

4.根据权利要求2所述的方法,其特征在于,所述响应针对于所述AI平台的模型申请操作,对所述模型申请操作对应的第一用户进行鉴权以确定出所述第一用户的使用权限的步骤,包括:

响应针对于所述AI平台的模型申请操作,根据所述模型申请操作对应的第一用户的账户信息对所述第一用户进行鉴权,得到所述第一用户的使用权限;所述账户信息包括预先为所述第一用户配置的账号与AI模型服务间的对应关系。

5.根据权利要求2所述的方法,其特征在于,响应针对于展示的所述AI模型服务的选取与配置操作,确定所述选取与配置操作对应的目标AI模型服务和各个所述目标AI模型服务间的调用关系的步骤,包括:

响应针对于所述用户空间展示的所述AI模型服务的选取操作,将所述选取操作选中的AI模型服务确定为目标AI模型服务;

响应针对所述目标AI模型服务的配置操作,根据所述配置操作确定各个所述目标AI模型服务间的调用关系。

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:根据所述配置操作确定各个所述目标AI模型服务的配置参数;

所述根据所述调用关系和各个所述目标AI模型服务的访问接口生成目标AI产品的步骤,包括:

根据所述调用关系关联各个所述目标AI模型服务的访问接口,并将各个所述目标AI模型服务的配置参数赋予对应的访问接口,得到目标AI产品;所述目标AI产品中的各个AI模型的参数为对应的目标AI模型服务的配置参数。

7.根据权利要求1所述的方法,其特征在于,所述目标AI产品配置有开启控件和停止控件;所述方法还包括:

响应针对于所述开启控件的触发操作,在所述第一用户的用户空间调用所述目标AI产品各个AI模型服务对应的AI模型,并以网关服务方式在各个所述AI模型对应的物理资源上运行各个AI模型;

响应针对于所述停止控件的触发操作,停止所述目标AI产品的运行,释放所述目标AI产品中的各个AI模型对应的物理资源。

8.根据权利要求1所述的方法,其特征在于,所述方法还包括:

监听所述目标AI产品的物理资源使用参数;

当所述物理资源使用参数超过预设的安全阈值时,进行报警。

9.根据权利要求1所述的方法,其特征在于,所述方法还包括:

响应针对所述目标AI产品的状态采集操作,获取并反馈所述目标AI产品的运行状态信息。

10.根据权利要求1所述的方法,其特征在于,所述AI平台配置有开发式的服务上传接口,所述方法还包括:

响应针对于所述服务上传接口的服务上传操作,保存所述服务上传操作中的AI模型服务。

11.一种人工智能产品的生成装置,其特征在于,应用于AI平台,所述AI平台上的各个AI模型服务均配置有访问接口,所述AI模型服务采用模型镜像方式实现,所述装置包括:

服务展示模块,用于响应针对于所述AI平台的模型申请操作,展示所述模型申请操作对应的第一用户的使用权限下的AI模型服务;

选取与配置模块,用于响应针对于展示的所述AI模型服务的选取与配置操作,确定所述选取与配置操作对应的目标AI模型服务和各个所述目标AI模型服务间的调用关系;其中,所述调用关系包括同步调用、异步调用和所述异步调用的顺序;

产品生成模块,用于根据所述调用关系和各个所述目标AI模型服务的访问接口生成目标AI产品。

12.一种服务器,其特征在于,所述服务器包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至10任一项所述的人工智能产品的生成方法。

13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至10任一项所述的人工智能产品的生成方法。

说明书
技术领域

本发明涉及人工智能技术领域,尤其是涉及一种人工智能产品的生成方法、装置和服务器。

当前人工智能细分很多研究方向,如强化学习、图像视觉、自然语言处理等。而人工智能的产品可能只涉及某一方向,也有可能是多个方向的组合;例如,2D的AI(Artificial Intelligence,人工智能)聊天机器人可能只涉及自然语言方向,3D的AI聊天机器人不仅涉及自然语言方向,还涉及图像视觉方向,如AI主播产品、虚拟偶像产品等。

当前的AI平台上尽管有多个方向的AI模型,但是这些AI模型通常是孤立存在的,使用者仅可以单独使用某个AI模型,无法满足多方向AI产品的使用需求。

有鉴于此,本发明的目的在于提供一种人工智能产品的生成方法、装置和服务器,以满足多方向AI产品的使用需求,提升AI产品的生成效率。

第一方面,本发明实施例提供了一种人工智能产品的生成方法,应用于AI平台,所述AI平台上的各个AI模型服务均配置有访问接口,所述AI模型服务采用模型镜像方式实现,所述方法包括:响应针对于所述AI平台的模型申请操作,展示所述模型申请操作对应的第一用户的使用权限下的AI模型服务;响应针对于展示的所述AI模型服务的选取与配置操作,确定所述选取与配置操作对应的目标AI模型服务和各个所述目标AI模型服务间的调用关系;其中,所述调用关系包括同步调用、异步调用和所述异步调用的顺序;根据所述调用关系和各个所述目标AI模型服务的访问接口生成目标AI产品。

结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,响应针对于所述AI平台的模型申请操作,展示模型申请操作对应的第一用户的使用权限下的AI模型服务的步骤,包括:响应针对于所述AI平台的模型申请操作,对所述模型申请操作对应的第一用户进行鉴权以确定出所述第一用户的使用权限;将所述第一用户的使用权限对应的AI模型服务展示于所述第一用户的用户空间;其中,所述用户空间基于容器编排技术配置有独立的物理资源。

结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述响应针对于所述AI平台的模型申请操作,对所述模型申请操作对应的第一用户进行鉴权以确定出所述第一用户的使用权限的步骤,包括:响应针对于所述AI平台的模型申请操作,提示模型管理员对所述模型申请操作对应的第一用户进行鉴权;响应鉴权处理操作,将所述鉴权处理操作对应的AI模型服务的使用权限配置给所述第一用户。

结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,所述响应针对于所述AI平台的模型申请操作,对所述模型申请操作对应的第一用户进行鉴权以确定出所述第一用户的使用权限的步骤,包括:响应针对于所述AI平台的模型申请操作,根据所述模型申请操作对应的第一用户的账户信息对所述第一用户进行鉴权,得到所述第一用户的使用权限;所述账户信息包括预先为所述第一用户配置的账号与AI模型服务间的对应关系。

结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,响应针对于展示的所述AI模型服务的选取与配置操作,确定所述选取与配置操作对应的目标AI模型服务和各个所述目标AI模型服务间的调用关系的步骤,包括:响应针对于所述用户空间展示的所述AI模型服务的选取操作,将所述选取操作选中的AI模型服务确定为目标AI模型服务;响应针对所述目标AI模型服务的配置操作,根据所述配置操作确定各个所述目标AI模型服务间的调用关系。

结合第一方面的第四种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,所述方法还包括:根据所述配置操作确定各个所述目标AI模型服务的配置参数;相应地,所述根据所述调用关系和各个所述目标AI模型服务的访问接口生成目标AI产品的步骤,包括:根据所述调用关系关联各个所述目标AI模型服务的访问接口,并将各个所述目标AI模型服务的配置参数赋予对应的访问接口,得到目标AI产品;所述目标AI产品中的各个AI模型的参数为对应的目标AI模型服务的配置参数。

结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,所述目标AI产品配置有开启控件和停止控件;所述方法还包括:响应针对于所述开启控件的触发操作,在所述第一用户的用户空间调用所述目标AI产品各个AI模型服务对应的AI模型,并以网关服务方式在各个所述AI模型对应的物理资源上运行各个AI模型;响应针对于所述停止控件的触发操作,停止所述目标AI产品的运行,释放所述目标AI产品中的各个AI模型对应的物理资源。

结合第一方面,本发明实施例提供了第一方面的第七种可能的实施方式,所述方法还包括:监听所述目标AI产品的物理资源使用参数;当所述物理资源使用参数超过预设的安全阈值时,进行报警。

结合第一方面,本发明实施例提供了第一方面的第八种可能的实施方式,所述方法还包括:响应针对所述目标AI产品的状态采集操作,获取并反馈所述目标AI产品的运行状态信息。

结合第一方面,本发明实施例提供了第一方面的第九种可能的实施方式,所述AI平台配置有开发式的服务上传接口,所述方法还包括:响应针对于所述服务上传接口的服务上传操作,保存所述服务上传操作中的AI模型服务。

第二方面,本发明实施例提供了一种人工智能产品的生成装置,应用于AI平台,所述AI平台上的各个AI模型服务均配置有访问接口,所述AI模型服务采用模型镜像方式实现,所述装置包括:服务展示模块,用于响应针对于所述AI平台的模型申请操作,展示所述模型申请操作对应的第一用户的使用权限下的AI模型服务;选取与配置模块,用于响应针对于展示的所述AI模型服务的选取与配置操作,确定所述选取与配置操作对应的目标AI模型服务和各个所述目标AI模型服务间的调用关系;其中,所述调用关系包括同步调用、异步调用和所述异步调用的顺序;产品生成模块,用于根据所述调用关系和各个所述目标AI模型服务的访问接口生成目标AI产品。

第三方面,本发明实施例提供了一种服务器,所述服务器包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现第一方面所述的人工智能产品的生成方法。

第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现第一方面所述的人工智能产品的生成方法。

上述人工智能产品的生成方法、装置和服务器,及计算机可读存储介质,采用配置有访问接口的AI模型服务,用户仅需要在AI平台上给出目标AI模型服务和各个目标AI模型服务间的调用关系等简单操作,AI平台就可以根据该调用关系和各个目标AI模型服务的访问接口生成包含有多个AI模型的目标AI产品,能够满足多方向AI产品的使用需求,提升了AI产品的生成效率。

本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的人工智能产品的生成方法流程图;

图2为本发明实施例提供的AI模型服务间调用关系的第一种示意图;

图3为本发明实施例提供的AI模型服务间调用关系的第二种示意图;

图4为本发明实施例提供的人工智能产品的生成方法的具体流程图;

图5为本发明实施例提供的人工智能产品的生成装置的结构示意图;

图6为本发明实施例提供的一种服务器的结构示意图。

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

为了满足多方向AI产品的使用需求,本发明实施例采用一种新的AI平台,该平台上的AI模型服务的各个AI模型服务均配置有访问接口,这个访问接口用于调用AI模型运行,进而实现AI模型与其他AI模型间的连接方式。

本发明实施例中的AI模型服务采用模型镜像方式实现。其中,AI模型服务可以是AI工程师(例如具有某种资质的工程师)将预先训练好的AI模型对应的算法数据包做成模型镜像(例如Docker镜像),该模型镜像里面包含了AI模型的算法,然后AI工程师将AI模型服务上传到AI平台,后续就可以通过容器编排技术应用模型镜像,实现AI模型的运行。

上述AI平台可以供不同AI方向的AI工程师上传不同的AI模型服务,AI平台保存各个AI模型服务,例如,将AI模型服务保存至数据库中。为了增强AI模型服务使用的安全性,还可以为该数据库设置鉴权功能。通过这种方式,AI平台拥有较大数量的AI模型服务。当然,除了上述方式,AI平台上的AI模型服务也可以预先成批存储,例如由AI平台开发人员,预先将目前已经比较成熟的AI模型的模型服务存储至该平台上,供后续使用,以满足不同AI产品的设计需求。

基于上述AI平台,本发明实施例提供一种人工智能产品的生成方法、装置和服务器,下面通过以下具体实施例进行详细描述。

参见图1所示的人工智能产品的生成方法流程图,该方法应用于AI平台,该AI平台上的各个AI模型服务均配置有访问接口,AI模型服务采用模型镜像方式实现,该方法包括以下步骤:

步骤S102,响应针对于AI平台的模型申请操作,展示模型申请操作对应的第一用户的使用权限下的AI模型服务。

其中,上述模型申请操作的实施用户可以是该模型申请操作对应的第一用户,也可以是其他用户。上述使用权限用于表征用户允许使用的AI模型服务有哪些,该使用权限可以基于用户购买的平台服务进行配置,也可以在用户注册阶段由AI平台管理员基于用户的管理级别进行配置。当然,也可以基于工程师上传的AI模型服务进行配置,例如:将工程师自己上传的AI模型服务或者与其AI模型服务为同类的模型服务分配给该工程师。

为了便于区分不同各个用户的使用权限,可以为每个用户设置一个独立的用户空间,将允许用户使用的AI模型服务展示在该用户的用户空间中,用户发起模型申请操作后,AI平台自动将该用户切换至其用户空间,进而在用户空间展示该用户使用权限对应的AI模型服务。

除了以用户空间的方式区分各个用户的使用权限之外,还可以采用其他方式,例如:将用户账号与使用权限绑定的方式,例如,预先将AI平台上的AI模型服务划分为多个不同的类,为用户分配账号时,由管理员为该账号配置对应的AI模型服务。具体地,用户A对应的使用权限为A类的AI模型服务,则表明用户A可以使用A类中所有的AI模型服务。

步骤S104,响应针对于展示的AI模型服务的选取与配置操作,确定该选取与配置操作对应的目标AI模型服务和各个目标AI模型服务间的调用关系;其中,该调用关系包括同步调用、异步调用和异步调用的顺序。

其中,上述选取与配置操作可以是第一用户继续的操作,也可以是其他用户的操作,具体地,用户针对于展示的AI模型服务进行的选取与配置操作可以分步进行,例如通过拖动AI模型服务至指定区域,进入该指定区域中的AI模型服务即为目标AI模型服务。用户可以通过连线方式设置目标AI模型服务间的调用关系,也可以通过配置表的形式设置目标AI模型服务间的调用关系。

上述同步调用用于表征AI模型服务对应的模型间为并列执行的关系,异步调用用于表征AI模型服务对应的模型间为依次有序执行的关系。以AI主播产品为例,脸部表情模型服务、嘴唇模型服务、眉眼模型服务等通常是异步调用的,而语音识别模型服务则在整个流程是同步调用的。

为了便于理解模型服务间的调用关系,参见图2所示的AI模型服务间调用关系的第一种示意图,其中,AI模型服务21、AI模型服务22、AI模型服务23为同步调用关系,他们与后面的AI模型服务24、AI模型服务25属于异步调用关系,且先同步运行完AI模型服务21、AI模型服务22、AI模型服务23对应的模型之后,再运行AI模型服务24对应的模型,最后运行AI模型服务25对应的模型。

参见图3所示的AI模型服务间调用关系的第二种示意图,AI模型服务31、AI模型服务32、AI模型服务33为异步调用关系,各模型服务对应模型算法运行顺序也按照图示顺序依次执行,AI模型服务31、AI模型服务32、AI模型服务33与AI模型服务34属于同步调用关系。

除了配置上述调用关系,如果目标AI产品有特定的需求,用户还可以对目标AI模型服务的其他参数进行自定义配置,如果未进行自定义配置,则该目标AI模型服务的其他参数为默认值。

步骤S106,根据上述调用关系和各个目标AI模型服务的访问接口生成目标AI产品。

基于上述调用关系和各个目标AI模型服务的访问接口可以确定各个目标AI模型服务对应的AI模型的调用顺序和调用路径,而各个目标AI模型服务又是采用模型镜像方式实现的,这种镜像方式能够多AI产品同时调用同一个模型,实现模型复用,并且AI模型更新时,仅需要在对原有的AI模型进行更新,只要该AI模型的存储路径不变,调用该AI模型的AI产品下次运行时,将直接调用更新后的AI模型,而无需对AI产品进行更新,提升了AI产品的更新效率。

本发明实施例的上述方法,采用配置有访问接口的AI模型服务,用户仅需要在AI平台上给出目标AI模型服务和各个目标AI模型服务间的调用关系等简单操作,AI平台就可以根据该调用关系和各个目标AI模型服务的访问接口生成包含有多个AI模型的目标AI产品,能够满足多方向AI产品的使用需求,提升了AI产品的生成效率。

本发明实施例中的AI平台是一个开放式AI平台,不但设计AI产品的用户可以根据需要使用AI平台上的AI模型服务,设计AI模型的用户也可以将其设计的AI模型的AI模型服务上传到该AI平台。基于此,该AI平台配置有开发式的服务上传接口,上述方法还包括:响应针对于服务上传接口的服务上传操作,保存服务上传操作中的AI模型服务。其中,服务上传操作通常可以由第二用户执行,这里的第二用户可以和第一用户是同一个用户,也可以是不同的用户,采用“第一”、“第二”描述,仅仅是为了使描述更清楚,并不造成对其保护范围的限定。通过这种方式,AI平台可以拥有较大数量且比较新的AI模型对应的AI模型服务,更好地满足AI产品的设计需求。

为了便于区分不同各个用户的使用权限,本发明实施例为不同的用户配置有不同的用户空间,基于此,上述步骤S102,即响应针对于AI平台的模型申请操作,展示模型申请操作对应的第一用户的使用权限下的AI模型服务的步骤,具体包括:响应针对于AI平台的模型申请操作,对模型申请操作对应的第一用户进行鉴权以确定出第一用户的使用权限;将第一用户的使用权限对应的AI模型服务展示于第一用户的用户空间;其中,该用户空间基于容器编排技术配置有独立的物理资源。通过在用户自己的用户空间展示其对应的AI模型服务,能够很直观地让用户看到哪些AI模型服务可以使用,进而提升选取模型的效率和准确性。

本实施例中的用户鉴权,可以通过管理员实现,也可以由AI平台自动鉴权。以管理员实现为例,上述响应针对于AI平台的模型申请操作,对模型申请操作对应的第一用户进行鉴权以确定出第一用户的使用权限的步骤,可以包括:响应针对于AI平台的模型申请操作,提示模型管理员对模型申请操作对应的第一用户进行鉴权;响应该模型管理员的鉴权处理操作,将鉴权处理操作对应的AI模型服务的使用权限配置给第一用户。其中,鉴权处理操作可以是模型管理员的注册信息或者购买的服务确定第一用户可以使用的AI模型服务;使用权限的配置操作可以是开放相关的AI模型服务至该用户的用户空间中。

若基于用户的账户信息自动鉴权,上述响应针对于AI平台的模型申请操作,对模型申请操作对应的第一用户进行鉴权以确定出第一用户的使用权限的步骤,可以包括:响应第一用户针对于AI平台的模型申请操作,根据模型申请操作对应的第一用户的账户信息对第一用户进行鉴权,得到第一用户的使用权限;该账户信息可以包括预先为第一用户配置的账号与AI模型服务间的对应关系。

上述两种鉴权方式仅仅是举例,实际应用中,可以根据需要选取鉴权方式,达到用户间相互区分,用户得到应有的AI模型服务的使用权限即可。

对于上述步骤S104中的选取与配置操作,本实施例以分步实现为例进行说明,具体地,步骤S104包括:响应针对于用户空间展示的AI模型服务的选取操作,将选取操作选中的AI模型服务确定为目标AI模型服务;响应针对目标AI模型服务的配置操作,根据配置操作确定各个目标AI模型服务间的调用关系。通常,上述选取操作和配置操作都可以由第一用户来执行,这种分步实现方式,即使不懂AI设计技术的普通用户也可以很容易地上手操作,简化了AI产品设计过程,易于推广应用。

考虑到有些用户具有一定的AI设计技术,为了能够使AI产品更适用于用户的使用需求,上述AI模型服务的配置操作除了调用关系之外,用户还可以修改AI模型服务的配置参数,以使AI产品更具有个性化,基于此,本发明实施例的上述方法还可以包括:根据配置操作确定各个目标AI模型服务的配置参数;相应地,上述根据调用关系和各个目标AI模型服务的访问接口生成目标AI产品的步骤包括:根据调用关系关联各个目标AI模型服务的访问接口,并将各个目标AI模型服务的配置参数赋予对应的访问接口,得到目标AI产品;该目标AI产品中的各个AI模型的参数为对应的目标AI模型服务的配置参数。上述配置参数的方式为用户自定义方式,通过这种自定义配置参数的方式能够使AI产品达到预期的效果;如果用户对AI产品没有特殊的要求,也可以直接采用各个AI模型的默认参数,这种情况下用户无需自定义上述配置参数;而AI模型服务的访问接口对应的配置参数则为默认参数。

本实施例的AI产品后续运行均在各自的用户空间中运行,为了有效利用物理资源,本实施例为上述目标AI产品配置有开启控件和停止控件;基于此,上述方法还包括以下步骤:

(1)响应针对于开启控件的触发操作,在第一用户的用户空间调用目标AI产品各个AI模型服务对应的AI模型,并以网关服务方式在各个AI模型对应的物理资源上运行各个AI模型;

这里的网关服务方式为虚拟的网关服务,用以实现各个AI模型的有序调用。

(2)响应针对于停止控件的触发操作,停止目标AI产品的运行,释放目标AI产品中的各个AI模型对应的物理资源。

通过上述物理资源的使用方式,可以仅在AI产品运行过程中使用物理资源,而其它场景下,该物理资源可供其它AI产品使用,提升了物理资源的使用效率,降低了AI平台的硬件要求。

为了保障AI产品的运行性能,在AI产品运行过程中,上述方法还包括:监听目标AI产品的物理资源使用参数;当物理资源使用参数超过预设的安全阈值时,进行报警。其中,物理资源使用参数包括如CPU、内存、GPU等资源信息,以及AI模型服务的负载等配置信息。这里的报警可以是向第一用户提供的(例如:地址、手机号码等)发送文字和/或语音形式的提示信息,也可以是AI平台的管理员发送报警信息。

上述目标AI产品还配置有对外服务接口,用于产品设计方(如上述第一用户)或者产品使用方通过浏览器访问该对外服务接口,执行状态采集服务,并通过该对外服务接口将采集的运行状态信息返回给产品设计方或产品使用方。基于此,上述方法还包括:响应针对目标AI产品的状态采集操作,获取并反馈目标AI产品的运行状态信息。该运行状态信息可以包括以下信息中的一个或多个:

a、目标AI产品所包含的各个AI模型服务的运行状态信息;

b、单个AI模型服务的资源消耗、占比等信息;

c、各个AI模型服务之间网络通信数据,包括服务请求次数、异常次数、网络流量、总请求量等信息。

为了使上述实施例的方法得以有效实现,可以通过下述方法设计AI平台,该方法包括以下步骤:

(1)设计支持AI模型服务展示以及管理功能,该功能的实现可以包括:服务上传接口和模型申请接口;

其中,服务上传接口用于供用户(如AI研究员或AI工程师)上传自己训练的AI模型的模型服务。该服务上传接口除了可以接收用户上传的AI模型服务之外,还可以同时提供用户上传该AI模型服务对应服务部署文档,该服务部署文档中可以包含该服务对应的物理资源需求信息等。如果用户未上传服务部署文档,相关AI模型服务的部署可以采用AI平台默认的物理资源配置方式进行部署。AI平台对接收到的模型服务(本发明实施例中的模型服务以模型镜像形式实现)和服务部署文档进行保存。

模型申请接口用于供用户申请模型使用权限;在模型申请的主界面上可以提供AI模型服务的使用权限获取渠道,该渠道可以是模型申请接口,具体可以是各类AI模型服务的购买服务链接,用户通过线上或线上与线下结合的方式完成该服务的购买,这样就可以得到该类AI模型服务的使用权限。

作为AI平台的管理员,不同级别的管理员拥有AI模型服务的使用权限也可以区分,这种区分方式,可以根据实际应用进行细分设置。

模型申请的主界面可以具有AI各个方向的AI模型服务的展示功能,该展示功能不仅可以展示AI模型服务的图标,而且还有该AI模型服务的相关特性介绍等信息,供使用者参考;具体展示界面上,可以按照AI模型服务的特性分类或分区域展示,例如,可以分类或分区域展示AI平台上已有的AI模型服务的列表或图标,用户通过点选可以查看到该AI模型服务的特性信息。

(2)采用多租户软件架构隔离用户,AI平台管理员可以给用户分配账号以及配置权限,每个用户拥有单独的用户空间,不受其他用户影响;其中,多租户软件架构或称多重租赁技术,简称SaaS,是一种软件架构技术,能够实现如何在多用户环境下(此处的多用户一般是面向企业用户)共用相同的系统或程序组件,并且可确保各用户间数据的隔离性。

用户空间可以具有指定、分发以及管理AI模型服务的权限,而AI模型服务的权限可以灵活设置,例如:初始状态下,用户拥有自己上传的AI模型服务的操作权限;对于AI平台上所需其他模型服务,可通过模型申请接口进行申请;AI平台管理员将会接收模型申请,然后对该申请进行鉴权给予通过或者否定的响应。

对于每一个用户,AI平台管理员均可以为其分配用于登录平台的账号(线下分配或线上注册)以及其对应的模型服务的权限。

(3)设计AI模型服务的服务接口,该服务接口可以是每类AI模型服务对应一个接口,可以是每个AI模型服务对应一个接口,而这些服务接口可以通过统一的服务管理接口管理。

用户在用户空间中选择AI产品所需的模型服务,通过AI模型服务的服务管理接口,执行AI模型服务的分发服务,生成所需AI模型服务的服务接口;

上述AI模型服务的服务管理接口,可以同步调用模型部署分发服务,获取各个模型服务的服务接口。

(4)设计模型部署分发服务,用于对用户所选的模型服务进行分发,该模型部署分发服务具有如下功能:

a、基于容器编排技术,调用底层容器镜像管理接口;

b、镜像管理接口同步返回模型镜像的存储地址以及相关服务部署文档;

c、根据模型镜像地址、服务部署文档,同步调用基础配置服务获取模型参数,这里的模型参数可以是用户自定义参数,可以是默认参数等;其中,基础配置服务能够允许用户对选择的各个AI模型服务进行配置,例如,在用户空间,左侧区域为用户选择的AI模型服务的展示区,右侧为AI模型服务的参数配置区,用户想配置哪个AI模型服务的参数,可以将展示区中的这个AI模型服务的图标选中,则右侧的参数配置区会切换为该AI模型服务的基础配置项。

同步调用基础配置服务具体指被用户选择的各个AI模型服务的参数配置功能均处于可用状态,用户可以切换配置各个AI模型服务,直至完成各个AI模型服务的配置。

d、异步调用资源管理接口对AI模型服务进行部署,其中,资源管理接口用于对AI模型服务使用的物理资源进行部署,具体部署顺序可以依照AI模型服务间的调用顺序执行。

(5)设计基础配置服务,用于提供AI模型的基础运行参数,如CPU、内存、GPU等资源信息,服务的负载等配置信息。

(6)设计模型服务状态监控功能,其具有监控报警功能;用户设置通知邮箱地址等个人以及项目通信信息,调用监控报警服务,设置服务异常报警参数,例如服务内存、CPU负载高,模型实例运行占用很长资源而无法回收等,均属于异常状态,对这种异常状况进行及时报警。

(7)设计网关服务(即虚拟网关),通过网关服务调用AI模型服务,将各个AI模型服务关联起来,具体功能如下:

a、获取用户指定的配置信息,如上述调度信息,有些AI模型是同步调用,有些AI模型是异步调用,有的AI模型必须在某些AI模型前面调用等;

b、对各个AI模型服务进行分类,同步向调度服务中传入三个参数:1、AI模型服务的地址;2、调用类型,同步或异步;3、AI模型服务的调用顺序参数;

c、调度服务基于上面的三个参数生成最终的AI产品服务,对外提供服务。

(8)设计AI产品服务的启停功能:具有AI产品服务的启动、停止的功能;

服务启动功能:用户调用调度服务将前面所述的产品服务启动;

服务停止功能:因为可能对外服务效果不佳,或者某些AI模型服务需进行迭代,因此可以通过停止服务对物理资源进行回收;

(9)设计AI产品对外服务的功能:产品方或者使用方通过浏览器接口访问上述网关服务,通过网关服务执行状态指标采集服务,然后同步返回采集到的状态指标消息至产品方或使用方;状态指标消息携带的信息可以包括:

a、AI产品所包含的各个AI模型服务的运行状态信息;

b、单个AI模型服务资源消耗、占比等信息;

c、各个AI模型服务之间网络通信数据,包括服务请求次数、异常次数、网络流量、总请求量等信息。

在上述实施例的基础上,本发明实施例还提供了一种人工智能产品的生成方法,该方法以在用户空间中实现为例进行说明,与上述实施例类似,该方法在上述AI平台上实现,AI平台上预先已经存储了大量的AI模型服务,每个AI模型服务均配置有访问接口,且AI模型服务均以模型镜像方式实现。参见图4所示的人工智能产品的生成方法的具体流程图,该方法包括以下步骤:

步骤S402,AI平台通过模型申请接口接收用户的模型申请操作,对该用户进行鉴权确定该用户的使用权限,在该用户的用户空间展示该使用权限对应的AI模型服务。

步骤S404,AI平台响应用户针对于展示的AI模型服务的选取操作,将选取操作选中的目标AI模型服务展示于用户空间的展示区。

步骤S406,AI平台通过用户空间的参数配置区接收用户的配置操作,确定各个目标AI模型服务的调用关系和基础参数。其中,调用关系包括同步调用、异步调用和所述异步调用的顺序。

在用户空间中,还配置了一键部署操作控件,供用户在完成上述AI模型服务的选取与配置操作后,一键生成AI产品。

步骤S408,AI平台接收到用户的一键部署操作时,根据上述调用关系和各个目标AI模型服务的访问接口生成目标AI产品。其中,一键部署操作可以是对一键部署操作控件的触发操作。

上述用户空间的具体实现可以采用Docker技术,使每个品实现物理隔离,为每个产品单独部署一个产品服务。Docker技术是一个开源的应用容器引擎,开发者可以打包应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的Linux或Windows机器上,也可以实现虚拟化。容器使用沙箱机制,相互之间没有接口,有效地提高了服务的稳定性以及可扩展性,在一定程度上解决了因资源以及多产品服务导致的服务资源异常以及不可用的问题,结合容器编排技术,服务可根据需求实现资源的动态伸缩,实现AI模型服务的自动化运维,保证模型服务的质量,也提高了资源的利用率,在一定程度上节约了成本。

上述用户(产品业务需求方)根据产品需求,可对AI平台提供的模型服务进行组合,不同的模型服务间可能是同步的,也可能是异步的;例如一个AI主播,脸部表情、嘴唇、眉眼等服务是异步的,而语音识别、生成则在整个流程是同步的。同时,上述用户还可以根据产品设计的输入与输出接口,对整个AI产品服务进行定制,这种定制机制下,第一个AI模型服务的输入参数(也即AI产品的输入接口对应的参数)可以根据需要设置,最后一个AI模型服务的输出参数(也即AI产品的输出接口对应的参数)也可以自编辑,以满足该AI产品的设计需要。

通过上述选取和配置后,用户将组合好的一类或者多类的AI模型服务进行一键部署,然后对外发布,一款融合多个方向的AI模型服务即可对外提供服务。通过上述方法,用户可以自由配置AI模型,相当于组合成一个新的大模型,也就是最终的AI产品。这种自由配置方式,对于没有AI技术背景的人员,只要有产品想法,即可在上述AI平台上,自由配置所需模型,进行产品快速落地,产品实现灵活且效率高。相比于目前不同研究方向的产品需要经过策划,确定出一个联合产品,然后交由各个方向的工程师以及研究员进行实施的方式,本实施例提供的方法能够有效提升产品落地的速度,并简化了产品实现过程。

对应于上述方法,本发明还提供了一种人工智能产品的生成装置,应用于AI平台,该AI平台上的各个AI模型服务均配置有访问接口,AI模型服务采用模型镜像方式实现,参见图5所示的人工智能产品的生成装置的结构示意图,该装置包括以下模块:

服务展示模块52,用于响应针对于AI平台的模型申请操作,展示模型申请操作对应的第一用户的使用权限下的AI模型服务;

选取与配置模块54,用于响应针对于展示的AI模型服务的选取与配置操作,确定选取与配置操作对应的目标AI模型服务和各个目标AI模型服务间的调用关系;其中,调用关系包括同步调用、异步调用和异步调用的顺序;

产品生成模块56,用于根据调用关系和各个目标AI模型服务的访问接口生成目标AI产品。

本发明实施例的上述装置,采用配置有访问接口的AI模型服务,用户仅需要在AI平台上给出目标AI模型服务和各个目标AI模型服务间的调用关系等简单操作,AI平台就可以根据该调用关系和各个目标AI模型服务的访问接口生成包含有多个AI模型的目标AI产品,能够满足多方向AI产品的使用需求,提升了AI产品的生成效率。

服务展示模块52还用于:响应针对于所述AI平台的模型申请操作,对模型申请操作对应的第一用户进行鉴权以确定出所述第一用户的使用权限;将所述第一用户的使用权限对应的AI模型服务展示于所述第一用户的用户空间;其中,所述用户空间基于容器编排技术配置有独立的物理资源。

具体地,服务展示模块52对所述第一用户进行鉴权包括:响应针对于所述AI平台的模型申请操作,提示模型管理员对模型申请操作对应的第一用户进行鉴权;响应鉴权处理操作,将所述鉴权处理操作对应的AI模型服务的使用权限配置给所述第一用户。或者,响应针对于所述AI平台的模型申请操作,根据模型申请操作对应的第一用户的账户信息对所述第一用户进行鉴权,得到所述第一用户的使用权限;所述账户信息包括预先为所述第一用户配置的账号与AI模型服务间的对应关系。

选取与配置模块54还用于:响应针对于所述用户空间展示的所述AI模型服务的选取操作,将所述选取操作选中的AI模型服务确定为目标AI模型服务;响应针对所述目标AI模型服务的配置操作,根据所述配置操作确定各个所述目标AI模型服务间的调用关系。

上述装置中的选取与配置模块54还用于:根据所述配置操作确定各个所述目标AI模型服务的配置参数;

相应地,产品生成模块56还用于:根据所述调用关系关联各个所述目标AI模型服务的访问接口,并将各个所述目标AI模型服务的配置参数赋予对应的访问接口,得到目标AI产品;所述目标AI产品中的各个AI模型的参数为对应的目标AI模型服务的配置参数。

上述目标AI产品配置有开启控件和停止控件;上述装置还包括:开启模块,用于响应针对于所述开启控件的触发操作,在所述第一用户的用户空间调用所述目标AI产品各个AI模型服务对应的AI模型,并以网关服务方式在各个所述AI模型对应的物理资源上运行各个AI模型;停止模块,用于响应针对于所述停止控件的触发操作,停止所述目标AI产品的运行,释放所述目标AI产品中的各个AI模型对应的物理资源。

上述装置还包括:监听模块,用于监听所述目标AI产品的物理资源使用参数;报警模块,用于当所述物理资源使用参数超过预设的安全阈值时,进行报警。

上述装置还包括:采集模块,用于响应针对所述目标AI产品的状态采集操作,获取并反馈所述目标AI产品的运行状态信息。

上述AI平台配置有开发式的服务上传接口,相应地,上述装置还包括:服务保存模块,用于响应针对于所述服务上传接口的服务上传操作,保存所述服务上传操作中的AI模型服务。

对应于上述实施例,本发明实施例还提供了一种服务器,参见图6所示的服务器的结构示意图,该服务器包括存储器60和处理器61,存储器60存储有能够被处理器61执行的计算机可执行指令,处理器61执行计算机可执行指令以实现上述人工智能产品的生成方法。

在图6示出的实施方式中,该服务器还包括总线62和通信接口63,其中,处理器61、通信接口63和存储器60通过总线62连接。

其中,存储器60可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线62可以是ISA(IndustryStandard Architecture,工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线62可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。

处理器61可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器61读取存储器中的信息,结合其硬件完成前述实施例方法中的步骤。

对应于上述实施例,本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现上述人工智能产品的生成方法。

本发明实施例所提供的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和服务器的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

本文发布于:2024-09-24 02:26:46,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/2/86315.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议