一种训练任务环境变量设置方法、装置、设备及介质与流程



1.本技术涉及计算机技术领域,特别涉及一种训练任务环境变量设置方法、装置、设备及介质。


背景技术:



2.目前,在对训练任务的环境变量(environment variables)进行设置时,一种是在训练脚本中预置环境变量,在执行训练脚本前先通过执行setenv命令的方式设置环境变量,然后再执行训练脚本,这种方式由于需要在训练脚本中预置环境变量并在执行训练脚本前手动设置环境变量,因此降低了训练任务的训练效率;另一种是直接在训练脚本中设置环境变量,但只在当前脚本中使用,这种方式不适用于一个任务多个训练脚本的执行场景。
3.因此,如何在训练任务使用多脚本进行训练时,对环境变量进行设置是本领域技术人员目前需要解决的问题。


技术实现要素:



4.有鉴于此,本技术的目的在于提供一种训练任务环境变量设置方法、装置、设备及存储介质,能够不需要在训练脚本中设置环境变量,提升了训练任务的训练效率,解决了训练任务使用环境变量时的易用性问题。其具体方案如下:
5.第一方面,本技术公开了一种训练任务环境变量设置方法,应用于深度学习服务平台,包括:
6.接收用户创建训练任务时设置的环境变量数据
7.从所述环境变量数据中获取与所述训练任务相关的全局环境变量,并利用所述环境变量数据对所述全局环境变量进行处理,得到处理后环境变量;
8.将所述处理后环境变量注入到任务容器中,以便在执行所述训练任务时,通过所述训练任务中的训练脚本直接从所述任务容器中调用所述处理后环境变量。
9.可选的,所述接收用户创建训练任务时设置的环境变量数据,包括:
10.接收用户创建训练任务时通过页面设置的方式设置的环境变量数据。
11.可选的,所述训练任务环境变量设置方法,还包括:
12.在所述深度学习服务平台的系统设置中设置所述全局环境变量;其中,所述全局环境变量包括所述训练任务默认注入的环境变量构成的第一环境变量列表和所述训练任务不能设置的第二环境变量列表。
13.可选的,所述从所述环境变量数据中获取与所述训练任务相关的全局环境变量,并利用所述环境变量数据对所述全局环境变量进行处理,得到处理后环境变量,包括:
14.从所述环境变量数据中获取所述训练任务默认注入的环境变量构成的第一环境变量列表和所述训练任务不能设置的第二环境变量列表;
15.利用所述环境变量数据对所述第一环境变量列表和所述第二环境变量列表进行
设置,得到处理后环境变量。
16.可选的,所述接收用户创建训练任务时设置的环境变量数据,包括:
17.通过预先创建的任务环境变量处理模块接收用户创建训练任务时设置的环境变量数据。
18.可选的,所述从所述环境变量数据中获取与所述训练任务相关的全局环境变量,包括:
19.通过所述任务环境变量处理模块对所述环境变量数据进行校验,若校验通过则从所述环境变量数据中获取与所述训练任务相关的全局环境变量。
20.可选的,所述训练任务环境变量设置方法,还包括:
21.通过页面设置的方式对所述任务容器中的所述处理后环境变量进行增加、删除和修改。
22.第二方面,本技术公开了一种训练任务环境变量设置装置,应用于深度学习服务平台,包括:
23.环境变量接收模块,用于接收用户创建训练任务时设置的环境变量数据;
24.全局环境变量获取模块,用于从所述环境变量数据中获取与所述训练任务相关的全局环境变量;
25.环境变量处理模块,用于利用所述环境变量数据对所述全局环境变量进行处理,得到处理后环境变量;
26.环境变量注入模块,用于将所述处理后环境变量注入到任务容器中;
27.环境变量调用模块,用于在执行所述训练任务时,通过所述训练任务中的训练脚本直接从所述任务容器中调用所述处理后环境变量。
28.第三方面,本技术公开了一种电子设备,包括处理器和存储器;其中,所述处理器执行所述存储器中保存的计算机程序时实现前述的训练任务环境变量设置方法。
29.第四方面,本技术公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述的训练任务环境变量设置方法。
30.可见,本技术先接收用户创建训练任务时设置的环境变量数据,然后从所述环境变量数据中获取与所述训练任务相关的全局环境变量,并利用所述环境变量数据对所述全局环境变量进行处理,得到处理后环境变量,再将所述处理后环境变量注入到任务容器中,以便在执行所述训练任务时,通过所述训练任务中的训练脚本直接从所述任务容器中调用所述处理后环境变量。本技术在创建训练任务时设置环境变量,并将设置的环境变量注入到任务容器中,这样便不需要在训练脚本中设置环境变量,在训练任务运行时直接从任务容器中获取就可以了,进而提升了训练任务的训练效率,解决了训练任务使用环境变量时的易用性问题。
附图说明
31.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
32.图1为本技术公开的一种训练任务环境变量设置方法流程图;
33.图2为本技术公开的一种具体的训练任务环境变量设置方法流程图;
34.图3为本技术公开的一种具体的环境变量设置方法示意图;
35.图4为本技术公开的一种具体的训练任务环境变量设置方法流程图;
36.图5为本技术公开的一种具体的训练任务环境变量设置方法框图;
37.图6为本技术公开的一种训练任务环境变量设置装置结构示意图;
38.图7为本技术公开的一种电子设备结构图。
具体实施方式
39.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
40.当前,在对训练任务的环境变量进行设置时,一种是在训练脚本中预置环境变量,在执行训练脚本前先通过执行setenv命令的方式设置环境变量,然后再执行训练脚本,上述方式由于需要在训练脚本中预置环境变量并在执行训练脚本前手动设置环境变量,因此降低了训练任务的训练效率;另一种是直接在训练脚本中设置环境变量,但只在当前脚本中使用,上述方式不适用于一个任务多个训练脚本的执行场景。为此,本技术提供了一种训练任务环境变量设置方法,能够实现不需要在训练脚本中设置环境变量,提升了训练任务的训练效率,解决了训练任务使用环境变量时的易用性问题。
41.本技术实施例公开了一种训练任务环境变量设置方法,应用于深度学习服务平台,参见图1所示,该方法包括:
42.步骤s11:接收用户创建训练任务时设置的环境变量数据。
43.本实施例中,首先需要对用户在深度学习服务平台上创建训练任务时所设置的环境变量数据进行获取。其中,所述深度学习服务平台包括但不限于ai station(一种人工智能开发平台)。
44.在一种具体的实施方式中,所述接收用户创建训练任务时设置的环境变量数据,具体可以包括:接收用户创建训练任务时通过页面设置的方式设置的环境变量数据。也即,在创建训练任务时,用户可以在深度学习服务平台的页面上手动设置需要的环境变量,在设置完成后便可以通过深度学习服务平台对设置好的环境变量进行采集和保存。其中,所述环境变量的数量既可以有一个也可以有多个。
45.需要指出的是,所述接收用户创建训练任务时设置的环境变量数据之前,具体还包括:在所述深度学习服务平台的系统设置中设置所述全局环境变量;其中,所述全局环境变量包括所述训练任务默认注入的环境变量构成的第一环境变量列表和所述训练任务不能设置的第二环境变量列表。本实施例中,需要预先在深度学习服务平台中维护两种类型的全局变量,一种是训练任务默认注入的环境变量,另一种是训练任务不能设置的但是可由用户通过页面操作进行维护的环境变量,进而得到相应的第一环境变量列表和第二环境变量列表。
46.步骤s12:从所述环境变量数据中获取与所述训练任务相关的全局环境变量,并利
用所述环境变量数据对所述全局环境变量进行处理,得到处理后环境变量。
47.本实施例中,接收用户创建训练任务时设置的环境变量数据之后,进一步的,可以从上述环境变量数据中获取预先设置的与所述训练任务相关的全局环境变量,如获取所述训练任务默认注入的所述第一环境变量列表和所述训练任务不能设置的所述第二环境变量列表,即判断哪些环境变量不能设置,哪些环境变量需要默认设置到训练任务中,然后利用获取到的上述环境变量数据对所述全局环境变量进行相应的设置,进而得到处理后环境变量。
48.步骤s13:将所述处理后环境变量注入到任务容器中,以便在执行所述训练任务时,通过所述训练任务中的训练脚本直接从所述任务容器中调用所述处理后环境变量。
49.本实施例中,利用所述环境变量数据对所述全局环境变量进行处理得到处理后环境变量之后,将所有上述处理后环境变量注入到预先创建的任务容器中,这样一来,当执行所述训练任务时,便可以通过上述训练任务中的训练脚本直接从上述任务容器中调用上述处理后环境变量,即训练任务所需的环境变量。
50.进一步的,将所述处理后环境变量注入到任务容器中之后,还可以包括:通过页面设置的方式对所述任务容器中的所述处理后环境变量进行增加、删除和修改。本实施例中,当需要对所述训练任务中的环境变量进行调整时,可以直接对上述任务容器中已经存在的所述处理后环境变量进行相应的调整,如在所述处理后环境变量中进行新增环境变量、删除环境变量和修改环境变量的操作。
51.可见,本技术实施例先接收用户创建训练任务时设置的环境变量数据,然后从所述环境变量数据中获取与所述训练任务相关的全局环境变量,并利用所述环境变量数据对所述全局环境变量进行处理,得到处理后环境变量,再将所述处理后环境变量注入到任务容器中,以便在执行所述训练任务时,通过所述训练任务中的训练脚本直接从所述任务容器中调用所述处理后环境变量。本技术实施例在创建训练任务时设置环境变量,并将设置的环境变量注入到任务容器中,这样便不需要在训练脚本中设置环境变量,在训练任务运行时直接从任务容器中获取就可以了,进而提升了训练任务的训练效率,解决了训练任务使用环境变量时的易用性问题。
52.本技术实施例公开了一种具体的训练任务环境变量设置方法,应用于深度学习服务平台,参见图2所示,该方法包括:
53.步骤s21:在所述深度学习服务平台的系统设置中设置全局环境变量;其中,所述全局环境变量包括训练任务默认注入的环境变量构成的第一环境变量列表和所述训练任务不能设置的第二环境变量列表。
54.本实施例中,首先在上述深度学习服务平台的系统设置中设置包括训练任务默认注入的环境变量构成的第一环境变量列表和所述训练任务不能设置的第二环境变量列表的全局环境变量。例如,在平台系统中维护一种是训练任务默认注入的环境变量列表env_a,以及另一种训练任务不能设置但可由用户通过页面操作进行维护的环境变量列表env_b。
55.步骤s22:接收用户创建所述训练任务时通过页面设置的方式设置的环境变量数据。
56.本实施例中,在所述深度学习服务平台的系统设置中设置所述全局环境变量之
后,进一步的接收用户创建上述训练任务时通过页面设置的方式设置的环境变量数据。具体的,参见图3所示,通过深度学习服务平台的环境变量创建页面可以增加和删除相应的环境变量以及黄金变量的取值。
57.步骤s23:从所述环境变量数据中获取所述训练任务默认注入的环境变量构成的所述第一环境变量列表和所述训练任务不能设置的所述第二环境变量列表。
58.本实施例中,接收用户创建所述训练任务时通过页面设置的方式设置的环境变量数据之后,可以进一步的从上述环境变量数据中获取上述训练任务默认注入的环境变量构成的所述第一环境变量列表和上述训练任务不能设置的所述第二环境变量列表。
59.步骤s24:利用所述环境变量数据对所述第一环境变量列表和所述第二环境变量列表进行设置,得到处理后环境变量。
60.本实施例中,从所述环境变量数据中获取所述训练任务默认注入的环境变量构成的所述第一环境变量列表和所述训练任务不能设置的所述第二环境变量列表之后,判断哪些环境变量不能设置,哪些需要默认设置到训练任务中,然后将能够设置到训练任务中的环境变量进行设置,得到处理后环境变量。
61.步骤s25:将所述处理后环境变量注入到任务容器中,以便在执行所述训练任务时,通过所述训练任务中的训练脚本直接从所述任务容器中调用所述处理后环境变量。
62.本实施例中,利用所述环境变量数据对所述第一环境变量列表和所述第二环境变量列表进行设置得到处理后环境变量之后,进一步的,将上述处理后环境变量注入到预先创建的任务容器中,以便在执行上述训练任务时,通过所述训练任务中的训练脚本直接从上述任务容器中调用所述处理后环境变量,进而成功运行所述训练脚本。
63.其中,关于上述步骤更加具体的处理过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
64.可见,本技术实施例先在深度学习服务平台的系统设置中设置包括训练任务默认注入的环境变量构成的第一环境变量列表和所述训练任务不能设置的第二环境变量列表的全局环境变量,然后接收用户创建所述训练任务时通过页面设置的方式设置的环境变量数据,接着从所述环境变量数据中获取所述训练任务默认注入的环境变量构成的所述第一环境变量列表和所述训练任务不能设置的所述第二环境变量列表,再利用所述环境变量数据对所述第一环境变量列表和所述第二环境变量列表进行设置得到处理后环境变量,最后将所述处理后环境变量注入到任务容器中,以便在执行所述训练任务时,通过所述训练任务中的训练脚本直接从所述任务容器中调用所述处理后环境变量。本技术实施例提出了一种训练任务环境变量设置方案,适用于训练任务设置环境变量,训练脚本直接使用环境变量的场景,解决了训练任务使用环境变量易用性的问题,可以有效的在创建训练任务时,通过平台页面设置需要的环境变量,创建成功后平台会自动将设置的环境变量注入到任务容器中,训练脚本可以直接使用相关的环境变量,还可以在平台系统设置中配置不能被覆盖的环境变量,防止训练任务在调度、创建的过程中覆盖相关的环境变量,同时还可以在平台系统设置中设置默认注入的环境变量,使得用户可以高效的进行训练任务的训练,不需要在训练脚本中预先设置环境变量,可以有效的提升算法人员训练的效率。
65.本技术实施例公开了一种具体的训练任务环境变量设置方法,应用于深度学习服务平台,参见图4所示,该方法包括:
66.步骤s31:在所述深度学习服务平台的系统设置中设置全局环境变量;其中,所述全局环境变量包括训练任务默认注入的环境变量构成的第一环境变量列表和所述训练任务不能设置的第二环境变量列表。
67.本实施例中,参见图5所示,先在上述深度学习服务平台的系统设置中设置包括训练任务默认注入的环境变量构成的第一环境变量列表和所述训练任务不能设置的第二环境变量列表的全局环境变量。例如,在平台系统中维护一种是训练任务默认注入的环境变量列表env_a,以及另一种训练任务不能设置但可由用户通过页面操作进行维护的环境变量列表env_b,其中所述训练任务中包括但不限于任务规格参数、环境变量等。
68.步骤s32:通过预先创建的任务环境变量处理模块接收用户创建训练任务时设置的环境变量数据。
69.本实施例中,参见图5所示,在所述深度学习服务平台的系统设置中设置全局环境变量之后,可以通过预先创建的任务环境变量处理模块接收用户创建训练任务时设置的环境变量数据,如接收用户创建训练任务时设置的环境变量envlist。
70.步骤s33:通过所述任务环境变量处理模块对所述环境变量数据进行校验,若校验通过则从所述环境变量数据中获取与所述训练任务相关的全局环境变量,并利用所述环境变量数据对所述全局环境变量进行处理,得到处理后环境变量。
71.本实施例中,参见图5所示,通过预先创建的任务环境变量处理模块接收用户创建训练任务时设置的环境变量数据之后,可以通过上述任务环境变量处理模块中的环境变量校验器对上述环境变量数据进行校验,如果校验通过则进一步的从上述环境变量数据中获取与上述训练任务相关的全局环境变量,例如,通过图5中的默认环境变量处理装置和不能覆盖环境变量处理装置分别获取上述环境变量列表env_a和上述环境变量列表env_b,接着通过上述环境变量列表env_a和上述环境变量列表env_b对所述训练任务的全局环境变量进行处理,得到处理后环境变量。
72.步骤s34:将所述处理后环境变量注入到任务容器中,以便在执行所述训练任务时,通过所述训练任务中的训练脚本直接从所述任务容器中调用所述处理后环境变量。
73.本实施例中,利用所述环境变量数据对所述全局环境变量进行处理得到处理后环境变量之后,将上述处理后环境变量注入到任务容器中,以便在后续执行上述训练任务时,开始运行上述训练任务中的训练脚本,然后通过所述训练脚本直接从上述任务容器中调用上述处理后环境变量。
74.其中,关于上述步骤更加具体的处理过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
75.可见,本技术实施例先在深度学习服务平台的系统设置中设置包括训练任务默认注入的环境变量构成的第一环境变量列表和所述训练任务不能设置的第二环境变量列表的全局环境变量,然后通过预先创建的任务环境变量处理模块接收用户创建训练任务时设置的环境变量数据,接着通过所述任务环境变量处理模块对所述环境变量数据进行校验,如果校验通过则从所述环境变量数据中获取与所述训练任务相关的全局环境变量,并利用所述环境变量数据对所述全局环境变量进行处理得到处理后环境变量,再将所述处理后环境变量注入到任务容器中,以便在执行所述训练任务时,通过所述训练任务中的训练脚本直接从所述任务容器中调用所述处理后环境变量。本技术实施例提出了一种训练任务环境
变量设置方案,该方案适用于训练任务设置环境变量,然后训练脚本直接使用环境变量的场景,解决了训练任务使用环境变量易用性的问题,可以有效的在创建训练任务时,通过平台页面设置需要的环境变量,创建成功后平台会自动将设置的环境变量注入到任务容器中,训练脚本可以直接使用相关的环境变量,还可以在平台系统设置中配置不能被覆盖的环境变量,防止训练任务在调度、创建的过程中覆盖相关的环境变量,同时还可以在平台系统设置中设置默认注入的环境变量,使得用户可以高效的进行训练任务的训练,不需要在训练脚本中预先设置环境变量,可以有效的提升算法人员训练的效率。
76.相应的,本技术实施例还公开了一种训练任务环境变量设置装置,参见图6所示,该装置包括:
77.环境变量接收模块11,用于接收用户创建训练任务时设置的环境变量数据;
78.全局环境变量获取模块12,用于从所述环境变量数据中获取与所述训练任务相关的全局环境变量;
79.环境变量处理模块13,用于利用所述环境变量数据对所述全局环境变量进行处理,得到处理后环境变量;
80.环境变量注入模块14,用于将所述处理后环境变量注入到任务容器中;
81.环境变量调用模块,用于在执行所述训练任务时,通过所述训练任务中的训练脚本直接从所述任务容器中调用所述处理后环境变量。
82.其中,关于上述各个模块的具体工作流程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
83.可见,本技术实施例中,先接收用户创建训练任务时设置的环境变量数据,然后从所述环境变量数据中获取与所述训练任务相关的全局环境变量,并利用所述环境变量数据对所述全局环境变量进行处理,得到处理后环境变量,再将所述处理后环境变量注入到任务容器中,以便在执行所述训练任务时,通过所述训练任务中的训练脚本直接从所述任务容器中调用所述处理后环境变量。本技术实施例在创建训练任务时设置环境变量,并将设置的环境变量注入到任务容器中,这样便不需要在训练脚本中设置环境变量,在训练任务运行时直接从任务容器中获取就可以了,进而提升了训练任务的训练效率,解决了训练任务使用环境变量时的易用性问题。
84.在一些具体实施例中,所述环境变量接收模块11,具体可以包括:
85.第一环境变量接收单元,用于接收用户创建训练任务时通过页面设置的方式设置的环境变量数据。
86.在一些具体实施例中,所述训练任务环境变量设置装置,还可以包括:
87.全局环境变量设置单元,用于在所述深度学习服务平台的系统设置中设置所述全局环境变量;其中,所述全局环境变量包括所述训练任务默认注入的环境变量构成的第一环境变量列表和所述训练任务不能设置的第二环境变量列表。
88.在一些具体实施例中,所述全局环境变量获取模块12,具体可以包括:
89.环境变量列表获取单元,用于从所述环境变量数据中获取所述训练任务默认注入的环境变量构成的第一环境变量列表和所述训练任务不能设置的第二环境变量列表;
90.在一些具体实施例中,所述环境变量处理模块13,具体可以包括:
91.环境变量列表设置单元,用于利用所述环境变量数据对所述第一环境变量列表和
所述第二环境变量列表进行设置,得到处理后环境变量。
92.在一些具体实施例中,所述环境变量接收模块11,具体可以包括:
93.第二环境变量接收单元,用于通过预先创建的任务环境变量处理模块接收用户创建训练任务时设置的环境变量数据。
94.在一些具体实施例中,所述全局环境变量获取模块12,具体可以包括:
95.环境变量数据校验单元,用于通过所述任务环境变量处理模块对所述环境变量数据进行校验;
96.环境变量获取单元,用于如果所述校验通过则从所述环境变量数据中获取与所述训练任务相关的全局环境变量。
97.在一些具体实施例中,所述训练任务环境变量设置装置,还可以包括:
98.环境变量调整单元,用于通过页面设置的方式对所述任务容器中的所述处理后环境变量进行增加、删除和修改。
99.进一步的,本技术实施例还公开了一种电子设备,图7是根据一示例性实施例示出的电子设备20结构图,图中的内容不能认为是对本技术的使用范围的任何限制。
100.图7为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20,具体可以包括:至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现前述任一实施例公开的训练任务环境变量设置方法中的相关步骤。另外,本实施例中的电子设备20具体可以为电子计算机。
101.本实施例中,电源23用于为电子设备20上的各硬件设备提供工作电压;通信接口24能够为电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
102.另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源可以包括操作系统221、计算机程序222等,存储方式可以是短暂存储或者永久存储。
103.其中,操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222,其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的训练任务环境变量设置方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。
104.进一步的,本技术还公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的训练任务环境变量设置方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容,在此不再进行赘述。
105.本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
106.专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元
及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
107.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
108.最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
109.以上对本技术所提供的一种训练任务环境变量设置方法、装置、设备及介质进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的一般技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。

技术特征:


1.一种训练任务环境变量设置方法,其特征在于,应用于深度学习服务平台,包括:接收用户创建训练任务时设置的环境变量数据;从所述环境变量数据中获取与所述训练任务相关的全局环境变量,并利用所述环境变量数据对所述全局环境变量进行处理,得到处理后环境变量;将所述处理后环境变量注入到任务容器中,以便在执行所述训练任务时,通过所述训练任务中的训练脚本直接从所述任务容器中调用所述处理后环境变量。2.根据权利要求1所述的训练任务环境变量设置方法,其特征在于,所述接收用户创建训练任务时设置的环境变量数据,包括:接收用户创建训练任务时通过页面设置的方式设置的环境变量数据。3.根据权利要求1所述的训练任务环境变量设置方法,其特征在于,还包括:在所述深度学习服务平台的系统设置中设置所述全局环境变量;其中,所述全局环境变量包括所述训练任务默认注入的环境变量构成的第一环境变量列表和所述训练任务不能设置的第二环境变量列表。4.根据权利要求2所述的训练任务环境变量设置方法,其特征在于,所述从所述环境变量数据中获取与所述训练任务相关的全局环境变量,并利用所述环境变量数据对所述全局环境变量进行处理,得到处理后环境变量,包括:从所述环境变量数据中获取所述训练任务默认注入的环境变量构成的第一环境变量列表和所述训练任务不能设置的第二环境变量列表;利用所述环境变量数据对所述第一环境变量列表和所述第二环境变量列表进行设置,得到处理后环境变量。5.根据权利要求1所述的训练任务环境变量设置方法,其特征在于,所述接收用户创建训练任务时设置的环境变量数据,包括:通过预先创建的任务环境变量处理模块接收用户创建训练任务时设置的环境变量数据。6.根据权利要求5所述的训练任务环境变量设置方法,其特征在于,所述从所述环境变量数据中获取与所述训练任务相关的全局环境变量,包括:通过所述任务环境变量处理模块对所述环境变量数据进行校验,若校验通过则从所述环境变量数据中获取与所述训练任务相关的全局环境变量。7.根据权利要求1至6任一项所述的训练任务环境变量设置方法,其特征在于,还包括:通过页面设置的方式对所述任务容器中的所述处理后环境变量进行增加、删除和修改。8.一种训练任务环境变量设置装置,应用于深度学习服务平台,其特征在于,包括:环境变量接收模块,用于接收用户创建训练任务时设置的环境变量数据;全局环境变量获取模块,用于从所述环境变量数据中获取与所述训练任务相关的全局环境变量;环境变量处理模块,用于利用所述环境变量数据对所述全局环境变量进行处理,得到处理后环境变量;环境变量注入模块,用于将所述处理后环境变量注入到任务容器中;环境变量调用模块,用于在执行所述训练任务时,通过所述训练任务中的训练脚本直
接从所述任务容器中调用所述处理后环境变量。9.一种电子设备,其特征在于,包括处理器和存储器;其中,所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的训练任务环境变量设置方法。10.一种计算机可读存储介质,其特征在于,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的训练任务环境变量设置方法。

技术总结


本申请公开了一种训练任务环境变量设置方法、装置、设备及介质,涉及计算机技术领域,包括:接收用户创建训练任务时设置的环境变量数据;从环境变量数据中获取与训练任务相关的全局环境变量,并利用环境变量数据对全局环境变量进行处理,得到处理后环境变量;将处理后环境变量注入到任务容器中,以便在执行训练任务时,通过训练任务中的训练脚本直接从所述任务容器中调用所述处理后环境变量。本申请在创建训练任务时设置环境变量,并将设置的环境变量注入到任务容器中,这样便不需要在训练脚本中设置环境变量,在训练任务运行时直接从任务容器中获取就可以了,进而提升了训练任务的训练效率,解决了训练任务使用环境变量时的易用性问题。性问题。性问题。


技术研发人员:

邢良占

受保护的技术使用者:

苏州浪潮智能科技有限公司

技术研发日:

2022.09.28

技术公布日:

2022/12/23

本文发布于:2024-09-21 01:36:56,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/3/44289.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:环境变量   所述   数据   全局
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议