一种计算作业的调度方法、装置及计算机可读存储介质与流程



1.本技术涉及计算调度技术领域,具体涉及一种计算作业的调度方法、装置及计算机可读存储介质。


背景技术:



2.高性能计算(high performance computing,简称hpc),是指以提高科学计算能力为目的计算机技术。hpc仿真计算是一种并行计算,即将一个应用程序分割成多块可以并行执行的部分并指定到多个处理器上执行的方法。
3.hpc仿真计算需要依赖调度软件来管理多个应用程序(例如仿真软件等)的计算调度,然而通常的调度软件只能针对单一环境(例如单个计算池)的集中进行应用程序的计算调度,难以满足复杂环境下的计算资源调度问题的需求。


技术实现要素:



4.为了解决上述技术问题,提出了本技术。本技术的实施例提供了一种计算作业的调度方法、装置及计算机可读存储介质,解决了上述技术问题。
5.根据本技术的一个方面,提供了一种计算作业的调度方法,包括:获取排队作业的排队原因;其中,所述排队作业表征正在排队等待处理的计算作业;当所述排队原因为所述排队作业对应的计算资源池的剩余资源量小于所述排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量;其中,所述集包括所述排队作业对应的计算资源池和所述其他计算资源池;以及当所述其他计算资源池的所述剩余资源量大于或等于所述需求资源量、且所述其他计算资源池与所述排队作业匹配时,将所述排队作业分配至所述其他计算资源池进行计算。
6.在一实施例中,所述当所述排队原因为所述排队作业对应的计算资源池的剩余资源量小于所述排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量包括:
7.当所述排队原因为所述排队作业对应的计算资源池的剩余资源量减去保留资源量后小于所述排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量;其中,所述保留资源量表征单个计算资源池中预留的资源量,所述保留资源量与对应的计算资源池的剩余资源量正相关。
8.在一实施例中,所述当所述其他计算资源池的所述剩余资源量大于或等于所述需求资源量、且所述其他计算资源池与所述排队作业匹配时,将所述排队作业分配至所述其他计算资源池进行计算包括:
9.当所述其他计算资源池的所述剩余资源量减去保留资源量后大于或等于所述需求资源量、且所述其他计算资源池与所述排队作业匹配时,将所述排队作业分配至所述其他计算资源池进行计算;其中,所述保留资源量表征单个计算资源池中预留的资源量,所述保留资源量与对应的计算资源池的剩余资源量正相关。
10.在一实施例中,所述计算作业的调度方法还包括:
11.当所述其他计算资源池的剩余资源量均小于所述需求资源量时,停止对所述排队作业进行调度。
12.在一实施例中,在所述停止对所述排队作业进行调度之后,所述计算作业的调度方法还包括:
13.对所述排队作业之后的计算作业进行调度。
14.在一实施例中,所述计算作业的调度方法还包括:
15.当单个用户对应的所述计算作业的需求资源量的总和大于单用户资源量上限时,停止对所述单个用户的所述计算作业进行调度;其中,所述单用户资源量上限与对应的计算资源池的剩余资源量正相关。
16.在一实施例中,在所述获取排队作业的排队原因之前,所述计算作业的调度方法还包括:
17.根据所有计算作业的要求和所述集中各个计算资源池的计算特性,将所述计算作业分别分配至各个所述计算资源池匹配。
18.在一实施例中,所述获取排队作业的排队原因包括:
19.当所述集中存在排队等待的所述排队作业时,获取所述排队作业的排队原因。
20.根据本技术的另一个方面,提供了一种计算作业的调度装置,包括:第一获取模块,用于获取排队作业的排队原因;其中,所述排队作业表征正在排队等待处理的计算作业;第二获取模块,用于当所述排队原因为所述排队作业对应的计算资源池的剩余资源量小于所述排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量;其中,所述集包括所述排队作业对应的计算资源池和所述其他计算资源池;以及调度执行模块,用于当所述其他计算资源池的所述剩余资源量大于或等于所述需求资源量、且所述其他计算资源池与所述排队作业匹配且时,将所述排队作业分配至所述其他计算资源池进行计算。
21.根据本技术的另一个方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述任一所述的计算作业的调度方法。
22.本技术提供的一种计算作业的调度方法、装置及计算机可读存储介质,在存在排队作业时,通过获取排队作业的排队原因,当排队原因为排队作业对应的计算资源池的剩余资源量小于排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量,当其他计算资源池的剩余资源量大于或等于需求资源量、且其他计算资源池与排队作业匹配时,将排队作业分配至其他计算资源池进行计算;即对排队作业进行排队原因的判断,若是因为该排队作业对应的计算资源池的剩余资源量不足,则获取集中其他计算资源池的剩余资源量,若其他计算资源池的剩余资源量满足该排队作业的资源需求且该其他计算资源池与该排队作业匹配,则将该排队作业分配至该其他计算资源池进行计算,不仅可以提高集中计算资源的有效利用,而且可以减少计算作业的排队等待时间,从而可以提高集的计算效率和利用率。
附图说明
23.通过结合附图对本技术实施例进行更详细的描述,本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解,并且构成说明书的一部分,与本技术实施例一起用于解释本技术,并不构成对本技术的限制。在附图中,
相同的参考标号通常代表相同部件或步骤。
24.图1是本技术一示例性实施例提供的一种计算作业的调度方法的流程示意图。
25.图2是本技术另一示例性实施例提供的一种计算作业的调度方法的流程示意图。
26.图3是本技术另一示例性实施例提供的一种计算作业的调度方法的流程示意图。
27.图4是本技术另一示例性实施例提供的一种计算作业的调度方法的流程示意图。
28.图5是本技术另一示例性实施例提供的一种计算作业的调度方法的流程示意图。
29.图6是本技术另一示例性实施例提供的一种计算作业的调度方法的流程示意图。
30.图7是本技术一示例性实施例提供的一种计算作业的调度装置的结构示意图。
31.图8是本技术另一示例性实施例提供的一种计算作业的调度装置的结构示意图。
32.图9是本技术一示例性实施例提供的电子设备的结构图。
具体实施方式
33.下面,将参考附图详细地描述根据本技术的示例实施例。显然,所描述的实施例仅仅是本技术的一部分实施例,而不是本技术的全部实施例,应理解,本技术不受这里描述的示例实施例的限制。
34.hpc仿真计算的应用程序是需要依赖于hpc调度软件实现计算作业调度的,但是通常的hpc调度软件的计算作业调度策略只能针对单个计算集进行调度,而无法满足多个计算集、本地计算集和云端计算集相结合的环境。
35.为了解决多个计算集(包括本地计算集和/或云端计算集)之间的相互调度,本技术提出了一种计算作业的调度方法、装置及计算机可读存储介质,将所有集同一调度管理,通过监控每个集(或计算资源池)中的排队作业,当一个集中出现了排队作业时,检测其他集的剩余计算资源量,若其他集的剩余计算资源量满足该排队作业的需求,将该排队作业调度至其他集进行计算处理,以提高hpc仿真计算程序的计算效率和所有计算集的资源利用率。
36.下面结合附图具体说明本技术实施例提供的一种计算作业的调度方法、装置及计算机可读存储介质的具体方案和实现方式。
37.图1是本技术一示例性实施例提供的一种计算作业的调度方法的流程示意图。如图1所示,该计算作业的调度方法包括如下步骤:
38.步骤110:获取排队作业的排队原因。
39.其中,排队作业表征正在排队等待处理的计算作业。在一实施例中,步骤110的具体实现方式可以是:当集中存在排队等待的排队作业时,获取排队作业的排队原因。
40.具体的,本技术应用于多个计算资源池的hpc集场景,例如包括3个计算资源池(第一本地计算资源池、第二本地计算资源池和云上计算资源池),其中,第一本地计算资源池包括36个服务器(cpu)、第二本地计算资源池包括48个服务器(cpu)、云上计算资源池包括64个服务器(cpu),且本技术需要计算的软件包括star-ccm+、fluent、abaqus、ls_dyna、mechanicalapdl、optistruct等。应当理解,本技术中的计算资源池的数量和对应的服务器的数量只是示例性的,并非限定计算资源池的具体数量和对应的服务器的具体数量。当用户提交一个软件计算时,可能因为对应该软件或该客户的计算资源池的资源全部用完或剩余资源不足以计算该应用软件,此时即可确定该应用软件为排队作业。当集中存在排队
作业时,激活调度程序,即判断该排队作业的排队原因,以根据排队原因调度资源。具体的,调度程序可以周期性(例如每一分钟)的判断集中是否存在排队作业,从而避免长时间排队而不被发现。
41.步骤120:当排队原因为排队作业对应的计算资源池的剩余资源量小于排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量。
42.其中,集包括排队作业对应的计算资源池和其他计算资源池,其他计算资源池可以是一个,也可以是多个,例如上述例子中若第一本地计算资源池为排队作业对应的计算资源池,则第二本地计算资源池和云上计算资源池为其他计算资源池。当确定排队作业的排队原因为对应的计算资源池的剩余资源量小于需求资源量时,调度软件获取集中其他计算资源池的剩余资源量,以确定是否可以进行调度。例如第一本地计算资源池处存在排队作业,且排队原因为第一本地计算资源池的剩余资源量不足以满足该排队作业的需求资源量时,获取第二本地计算资源池和云上计算资源池的剩余资源量。应当理解,本技术可以按照预设的顺序获取其他计算资源池的剩余资源量,例如先获取第二本地计算资源池的剩余资源量,若第二本地计算资源池的剩余资源量不满足需求时再获取云上计算资源池的剩余资源量,以节省计算剩余资源量的计算量。
43.步骤130:当其他计算资源池的剩余资源量大于或等于需求资源量、且其他计算资源池与排队作业匹配时,将排队作业分配至其他计算资源池进行计算。
44.由于不同的仿真计算软件的需求不同,例如star-ccm软件适合多核心服务器但是对主频没要求,则选择云上计算资源池进行计算,optistruct软件适合高主频但是对核心服务器数量没要求,则选择第一本地计算资源池,因此,在获取其他计算资源池的剩余资源量前,优选选择满足该排队作业的需求的计算资源池为目标。在获取了其他计算资源池的剩余资源量后,若其他计算资源池的剩余资源量大于或等于该排队作业的需求资源量(即该其他计算资源池的剩余资源量满足该排队作业的需求),并且该其他计算资源池与排队作业相匹配,此时可以将该排队作业分配至该其他计算资源池进行计算,以降低排队等待的仿真计算软件数量,从而提高集的有效利用率和计算效率。
45.本技术提供的一种计算作业的调度方法,在存在排队作业时,通过获取排队作业的排队原因,当排队原因为排队作业对应的计算资源池的剩余资源量小于排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量,当其他计算资源池的剩余资源量大于或等于需求资源量、且其他计算资源池与排队作业匹配时,将排队作业分配至其他计算资源池进行计算;即对排队作业进行排队原因的判断,若是因为该排队作业对应的计算资源池的剩余资源量不足,则获取集中其他计算资源池的剩余资源量,若其他计算资源池的剩余资源量满足该排队作业的资源需求且该其他计算资源池与该排队作业匹配,则将该排队作业分配至该其他计算资源池进行计算,不仅可以提高集中计算资源的有效利用,而且可以减少计算作业的排队等待时间,从而可以提高集的计算效率和利用率。
46.图2是本技术另一示例性实施例提供的一种计算作业的调度方法的流程示意图。如图2所示,上述步骤120可以包括:
47.步骤121:当排队原因为排队作业对应的计算资源池的剩余资源量减去保留资源量后小于排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量。
48.其中,保留资源量表征单个计算资源池中预留的资源量,保留资源量与对应的计
算资源池的剩余资源量正相关。为了保证计算资源池的计算速度,可以对每个计算资源池都设定一个保留资源量,一方面可以避免计算资源池的过饱和运行,另一方面也可以为新用户或较为紧急的计算作业留有一定的计算资源。具体的,保留资源量与剩余资源量正相关,即单个计算资源池的剩余资源量越多,则保留的资源量也越多,例如单个计算资源池的服务器数量为50,当资源利用率为0时(即完全空闲),此时可以允许单个仿真计算软件的需求资源量最多为30个服务器(即保留资源量为20个服务器);当资源利用率为80%时(即剩余资源量为10个服务器),此时可以允许单个仿真计算软件的需求资源量最多为5个服务器(即保留资源量为5个服务器)。优选地,本技术可以根据不同的资源利用率预先设定对应的保留比例,例如上述资源利用率为0时的保留比例为40%,而资源利用率为80%时的保留比例为50%。
49.在计算资源池的剩余资源量减去保留资源量后小于排队作业的需求资源量时,即计算资源池当前可以供单个仿真计算软件使用的资源量小于需求资源量时,获取集中其他计算资源池的剩余资源量,以对该单个仿真计算软件进行调度。
50.图3是本技术另一示例性实施例提供的一种计算作业的调度方法的流程示意图。如图3所示,上述步骤130可以包括:
51.步骤131:当其他计算资源池的剩余资源量减去保留资源量后大于或等于需求资源量、且其他计算资源池与排队作业匹配时,将排队作业分配至其他计算资源池进行计算。
52.其中,保留资源量表征单个计算资源池中预留的资源量,保留资源量与对应的计算资源池的剩余资源量正相关。为了保证计算资源池的计算速度,每个计算资源池都设定一个保留资源量,以避免计算资源池的过饱和运行,并且也可以为新用户或较为紧急的计算作业留有一定的计算资源。因此,在获取其他计算资源池的可利用资源量时,也需要保留一部分资源量,也就是说,只有在其他计算资源池的剩余资源量减去对应的保留资源量(与当前资源利用率正相关)后的资源量仍然能够满足该排队作业的需求资源量、且该计算资源池与该排队作业匹配时,才将该排队作业分配至该其他计算资源池进行计算,以保证该其他计算资源池的正常计算运行。
53.图4是本技术另一示例性实施例提供的一种计算作业的调度方法的流程示意图。如图4所示,上述计算作业的调度方法还可以包括:
54.步骤140:当其他计算资源池的剩余资源量均小于需求资源量时,停止对排队作业进行调度。
55.若其他计算资源池的剩余资源量都小于排队作业的需求资源量,即集中所有的计算资源池的剩余资源量都不能满足该排队作业的需求,此时只能退出调度程度,即停止对排队作业进行调度,保持现有的排队状态。并且在下一周期时再次判断是否存在排队作业、是否有满足排队作业需求的其他计算资源池,若判断结果都为是,则对排队作业进行调度。
56.在一实施例中,如图4所示,在步骤140之后,上述计算作业的调度方法还可以包括:
57.步骤150:对排队作业之后的计算作业进行调度。
58.由于不同仿真计算软件的需求资源量不同,若某个计算资源池存在多个排队作业,且位于队列前面的排队作业的需求资源量超出了集中所有计算资源池的剩余资源
量,此时若后面的排队作业的需求资源量较小时可能存在可对其进行计算的计算资源池,可以对后面的排队作业进行调度(具体的调度方式如上述步骤110-130所述),从而可以尽可能的提高整个集的资源利用率和仿真计算软件的计算效率。
59.图5是本技术另一示例性实施例提供的一种计算作业的调度方法的流程示意图。如图5所示,上述计算作业的调度方法还可以包括:
60.步骤160:当单个用户对应的计算作业的需求资源量的总和大于单用户资源量上限时,停止对单个用户的计算作业进行调度。
61.由于计算资源池的计算资源有限,若单个用户提交的仿真计算软件数量过多,则该单个用户可能会占用过多的资源而导致其他用户无法正常使用。因此,本技术可以对单个用户的总资源进行限定(设定单用户资源量上限),若单个用户同时运行的仿真计算软件的需求资源量的总和超过了该单用户资源量上限,则该单个用户提交的计算作业只能排队等待,调度软件停止对该单个用户的计算作业进行调度。
62.其中,单用户资源量上限与对应的计算资源池的剩余资源量正相关。具体的,单用户资源量上限与剩余资源量正相关,即单个计算资源池的剩余资源量越多,则单用户资源量上限也越高,例如单个计算资源池的服务器数量为50,当资源利用率为0时(即完全空闲),此时可以允许单个用户提交的仿真计算软件的计算资源总和最多为30个服务器;当资源利用率为80%时,此时可以允许单个用户提交的仿真计算软件的计算资源总和最多为5个服务器(即保留5个服务器,该保留的5个服务器可以打上标签,禁止运行常用软件,以尽量避免该保留的5个服务器被使用而出现的过饱和问题)。优选地,本技术可以根据不同的资源利用率预先设定对应的单用户资源量上限与剩余资源量的比例,例如上述资源利用率为0时的比例为40%,而资源利用率为80%时的比例为50%。
63.图6是本技术另一示例性实施例提供的一种计算作业的调度方法的流程示意图。如图6所示,在步骤110之前,上述计算作业的调度方法还可以包括:
64.步骤170:根据所有计算作业的要求和集中各个计算资源池的计算特性,将计算作业分别分配至各个计算资源池匹配。
65.由于不同的仿真计算软件的需求不同,例如star-ccm软件适合多核心服务器但是对主频没要求,则选择服务器数量较多的计算资源池进行计算,optistruct软件适合高主频但是对核心服务器数量没要求,则选择主频较高的计算资源池。为了尽可能实现较高的计算效率和计算效果,本技术可以预先将各个仿真计算软件分配至与之匹配的计算资源池中,即根据仿真计算软件的要求和计算资源池的计算特征,对仿真计算软件和计算资源池进行配对,以保证在无需调度的前提下,每个仿真计算软件都能在较优的计算资源池中进行计算处理,以保证仿真效果。并且,为了进一步提高集中计算资源的利用率和平衡性,本技术还可以根据各个仿真计算软件的需求资源量在满足匹配原则的前提下,将各个仿真计算软件均匀的分配至各个计算资源池,以尽量降低计算资源池饱和的风险,从而减少调度。另外,本技术还可以在一段时间后,根据该段时间内各个仿真计算软件的使用频率等再次综合匹配各个仿真计算软件和计算资源池,以进一步降低计算资源池饱和的风险,从而减少调度。
66.图7是本技术一示例性实施例提供的一种计算作业的调度装置的结构示意图。如图7所示,计算作业的调度装置70包括:第一获取模块71,用于获取排队作业的排队原因;其
中,排队作业表征正在排队等待处理的计算作业;第二获取模块72,用于当排队原因为排队作业对应的计算资源池的剩余资源量小于排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量;其中,集包括排队作业对应的计算资源池和其他计算资源池;以及调度执行模块73,用于当其他计算资源池的剩余资源量大于或等于需求资源量、且其他计算资源池与排队作业匹配且时,将排队作业分配至其他计算资源池进行计算。
67.本技术提供的一种计算作业的调度装置,在存在排队作业时,通过第一获取模块71获取排队作业的排队原因,当排队原因为排队作业对应的计算资源池的剩余资源量小于排队作业的需求资源量时,第二获取模块72获取集中其他计算资源池的剩余资源量,当其他计算资源池的剩余资源量大于或等于需求资源量、且其他计算资源池与排队作业匹配时,调度执行模块73将排队作业分配至其他计算资源池进行计算;即对排队作业进行排队原因的判断,若是因为该排队作业对应的计算资源池的剩余资源量不足,则获取集中其他计算资源池的剩余资源量,若其他计算资源池的剩余资源量满足该排队作业的资源需求且该其他计算资源池与该排队作业匹配,则将该排队作业分配至该其他计算资源池进行计算,不仅可以提高集中计算资源的有效利用,而且可以减少计算作业的排队等待时间,从而可以提高集的计算效率和利用率。
68.在一实施例中,第一获取模块71可以进一步配置为:当集中存在排队等待的排队作业时,获取排队作业的排队原因。
69.在一实施例中,第二获取模块72可以进一步配置为:当排队原因为排队作业对应的计算资源池的剩余资源量减去保留资源量后小于排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量。其中,保留资源量表征单个计算资源池中预留的资源量,保留资源量与对应的计算资源池的剩余资源量正相关。
70.在一实施例中,调度执行模块73可以进一步配置为:当其他计算资源池的剩余资源量减去保留资源量后大于或等于需求资源量、且其他计算资源池与排队作业匹配时,将排队作业分配至其他计算资源池进行计算。其中,保留资源量表征单个计算资源池中预留的资源量,保留资源量与对应的计算资源池的剩余资源量正相关。
71.图8是本技术另一示例性实施例提供的一种计算作业的调度装置的结构示意图。如图8所示,上述计算作业的调度装置70可以包括:调度终止模块74,用于当其他计算资源池的剩余资源量均小于需求资源量时,停止对排队作业进行调度。对应的,上述计算作业的调度装置70可以进一步配置为:对排队作业之后的计算作业进行调度。
72.在一实施例中,调度终止模块74可以进一步配置为:当单个用户对应的计算作业的需求资源量的总和大于单用户资源量上限时,停止对单个用户的计算作业进行调度。
73.在一实施例中,如图8所示,上述计算作业的调度装置70可以包括:预分配模块75,用于根据所有计算作业的要求和集中各个计算资源池的计算特性,将计算作业分别分配至各个计算资源池匹配。
74.下面,参考图9来描述根据本技术实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。
75.图9图示了根据本技术实施例的电子设备的框图。
76.如图9所示,电子设备10包括一个或多个处理器11和存储器12。
77.处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
78.存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本技术的各个实施例的计算作业的调度方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
79.在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
80.在该电子设备是单机设备时,该输入装置13可以是通信网络连接器,用于从第一设备和第二设备接收所采集的输入信号。
81.此外,该输入装置13还可以包括例如键盘、鼠标等等。
82.该输出装置14可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
83.当然,为了简化,图9中仅示出了该电子设备10中与本技术有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。
84.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如java、c++等,还包括常规的过程式程序设计语言,诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
85.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
86.为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

技术特征:


1.一种计算作业的调度方法,其特征在于,包括:获取排队作业的排队原因;其中,所述排队作业表征正在排队等待处理的计算作业;当所述排队原因为所述排队作业对应的计算资源池的剩余资源量小于所述排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量;其中,所述集包括所述排队作业对应的计算资源池和所述其他计算资源池;以及当所述其他计算资源池的所述剩余资源量大于或等于所述需求资源量、且所述其他计算资源池与所述排队作业匹配时,将所述排队作业分配至所述其他计算资源池进行计算。2.根据权利要求1所述的计算作业的调度方法,其特征在于,所述当所述排队原因为所述排队作业对应的计算资源池的剩余资源量小于所述排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量包括:当所述排队原因为所述排队作业对应的计算资源池的剩余资源量减去保留资源量后小于所述排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量;其中,所述保留资源量表征单个计算资源池中预留的资源量,所述保留资源量与对应的计算资源池的剩余资源量正相关。3.根据权利要求1所述的计算作业的调度方法,其特征在于,所述当所述其他计算资源池的所述剩余资源量大于或等于所述需求资源量、且所述其他计算资源池与所述排队作业匹配时,将所述排队作业分配至所述其他计算资源池进行计算包括:当所述其他计算资源池的所述剩余资源量减去保留资源量后大于或等于所述需求资源量、且所述其他计算资源池与所述排队作业匹配时,将所述排队作业分配至所述其他计算资源池进行计算;其中,所述保留资源量表征单个计算资源池中预留的资源量,所述保留资源量与对应的计算资源池的剩余资源量正相关。4.根据权利要求1至3中任一项所述的计算作业的调度方法,其特征在于,所述计算作业的调度方法还包括:当所述其他计算资源池的剩余资源量均小于所述需求资源量时,停止对所述排队作业进行调度。5.根据权利要求4所述的计算作业的调度方法,其特征在于,在所述停止对所述排队作业进行调度之后,所述计算作业的调度方法还包括:对所述排队作业之后的计算作业进行调度。6.根据权利要求1至3中任一项所述的计算作业的调度方法,其特征在于,所述计算作业的调度方法还包括:当单个用户对应的所述计算作业的需求资源量的总和大于单用户资源量上限时,停止对所述单个用户的所述计算作业进行调度;其中,所述单用户资源量上限与对应的计算资源池的剩余资源量正相关。7.根据权利要求1至3中任一项所述的计算作业的调度方法,其特征在于,在所述获取排队作业的排队原因之前,所述计算作业的调度方法还包括:根据所有计算作业的要求和所述集中各个计算资源池的计算特性,将所述计算作业分别分配至各个所述计算资源池匹配。8.根据权利要求1至3中任一项所述的计算作业的调度方法,其特征在于,所述获取排队作业的排队原因包括:
当所述集中存在排队等待的所述排队作业时,获取所述排队作业的排队原因。9.一种计算作业的调度装置,其特征在于,包括:第一获取模块,用于获取排队作业的排队原因;其中,所述排队作业表征正在排队等待处理的计算作业;第二获取模块,用于当所述排队原因为所述排队作业对应的计算资源池的剩余资源量小于所述排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量;其中,所述集包括所述排队作业对应的计算资源池和所述其他计算资源池;以及调度执行模块,用于当所述其他计算资源池的所述剩余资源量大于或等于所述需求资源量、且所述其他计算资源池与所述排队作业匹配且时,将所述排队作业分配至所述其他计算资源池进行计算。10.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-8任一所述的计算作业的调度方法。

技术总结


本申请公开了一种计算作业的调度方法、装置及计算机可读存储介质,通过获取排队作业的排队原因,当排队原因为排队作业对应的计算资源池的剩余资源量小于排队作业的需求资源量时,获取集中其他计算资源池的剩余资源量,当其他计算资源池的剩余资源量大于或等于需求资源量、且其他计算资源池与排队作业匹配时,将排队作业分配至其他计算资源池进行计算;不仅可以提高集中计算资源的有效利用,而且可以减少计算作业的排队等待时间,从而可以提高集的计算效率和利用率。以提高集的计算效率和利用率。以提高集的计算效率和利用率。


技术研发人员:

王江 黄毅 李发

受保护的技术使用者:

三一集团有限公司

技术研发日:

2022.08.26

技术公布日:

2022/12/29

本文发布于:2024-09-21 18:29:38,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/2/48989.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:作业   资源   所述   剩余
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议