一种基于光互连的边缘数据中心任务调度方法与流程



1.本发明涉及一种基于光互连的边缘数据中心任务调度方法,属于边缘计算技术领域。


背景技术:



2.边缘计算改善了云计算的聚合式高时延服务模型,具有实时性高、稳定性高、数据安全性高等优点。现有的边缘数据中心之间的互连与数据交互,多依靠无线或有线电交换方式,其任务调度问题已经得到了广泛的研究,相关的理论、技术与算法的发展也较为成熟,然而此类边缘计算系统的稳定性、吞吐量、传输速度、延迟、安全性等均难以满足海量、异构数据的实时互连互通的要求。


技术实现要素:



3.本发明所要解决的技术问题是提供一种基于光互连的边缘数据中心任务调度方法,通过高效的资源分配策略和执行机制,保证整个系统阻塞状况良好、各边缘节点利用率均衡。
4.本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种基于光互连的边缘数据中心任务调度方法,用于实现分布式边缘数据系统对所接收各光分组任务的调度处理;分布式边缘数据系统包括主计算节点ecn-m、以及其分别所对接管理的至少两个边缘计算中心,各个边缘计算中心分别包括边缘计算主节点ecn-m

、以及其分别所对接管理的至少一个从节点;各个从节点分别包括一个包含rec-fdl的边缘光交换单元osu

、以及与边缘光交换单元osu

分别相对接的至少两个边缘计算节点;
5.基于主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点的计算能力均满足分布式边缘数据系统所接收各光分组任务对计算能力需求,所述边缘数据中心任务调度方法包括分别针对各个从节点,执行如下步骤
6.步骤a.针对从节点中各边缘计算节点所接收各个光分组任务进行轮巡,获得各个光分组任务分别所对应的轮巡结束时间,然后并行执行如下步骤b、步骤c、步骤d;
7.步骤b.基于各轮巡结束时间由小至大排序,依次针对各轮巡结束时间分别对应的光分组任务,将光分组任务调度至相应节点进行处理、或调度至rec-fdl中进行循环;
8.步骤c.基于各光分组任务依次进入rec-fdl时间点顺序,循环依次针对rec-fdl中进行循环的各个光分组任务执行处理,直至将rec-fdl中各光分组任务更新为等待空闲节点状态、或者被丢弃;
9.步骤d.针对rec-fdl中处于等待空闲节点状态的各个光分组任务,基于该各光分组任务依次进入rec-fdl时间点顺序,循环依次针对该各光分组任务执行处理,直至将各光分组任务调度至相应节点进行处理。
10.作为本发明的一种优选技术方案:所述步骤a中,针对从节点中各边缘计算节点所接收各个光分组任务,根据各光分组任务的计算量d(ti)、各光分组任务的长度l(ti)、各光
分组任务对应所接收边缘计算节点的到达率λ(ti),由从节点的调度单元针对各个光分组任务进行轮巡,获得各个光分组任务分别所对应的轮巡结束时间,然后进入步骤b;其中,1≤i≤i,i表示从节点中各边缘计算节点所接收到光分组任务的总数,ti表示第i个光分组任务。
11.作为本发明的一种优选技术方案:所述步骤b中,基于各轮巡结束时间由小至大排序,执行如下步骤b1至步骤b8,将各光分组任务调度至相应节点进行处理、或调度至rec-fdl中进行循环;
12.步骤b1.基于各轮巡结束时间由小至大排序,顺序选择未参与步骤b1至步骤b8处理的第一个轮巡结束时间,作为目标轮巡结束时间,并进入步骤b2;
13.步骤b2.判断目标轮巡结束时间向后预设阈值时长范围内、是否存在其他轮巡结束时间,是则获得目标轮巡结束时间与该各个其他轮巡结束时间分别对应的光分组任务,并进入步骤b3;否则进入步骤b6;
14.步骤b3.由从节点中预设作为控制单元的边缘计算节点,针对本轮迭代步骤b2所获各个光分组任务按对应预设属性的排序,构成该各光分组任务的优先级排序,并进入步骤b4;
15.步骤b4.判断最高优先级所对应光分组任务的头信息中是否存在目的地节点,是则若该目的地节点为空闲节点,将最高优先级所对应光分组任务调度到该目的地节点上进行处理,并将其余各优先级光分组任务输送至rec-fdl中进行循环,然后进入步骤b8;若该目的地节点为非空闲节点,将全部各优先级光分组任务输送至rec-fdl中进行循环,然后进入步骤b8;否则进入步骤b5;
16.步骤b5.基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点,是则将最高优先级所对应光分组任务调度到该其中一个空闲节点上进行处理,并将其余各优先级光分组任务输送至rec-fdl中进行循环,然后进入步骤b8;否则将全部各优先级光分组任务输送至rec-fdl中进行循环,然后进入步骤b8;
17.步骤b6.判断目标轮巡结束时间所对应光分组任务的头信息中是否存在目的地节点,是则若该目的地节点为空闲节点,将目标轮巡结束时间所对应光分组任务调度到该目的地节点上进行处理,然后进入步骤b8;若该目的地节点为非空闲节点,将目标轮巡结束时间所对应光分组任务输送至rec-fdl中进行循环,然后进入步骤b8;否则进入步骤b7;
18.步骤b7.基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点,是则将目标轮巡结束时间所对应光分组任务调度到该其中一个空闲节点上进行处理,然后进入步骤b8;否则将目标轮巡结束时间所对应光分组任务输送至rec-fdl中进行循环,然后进入步骤b8;
19.步骤b8.判断各轮巡结束时间由小至大排序中、是否存在未参与步骤b1至步骤b8处理的轮巡结束时间,是则返回步骤b1;否则完成各光分组任务调度至相应节点进行处理、或调度至rec-fdl中进行循环。
20.作为本发明的一种优选技术方案:所述步骤c中,基于各光分组任务依次进入rec-fdl时间点顺序,循环依次针对rec-fdl中进行循环的各个光分组任务,执行如下步骤c1至步骤c2,直至将rec-fdl中各光分组任务更新为等待空闲节点状态、或者被丢弃;
21.步骤c1.判断光分组任务长度l(ti)是否小于从节点所接收全部光分组任务的平均长度l
ave
,是则表示该光分组任务能够无阻塞的通过rec-fdl,将该光分组任务更新为等待空闲节点状态,并继续在rec-fdl中进行循环;否则进入步骤c2;
22.步骤c2.获得该光分组任务进入rec-fdl时间点、与相邻后一个光分组任务进入rec-fdl时间点之间的差值,并判断该差值是否大于(l(ti)-l
ave
)/v,是则表示相邻后一个光分组任务与该光分组任务不发生冲突,将该光分组任务更新为等待空闲节点状态,并继续在rec-fdl中进行循环;否则表示相邻后一个光分组任务与该光分组任务发生冲突,丢弃相邻后一个光分组任务;v表示光分组任务的传输速度。
23.作为本发明的一种优选技术方案:所述步骤d中,针对rec-fdl中处于等待空闲节点状态的各个光分组任务,基于该各光分组任务依次进入rec-fdl时间点顺序,循环依次针对该各光分组任务执行处理,执行如下步骤d1至步骤d2,直至将各光分组任务调度至相应节点进行处理;
24.步骤d1.判断光分组任务的头信息中是否存在目的地节点,是则若该目的地节点为空闲节点,将该光分组任务调度到该目的地节点上进行处理;若该目的地节点为非空闲节点,保持该光分组任务继续在rec-fdl中进行循环;否则进入步骤d2;
25.步骤d2.基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点,是则将该光分组任务调度到该其中一个空闲节点上进行处理;否则保持该光分组任务继续在rec-fdl中进行循环。
26.作为本发明的一种优选技术方案:所述基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点的过程中:
27.首先基于目标轮巡结束时间所对应光分组任务所在从节点范围内的各边缘计算主节点ecn-m

,判断其中是否存在空闲节点,是则即到空闲节点,否则进一步基于该从节点所在边缘计算中心的边缘计算主节点ecn-m

、以及该边缘计算中心中其他各从节点内范围内的各边缘计算节点,判断其中是否存在空闲节点,是则即到空闲节点,否则进一步基于主计算节点ecn-m、其他各边缘计算中心的边缘计算主节点ecn-m

、以及其他各边缘计算中心中各从节点内范围内的各边缘计算节点,判断其中是否存在空闲节点,是则即到空闲节点,否则即表示不存在空闲节点。
28.作为本发明的一种优选技术方案:所述基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点的过程中,若存在至少两个空闲节点时,则关于待调度光分组任务,分别针对各个空闲节点,假设待调度光分组任务调度到空闲节点,并执行如下操作:
29.首先根据待调度光分组任务调度到空闲节点过程中所经过光纤长度l
fiber
、以及待调度光分组任务量d(ti),按t
trans
=d(ti)
×
l
fiber
,获得传输时间t
trans

30.然后根据空闲节点计算速度v
calculate
,按t
calculate
=d(ti)/v
calculate
,获得计算时间t
calculate
;最后根据待调度光分组任务调度到空闲节点所经各滤波器tf的滤波时间和t1;按ts=t1+t
trans
+t
calculate
,获得待调度光分组任务调度到空闲节点过程所对应的服务时间ts;
31.进而获得待调度光分组任务调度到各空闲节点过程分别所对应的服务时间ts,并选择其中最小服务时间ts对应的空闲节点,用于将待调度光分组任务调度到该空闲节点上
进行处理。
32.作为本发明的一种优选技术方案:所述并行执行步骤b、步骤c、步骤d的过程中,步骤b中调度光分组任务至相应节点进行处理的操作优先级高于步骤d中调度光分组任务至相应节点进行处理的操作优先级。
33.作为本发明的一种优选技术方案:通过全光分组头提取模块hem,获得光分组任务的头信息。
34.本发明所述基于光互连的边缘数据中心任务调度方法,采用以上技术方案与现有技术相比,具有以下技术效果:
35.(1)本发明所设计基于光互连的边缘数据中心任务调度方法,是对高效率数据均衡处理算法、边云协同优化算法的研究,能够尽量减低调度过程中系统冲突阻塞及丢包情况的发生,提高传输可靠性,使系统阻塞状况良好、节点利用率均衡;并且根据系统中各边缘计算节点的地理位置、计算和存储资源、以及任务计算量、优先级、分组到达率等进行业务的均衡分配,保证各边缘计算节点的利用率均衡;同时设置一些优化目标,对任务在边缘节点上的分配进行调度优化;
36.(2)本发明所设计基于光互连的边缘数据中心任务调度方法,面向分布式数据中心、工业物联网络等应用场景的数据采集与传递的实时性要求,提出分布式边缘计算环境中不同通信协议与连接设备进行互操作的实现原理和方法,提出新型边缘数据中心可伸缩性和可扩展性技术,提出支持数据采集、交换和传递效率的业务均衡数据处理算法及协同优化算法。不仅能促进边缘计算技术在工业互联网、新基建等大科学工程中的应用,还将推动无线边缘、移动边缘、建筑边缘、电力边缘、能源边缘等民用边缘计算技术的发展,助力中国工业4.0及智能制造2025。
附图说明
37.图1是本发明设计方法实施中基于光分组交换的分布式边缘数据中心系统的架构图;
38.图2是本发明设计方法实施中基于光分组交换的分布式边缘数据中心系统中边缘计算中心的架构图;
39.图3是本发明所设计基于光互连的边缘计算层任务调度流程示意图;
40.图4是本发明所设计基于冲突解决机制的边缘数据中心任务调度方法流程示意图。
具体实施方式
41.下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
42.本发明设计基于光互连的边缘数据中心任务调度方法,用于实现分布式边缘数据系统对所接收各光分组任务的调度处理,在实际应用当中,如图1所示,分布式边缘数据系统包括主计算节点ecn-m、以及至少两个边缘计算中心,其中,各个边缘计算中心分别包括边缘计算主节点ecn-m

、以及至少一个从节点;各个从节点分别包括一个边缘光交换单元osu

、以及至少两个边缘计算节点,各个从节点的结构中:各个边缘计算节点分别与对应边缘光交换单元osu

相对接。
43.各边缘计算中心的结构中:若从节点的个数为1个,则该边缘计算中心结构中,该从节点中的边缘光交换单元osu

与对应边缘计算主节点ecn-m

相对接;若从节点的个数为至少2个,则该边缘计算中心还包括中级光交换单元osu

,该边缘计算中心结构中,该各从节点中的边缘光交换单元osu

分别与该中级光交换单元osu

相连接,该中级光交换单元osu

与对应边缘计算主节点ecn-m

相对接。
44.以各边缘计算中心的边缘计算主节点ecn-m

为叶子节点,应用各个中级光交换单元osu

作为非叶子节点,构建树形结构,且树形结构中作为根节点的中级光交换单元osu

与主计算节点ecn-m相对接。
45.主计算节点ecn-m与云数据中心相连接通信,各边缘计算中心内的各个从节点与用户侧设备及应用相连接。
46.实际应用中,具体设计各边缘计算节点的结构彼此相同,如图2所示,各边缘计算节点分别均包括多协议接口、存储模块、数据组装模块、分析计算模块、光收发模块、无线收发模块,各边缘计算节点的结构中,多协议接口支持多种通信协议,提供灵活的数据接入能力,可实现用户侧应用的数据上传及下发;多协议接口与存储模块相连通信,存储模块与分析计算模块相连通信,存储模块和分析计算模块具有智能解读数据和实时数据分析能力,能提供差异化易用的开发套件和库,支持数据中心应用快速开发;分析计算模块与数据组装模块相连通信,数据组装模块分别与光收发模块、无线收发模块相连通信,光收发模块用于实现边缘计算节点的数据上行输出端tx、数据下行输出端rx。应用中,净荷储存在分组头当中,而分组头中则带有任务所需的存储容量,计算能力等信息,若有明确的目的地,还应带有地址信息。
47.并且基于所述各边缘计算中心中从节点的个数为至少2个,如图2所示,则各个从节点的结构如下:
48.边缘光交换单元osu

包括阵列波导光栅awg、1
×
2分路器、全光分组头提取模块hem、循环光纤延时线rec-fdl、分路器、以及个高速光开关os,边缘计算节点的数量等于1≤q≤q,q表示边缘计算中心的数量,1≤nq≤nq,nq表示第q个边缘计算中心中从节点的数量,表示第q个边缘计算中心中第n个从节点中边缘计算节点的数量;各边缘计算节点的数据上行输出端tx分别对接对应边缘光交换单元osu

中阵列波导光栅awg的各输入端,阵列波导光栅awg的输出端对接1
×
2分路器的单路输入端,1
×
2分路器上的其中一路输出端对接对应全光分组头提取模块hem的输入端,该全光分组头提取模块hem的输出端对接对应各边缘计算节点的反馈输入端,1
×
2分路器上的另一路输出端对接对应循环光纤延时线rec-fdl的输入端,循环光纤延时线rec-fdl的输出端对接分路器的单路输入端,分路器上的各输出端分别一一对应连接各高速光开关os,各边缘计算节点上的控制端分别均与各高速光开关os相连接,对各高速光开关os的状态实现控制,其中个高速光开关os分别进一步一一对应对接各边缘计算节点的数据下行输入端rx;剩余1个高速光开关os进一步对接所属边缘计算中心内的中级光交换单元osu

,且该中级光交换单元osu

的反馈端对接该从节点中阵列波导光栅awg的输入端。
49.并且对于各从节点中边缘光交换单元osu

内的循环光纤延时线rec-fdl来说,如图2所示,各个循环光纤延时线rec-fdl分别均包括第一可调谐滤波器tf1、第二可调谐滤波器tf2、第三可调谐滤波器tf3、第四可调谐滤波器tf4、第一耦合器a1、第二耦合器a2、第三耦合器a3、第四耦合器a4,其中,第一耦合器a1的单路侧端部构成循环光纤延时线rec-fdl的输入端,第一耦合器a1上两路侧的其中一路端部经第三可调谐滤波器tf3对接第四耦合器a4上两路侧的其中一路端部,第一耦合器a1上两路侧的另一路端部经第四可调谐滤波器tf4对接第二耦合器a2上两路侧的其中一路端部,第三耦合器a3上两路侧的其中一路端部经第一可调谐滤波器tf1对接第四耦合器a4上两路侧的另一路端部,第四耦合器a4上单路侧端部对接第三耦合器a3上单路侧端部,第三耦合器a3上两路侧的另一路端部经第二可调谐滤波器tf2对接第二耦合器a2上两路侧的另一路端部,第二耦合器a2上单路侧端部对接构成循环光纤延时线rec-fdl的输出端。
50.实际应用中,所涉及各边缘计算中心内的中级光交换单元osu

,如图2所示,设计分别包括阵列波导光栅awg、1
×
2分路器、全光分组头提取模块hem、1
×
nq分路器、以及nq个可调谐波长转换器twc、nq个信号反馈路,各个中级光交换单元osu

的结构如下:
51.nq个可调谐波长转换器twc分别与中级光交换单元osu

所属边缘计算中心中各从节点的边缘光交换单元osu

一一对应,各可调谐波长转换器twc的输入端分别对接对应边缘光交换单元osu

中用于连接中级光交换单元osu

的高速光开关os,各可调谐波长转换器twc的输出端对接对应阵列波导光栅awg的输入端,阵列波导光栅awg的输出端对接对应1
×
2分路器的单路输入端,该1
×
2分路器上的其中一路输出端对接对应全光分组头提取模块hem的输入端,该全光分组头提取模块hem的输出端对接中级光交换单元osu

所属边缘计算中心中的边缘计算主节点ecn-m

,该1
×
2分路器上的另一路输出端对接对应1
×
nq分路器的单路输入端,该1
×
nq分路器上的各输出端分别一一对应对接各信号反馈路的输入端,各信号反馈路的结构彼此相同,各信号反馈路分别均包括可调谐滤波器tf与可调谐波长转换器twc,各信号反馈路中可调谐滤波器tf的输入端构成对应信号反馈路的输入端,可调谐滤波器tf的输出端对接对应可调谐波长转换器twc的输入端,中级光交换单元osu

所属边缘计算中心中的边缘计算主节点ecn-m

的控制端分别对接该各信号反馈路中的可调谐滤波器tf进行控制,可调谐波长转换器twc的输出端构成对应信号反馈路的输出端,各个信号反馈路的输出端分别与中级光交换单元osu

所属边缘计算中心内各从节点的边缘光交换单元osu

一一对应,各个信号反馈路的输出端分别与对应边缘光交换单元osu

中阵列波导光栅awg的输入端相连。
52.基于上述所设计分布式边缘数据系统,本发明设计了基于光互连的边缘数据中心任务调度方法,基于主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点的计算能力均满足分布式边缘数据系统所接收各光分组任务对计算能力需求,所述边缘数据中心任务调度方法包括分别针对各个从节点,如图3所示,执行如下步骤。
53.步骤a.针对从节点中各边缘计算节点所接收各个光分组任务进行轮巡,获得各个光分组任务分别所对应的轮巡结束时间,然后并行执行如下步骤b、步骤c、步骤d。
54.上述步骤a中,针对从节点中各边缘计算节点所接收各个光分组任务,根据各光分组任务的计算量d(ti)、各光分组任务的长度l(ti)、各光分组任务对应所接收边缘计算节点的到达率λ(ti),由从节点的调度单元su针对各个光分组任务进行轮巡,获得各个光分组任
务分别所对应的轮巡结束时间,然后进入步骤b;其中,1≤i≤i,i表示从节点中各边缘计算节点所接收到光分组任务的总数,ti表示第i个光分组任务。
55.步骤b.基于各轮巡结束时间由小至大排序,依次针对各轮巡结束时间分别对应的光分组任务,将光分组任务调度至相应节点进行处理、或调度至rec-fdl中进行循环。
56.实际应用当中,上述述步骤b中,基于各轮巡结束时间由小至大排序,执行如下步骤b1至步骤b8,将各光分组任务调度至相应节点进行处理、或调度至rec-fdl中进行循环。
57.步骤b1.基于各轮巡结束时间由小至大排序,顺序选择未参与步骤b1至步骤b8处理的第一个轮巡结束时间,作为目标轮巡结束时间,并进入步骤b2。
58.步骤b2.判断目标轮巡结束时间向后预设阈值时长范围内、是否存在其他轮巡结束时间,是则获得目标轮巡结束时间与该各个其他轮巡结束时间分别对应的光分组任务,并进入步骤b3;否则进入步骤b6。
59.步骤b3.由从节点中预设作为控制单元的边缘计算节点,针对本轮迭代步骤b2所获各个光分组任务按对应预设属性的排序,构成该各光分组任务的优先级排序,并进入步骤b4。
60.步骤b4.判断最高优先级所对应光分组任务的头信息中是否存在目的地节点,是则若该目的地节点为空闲节点,将最高优先级所对应光分组任务经1

2链路调度到该目的地节点上进行处理,并将其余各优先级光分组任务经1

3链路上的tf挑选出,并送往4端口输送至rec-fdl中进行循环,然后进入步骤b8;若该目的地节点为非空闲节点,将全部各优先级光分组任务输送至rec-fdl中进行循环,然后进入步骤b8;否则进入步骤b5。
61.应用中,关于光分组任务的头信息,是当光分组任务经过awg的光分组经过1
×
2光分束器被分成两束,一束进入全光分组头提取模块hem,由全光分组头提取模块hem,获得光分组任务的头信息,另一束执行调度,即被调度至相应节点进行处理、或者调度至rec-fdl中进行循环。
62.步骤b5.基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点,是则将最高优先级所对应光分组任务经1

2链路调度到该其中一个空闲节点上进行处理,并将其余各优先级光分组任务经1

3链路上的tf挑选出,并送往4端口输送至rec-fdl中进行循环,然后进入步骤b8;否则将全部各优先级光分组任务输送至rec-fdl中进行循环,然后进入步骤b8。
63.步骤b6.判断目标轮巡结束时间所对应光分组任务的头信息中是否存在目的地节点,是则若该目的地节点为空闲节点,将目标轮巡结束时间所对应光分组任务经1

2链路调度到该目的地节点上进行处理,然后进入步骤b8;若该目的地节点为非空闲节点,将目标轮巡结束时间所对应光分组任务经1

3链路上的tf挑选出,并送往4端口输送至rec-fdl中进行循环,然后进入步骤b8;否则进入步骤b7。
64.步骤b7.基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点,是则将目标轮巡结束时间所对应光分组任务经1

2链路调度到该其中一个空闲节点上进行处理,然后进入步骤b8;否则将目标轮巡结束时间所对应光分组任务经1

3链路上的tf挑选出,并送往4端口输送至rec-fdl中进行循环,然后进入步骤b8。
65.步骤b8.判断各轮巡结束时间由小至大排序中、是否存在未参与步骤b1至步骤b8
处理的轮巡结束时间,是则返回步骤b1;否则完成各光分组任务调度至相应节点进行处理、或调度至rec-fdl中进行循环。
66.步骤c.基于各光分组任务依次进入rec-fdl时间点顺序,循环依次针对rec-fdl中进行循环的各个光分组任务,执行如下步骤c1至步骤c2,直至将rec-fdl中各光分组任务更新为等待空闲节点状态、或者被丢弃。
67.步骤c1.判断光分组任务长度l(ti)是否小于从节点所接收全部光分组任务的平均长度l
ave
,是则表示该光分组任务能够无阻塞的通过rec-fdl,将该光分组任务更新为等待空闲节点状态,并继续在rec-fdl中进行循环;否则进入步骤c2。
68.步骤c2.获得该光分组任务进入rec-fdl时间点、与相邻后一个光分组任务进入rec-fdl时间点之间的差值,并判断该差值是否大于(l(ti)-l
ave
)/v,是则表示相邻后一个光分组任务与该光分组任务不发生冲突,将该光分组任务更新为等待空闲节点状态,并继续在rec-fdl中进行循环;否则表示相邻后一个光分组任务与该光分组任务发生冲突,丢弃相邻后一个光分组任务;v表示光分组任务的传输速度。
69.步骤d.针对rec-fdl中处于等待空闲节点状态的各个光分组任务,基于该各光分组任务依次进入rec-fdl时间点顺序,循环依次针对该各光分组任务执行处理,执行如下步骤d1至步骤d2,直至将各光分组任务调度至相应节点进行处理。
70.步骤d1.判断光分组任务的头信息中是否存在目的地节点,是则若该目的地节点为空闲节点,将该光分组任务经2端口调度到该目的地节点上进行处理;若该目的地节点为非空闲节点,保持该光分组任务继续在rec-fdl中进行循环;否则进入步骤d2。
71.步骤d2.基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点,是则将该光分组任务经2端口调度到该其中一个空闲节点上进行处理;否则保持该光分组任务继续在rec-fdl中进行循环。
72.上述所设计各步骤的执行过程中,所述基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点的过程中:
73.首先基于目标轮巡结束时间所对应光分组任务所在从节点范围内的各边缘计算主节点ecn-m

,判断其中是否存在空闲节点,是则即到空闲节点,否则进一步基于该从节点所在边缘计算中心的边缘计算主节点ecn-m

、以及该边缘计算中心中其他各从节点内范围内的各边缘计算节点,判断其中是否存在空闲节点,是则即到空闲节点,否则进一步基于主计算节点ecn-m、其他各边缘计算中心的边缘计算主节点ecn-m

、以及其他各边缘计算中心中各从节点内范围内的各边缘计算节点,判断其中是否存在空闲节点,是则即到空闲节点,否则即表示不存在空闲节点。
74.并且在判断其中是否存在空闲节点的过程中,若存在至少两个空闲节点时,则关于待调度光分组任务,分别针对各个空闲节点,假设待调度光分组任务调度到空闲节点,并执行如下操作:
75.首先根据待调度光分组任务调度到空闲节点过程中所经过光纤长度l
fiber
、以及待调度光分组任务量d(ti),按t
trans
=d(ti)
×
l
fiber
,获得传输时间t
trans

76.然后根据空闲节点计算速度v
calculate
,按t
calculate
=d(ti)/v
calculate
,获得计算时间t
calculate

77.最后根据待调度光分组任务调度到空闲节点所经各滤波器tf的滤波时间和t1;按ts=t1+t
trans
+t
calculate
,获得待调度光分组任务调度到空闲节点过程所对应的服务时间ts。
78.进而获得待调度光分组任务调度到各空闲节点过程分别所对应的服务时间ts,并选择其中最小服务时间ts对应的空闲节点,用于将待调度光分组任务调度到该空闲节点上进行处理。
79.实际应用当中,基于上述所设计方法,针对单个光分组任务进行任务调度,如图4所示。实际应用中关于调度,可以进一步设计调度时按照节点效率从高到低对边缘节点排序,优先将任务调度到节点效率高的边缘节点。相比于任务随机进入空闲的边缘节点,可以提高整个系统的处理效率,整个系统的阻塞状态会有较大改善。同时设置一些优化目标,对任务在边缘节点上的分配进行调度优化,以达到某个或多个优化目标最优的效果。如采用遗传算法进行调度优化,目标函数是完成所有任务的总时延最小。遗传算法应用过程中,首先初始化种,计算初始种的适应度值,如果没有达到终止条件,则进行选择、交叉、变异操作更新种,并在这个过程中向最优解方向靠拢,以此类推,直到达到终止条件,输出最优解。
80.并且在实际应用中,上述在步骤b与步骤d中均会涉及到调度光分组任务至相应节点进行处理,当在某一个时间点同时出现需要执行步骤b的调度光分组任务至相应节点进行处理、以及需要执行步骤d的调度光分组任务至相应节点进行处理时,则设计设定步骤b中调度光分组任务至相应节点进行处理的操作优先级高于步骤d中调度光分组任务至相应节点进行处理的操作优先级,即此时先执行步骤b中的该操作,再执行步骤d中的该操作。
81.上述技术方案所设计基于光互连的边缘数据中心任务调度方法,是对高效率数据均衡处理算法、边云协同优化算法的研究,能够尽量减低调度过程中系统冲突阻塞及丢包情况的发生,提高传输可靠性,使系统阻塞状况良好、节点利用率均衡;并且根据系统中各边缘计算节点的地理位置、计算和存储资源、以及任务计算量、优先级、分组到达率等进行业务的均衡分配,保证各边缘计算节点的利用率均衡;同时设置一些优化目标,对任务在边缘节点上的分配进行调度优化;
82.并且所设计基于光互连的边缘数据中心任务调度方法,面向分布式数据中心、工业物联网络等应用场景的数据采集与传递的实时性要求,提出分布式边缘计算环境中不同通信协议与连接设备进行互操作的实现原理和方法,提出新型边缘数据中心可伸缩性和可扩展性技术,提出支持数据采集、交换和传递效率的业务均衡数据处理算法及协同优化算法。不仅能促进边缘计算技术在工业互联网、新基建等大科学工程中的应用,还将推动无线边缘、移动边缘、建筑边缘、电力边缘、能源边缘等民用边缘计算技术的发展,助力中国工业4.0及智能制造2025。
83.整个设计技术方案所设计基于光互连的边缘数据中心任务调度方法,能够满足分布式边缘计算多源、海量、易构数据的实时采集、安全交互及预测性分析需求。该边缘计算系统采用多级分布式管理架构,位于靠近数据终端的网络边缘侧,可以就近提供边缘智能服务,解决云计算实时性不够、带宽不足、能耗较大、数据安全性不足的问题,满足行业数字化在实时业务、数据汇聚、应用智能、安全与隐私等方面的关键需求。该边缘计算系统把大量的交换业务转移到光域,减小电信号对高速数据的传输瓶颈,可实现交换容量与波分复用的传输容量相匹配,并通过与新型光交叉连接、多协议标签交换等技术的结合,能够实现
网络系统的优化与资源的合理利用;基于该边缘计算系统设计了动态任务调度方法,根据系统中各个边缘计算节点的计算、存储资源以及网络状况进行业务的均衡分配,保证各边缘计算节点的利用率均衡,尽量降低调度过程中系统冲突阻塞,提高传输可靠性;
84.因此,本发明提出的支持数据采集、交换和传递效率的业务均衡数据处理算法及协同优化算法,不仅能解决新型光互连、光交换及光电一体化技术在边缘数据中心中应用的理论及技术瓶颈,还将放大边缘计算与云计算的价值,满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。
85.下面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。

技术特征:


1.一种基于光互连的边缘数据中心任务调度方法,用于实现分布式边缘数据系统对所接收各光分组任务的调度处理;其特征在于:分布式边缘数据系统包括主计算节点ecn-m、以及其分别所对接管理的至少两个边缘计算中心,各个边缘计算中心分别包括边缘计算主节点ecn-m

、以及其分别所对接管理的至少一个从节点;各个从节点分别包括一个包含rec-fdl的边缘光交换单元osu

、以及与边缘光交换单元osu

分别相对接的至少两个边缘计算节点;基于主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点的计算能力均满足分布式边缘数据系统所接收各光分组任务对计算能力需求,所述边缘数据中心任务调度方法包括分别针对各个从节点,执行如下步骤:步骤a.针对从节点中各边缘计算节点所接收各个光分组任务进行轮巡,获得各个光分组任务分别所对应的轮巡结束时间,然后并行执行如下步骤b、步骤c、步骤d;步骤b.基于各轮巡结束时间由小至大排序,依次针对各轮巡结束时间分别对应的光分组任务,将光分组任务调度至相应节点进行处理、或调度至rec-fdl中进行循环;步骤c.基于各光分组任务依次进入rec-fdl时间点顺序,循环依次针对rec-fdl中进行循环的各个光分组任务执行处理,直至将rec-fdl中各光分组任务更新为等待空闲节点状态、或者被丢弃;步骤d.针对rec-fdl中处于等待空闲节点状态的各个光分组任务,基于该各光分组任务依次进入rec-fdl时间点顺序,循环依次针对该各光分组任务执行处理,直至将各光分组任务调度至相应节点进行处理。2.根据权利要求1所述一种基于光互连的边缘数据中心任务调度方法,其特征在于:所述步骤a中,针对从节点中各边缘计算节点所接收各个光分组任务,根据各光分组任务的计算量d(t
i
)、各光分组任务的长度l(t
i
)、各光分组任务对应所接收边缘计算节点的到达率λ(t
i
),由从节点的调度单元针对各个光分组任务进行轮巡,获得各个光分组任务分别所对应的轮巡结束时间,然后进入步骤b;其中,1≤i≤i,i表示从节点中各边缘计算节点所接收到光分组任务的总数,t
i
表示第i个光分组任务。3.根据权利要求1所述一种基于光互连的边缘数据中心任务调度方法,其特征在于:所述步骤b中,基于各轮巡结束时间由小至大排序,执行如下步骤b1至步骤b8,将各光分组任务调度至相应节点进行处理、或调度至rec-fdl中进行循环;步骤b1.基于各轮巡结束时间由小至大排序,顺序选择未参与步骤b1至步骤b8处理的第一个轮巡结束时间,作为目标轮巡结束时间,并进入步骤b2;步骤b2.判断目标轮巡结束时间向后预设阈值时长范围内、是否存在其他轮巡结束时间,是则获得目标轮巡结束时间与该各个其他轮巡结束时间分别对应的光分组任务,并进入步骤b3;否则进入步骤b6;步骤b3.由从节点中预设作为控制单元的边缘计算节点,针对本轮迭代步骤b2所获各个光分组任务按对应预设属性的排序,构成该各光分组任务的优先级排序,并进入步骤b4;步骤b4.判断最高优先级所对应光分组任务的头信息中是否存在目的地节点,是则若该目的地节点为空闲节点,将最高优先级所对应光分组任务调度到该目的地节点上进行处理,并将其余各优先级光分组任务输送至rec-fdl中进行循环,然后进入步骤b8;若该目的地节点为非空闲节点,将全部各优先级光分组任务输送至rec-fdl中进行循环,然后进入步
骤b8;否则进入步骤b5;步骤b5.基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点,是则将最高优先级所对应光分组任务调度到该其中一个空闲节点上进行处理,并将其余各优先级光分组任务输送至rec-fdl中进行循环,然后进入步骤b8;否则将全部各优先级光分组任务输送至rec-fdl中进行循环,然后进入步骤b8;步骤b6.判断目标轮巡结束时间所对应光分组任务的头信息中是否存在目的地节点,是则若该目的地节点为空闲节点,将目标轮巡结束时间所对应光分组任务调度到该目的地节点上进行处理,然后进入步骤b8;若该目的地节点为非空闲节点,将目标轮巡结束时间所对应光分组任务输送至rec-fdl中进行循环,然后进入步骤b8;否则进入步骤b7;步骤b7.基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点,是则将目标轮巡结束时间所对应光分组任务调度到该其中一个空闲节点上进行处理,然后进入步骤b8;否则将目标轮巡结束时间所对应光分组任务输送至rec-fdl中进行循环,然后进入步骤b8;步骤b8.判断各轮巡结束时间由小至大排序中、是否存在未参与步骤b1至步骤b8处理的轮巡结束时间,是则返回步骤b1;否则完成各光分组任务调度至相应节点进行处理、或调度至rec-fdl中进行循环。4.根据权利要求1所述一种基于光互连的边缘数据中心任务调度方法,其特征在于:所述步骤c中,基于各光分组任务依次进入rec-fdl时间点顺序,循环依次针对rec-fdl中进行循环的各个光分组任务,执行如下步骤c1至步骤c2,直至将rec-fdl中各光分组任务更新为等待空闲节点状态、或者被丢弃;步骤c1.判断光分组任务长度l(t
i
)是否小于从节点所接收全部光分组任务的平均长度l
ave
,是则表示该光分组任务能够无阻塞的通过rec-fdl,将该光分组任务更新为等待空闲节点状态,并继续在rec-fdl中进行循环;否则进入步骤c2;步骤c2.获得该光分组任务进入rec-fdl时间点、与相邻后一个光分组任务进入rec-fdl时间点之间的差值,并判断该差值是否大于(l(t
i
)-l
ave
)/v,是则表示相邻后一个光分组任务与该光分组任务不发生冲突,将该光分组任务更新为等待空闲节点状态,并继续在rec-fdl中进行循环;否则表示相邻后一个光分组任务与该光分组任务发生冲突,丢弃相邻后一个光分组任务;v表示光分组任务的传输速度。5.根据权利要求1所述一种基于光互连的边缘数据中心任务调度方法,其特征在于:所述步骤d中,针对rec-fdl中处于等待空闲节点状态的各个光分组任务,基于该各光分组任务依次进入rec-fdl时间点顺序,循环依次针对该各光分组任务执行处理,执行如下步骤d1至步骤d2,直至将各光分组任务调度至相应节点进行处理;步骤d1.判断光分组任务的头信息中是否存在目的地节点,是则若该目的地节点为空闲节点,将该光分组任务调度到该目的地节点上进行处理;若该目的地节点为非空闲节点,保持该光分组任务继续在rec-fdl中进行循环;否则进入步骤d2;步骤d2.基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点,是则将该光分组任务调度到该其中一个空闲节点上进行处理;否则保持该光分组任务继续在rec-fdl中进行循环。
6.根据权利要求3或5所述一种基于光互连的边缘数据中心任务调度方法,其特征在于:所述基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点的过程中:首先基于目标轮巡结束时间所对应光分组任务所在从节点范围内的各边缘计算主节点ecn-m

,判断其中是否存在空闲节点,是则即到空闲节点,否则进一步基于该从节点所在边缘计算中心的边缘计算主节点ecn-m

、以及该边缘计算中心中其他各从节点内范围内的各边缘计算节点,判断其中是否存在空闲节点,是则即到空闲节点,否则进一步基于主计算节点ecn-m、其他各边缘计算中心的边缘计算主节点ecn-m

、以及其他各边缘计算中心中各从节点内范围内的各边缘计算节点,判断其中是否存在空闲节点,是则即到空闲节点,否则即表示不存在空闲节点。7.根据权利要求3或5所述一种基于光互连的边缘数据中心任务调度方法,其特征在于:所述基于预设顺序各区域范围下的主计算节点ecn-m、各边缘计算主节点ecn-m

、以及各边缘计算节点,判断其中是否存在空闲节点的过程中,若存在至少两个空闲节点时,则关于待调度光分组任务,分别针对各个空闲节点,假设待调度光分组任务调度到空闲节点,并执行如下操作:首先根据待调度光分组任务调度到空闲节点过程中所经过光纤长度l
fiber
、以及待调度光分组任务量d(t
i
),按t
trans
=d(t
i
)
×
l
fiber
,获得传输时间t
trans
;然后根据空闲节点计算速度v
calculate
,按t
calculate
=d(t
i
)/v
calculate
,获得计算时间t
calculate
;最后根据待调度光分组任务调度到空闲节点所经各滤波器tf的滤波时间和t1;按t
s
=t1+t
trans
+t
calculate
,获得待调度光分组任务调度到空闲节点过程所对应的服务时间t
s
;进而获得待调度光分组任务调度到各空闲节点过程分别所对应的服务时间t
s
,并选择其中最小服务时间t
s
对应的空闲节点,用于将待调度光分组任务调度到该空闲节点上进行处理。8.根据权利要求1所述一种基于光互连的边缘数据中心任务调度方法,其特征在于:所述并行执行步骤b、步骤c、步骤d的过程中,步骤b中调度光分组任务至相应节点进行处理的操作优先级高于步骤d中调度光分组任务至相应节点进行处理的操作优先级。9.根据权利要求1所述一种基于光互连的边缘数据中心任务调度方法,其特征在于:通过全光分组头提取模块hem,获得光分组任务的头信息。

技术总结


本发明涉及一种基于光互连的边缘数据中心任务调度方法,基于分布式边缘数据系统,针对所接收各个光分组任务进行任务调度,整个调度过程可以减小电信号对高速数据的传输瓶颈,具有支持突发性业务、延迟低、带宽利用率高、吞吐量大等优点,契合边缘计算大数据量、低延迟的特性;在网络边缘放置小型边缘数据中心,可以将光传送网的时延敏感流量转移到边缘网络,在分担云数据中心计算、存储及网络传输带宽压力的同时,可为用户提供近距离的服务资源,从而减少远程传输至云数据中心的传播时延。而减少远程传输至云数据中心的传播时延。而减少远程传输至云数据中心的传播时延。


技术研发人员:

赵俊 常嘉瑞 孙小菡

受保护的技术使用者:

南京曦光信息科技研究院有限公司

技术研发日:

2022.08.16

技术公布日:

2022/12/22

本文发布于:2024-09-20 12:03:46,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/4/46162.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:节点   边缘   步骤   计算中心
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议