边缘节点频谱与计算资源联合分配方法、装置和存储介质与流程

1.本发明涉及边缘计算技术领域，特别涉及一种基于dqn（deep q network）的单边缘节点频谱与计算资源联合分配方法、装置和存储介质。

背景技术：

2.随着智能移动终端的普及和各种新兴移动应用的出现，如人脸识别、自动驾驶、增强现实等，移动网络中的数据流量急剧增加，各种数据业务对时延、传输速率等也提出了更加严格的要求，这对移动网络的计算能力带来了巨大的挑战。移动边缘计算是一种支持多种接入方式、为终端设备提供就近服务的计算技术，移动边缘计算将计算、存储、网络控制等功能从集中式移动云计算平台下沉至更靠近终端用户的网络边缘侧，能够支持低时延业务，降低设备能耗，提升网络性能。然而，移动边缘计算网络中的通信、计算、存储等资源有限，且网络环境复杂多变，因此需要研究高效的资源管理方法，以满足移动边缘计算网络中不同用户业务的服务需求。

技术实现要素：

3.本发明的目的在于提供一种边缘节点频谱与计算资源联合分配方法、装置和存储介质，以克服现有技术中的不足。
4.为实现上述目的，本发明提供如下技术方案：本发明公开了一种边缘节点频谱与计算资源联合分配方法，包括以下步骤：s1、系统对dqn网络进行初始化训练；s2、系统中心控制器对新到达的用户业务请求的特征参数以及系统中频谱资源和计算资源的状态参数归一化处理；s3、系统中心控制器将归一化后的用户业务请求参数数据和资源状态参数输入训练好的dqn网络中，根据dqn网络的输出结果，为新到达的用户业务请求预分配频谱资源和计算资源；s4、系统中心控制器根据所述步骤s3中所输出的频谱资源和计算资源预分配结果，计算新到达的用户业务请求在系统中预计经历的总服务时延，若新到达的用户业务请求在系统中预计经历的总服务时延大于其服务时延上限，则系统拒绝该用户业务请求；否则，系统接入该用户业务请求；s5、如果新到达的用户业务请求被系统接入，根据步骤s3中所输出的频谱资源预分配结果，为新到达的用户业务请求分配频谱资源；s6、新到达的用户业务请求的数据传输到边缘服务器后，边缘服务器将根据步骤s3中所输出的计算资源预分配结果，为新到达的用户业务请求分配计算资源。
5.作为优选的，所述步骤s1的具体子步骤如下：s11、初始化记忆库大小、dqn中的目标网络和预测网络的网络结构和参数，预先设置超参数m；
s12、系统中心控制器与系统环境交互，生成dqn训练集，在生成训练集阶段，系统中心控制器每次与系统环境交互时都将得到一个包含系统当前状态、频谱资源和计算资源联合预分配决策、系统环境奖励值以及系统下一状态信息的四元组；s13、将系统中心控制器与系统环境交互得到的四元组存入到记忆库中，若记忆库中四元组数量未超出记忆库的最大容量，直接将四元组存储到记忆库中；否则，若超出记忆库最大容量，则删去最早存入记忆库中的四元组，然后存入新的四元组；s14、从记忆库中随机抽取一个batch大小的四元组样本数据输入到目标网络与预测网络中，并计算损失函数的值；s15、系统中心控制器使用rmsprop梯度下降法，根据损失函数的值更新dqn预测网络的网络参数，dqn预测网络的网络参数每更新一次，计数器加一；s16、重复步骤s14到s15，每当dqn预测网络的网络参数更新计数次数达到m的倍数时，跳转至步骤s17；s17、系统中心控制器将dqn预测网络的网络参数复制给目标网络的网络参数，使两个网络的参数完全相同；s18、重复步骤s14到s17，直到损失函数的值收敛。
6.作为优选的，所述四元组表示为，其中表示系统的当前状态，其包括新到达的用户业务请求的特征参数以及系统中频谱资源和计算资源的状态参数；表示系统中心控制器获取状态后，根据策略选择出的一个频谱资源和计算资源联合预分配决策，其中表示预分配给用户业务请求的频谱资源块数量，表示预分配给用户业务请求的计算资源块数量；表示系统中心控制器执行后系统环境反馈的一个奖励值；表示系统的下一个状态。
7.作为优选的，所述步骤s2的具体子步骤包括：s21、系统中心控制器分别获取新到达的用户业务请求的类型和数据量以及系统中所有频谱资源块和计算资源块的释放时间；s22、对获取的各项参数进行归一化处理。
8.作为优选的，所述步骤s3的具体子步骤包括：s31、系统中心控制器将经归一化处理后的用户业务请求的各项特征参数以及系统中频谱资源和计算资源的状态参数输入dqn网络；s32、dqn网络根据当前预测网络的网络参数，输出所有可能的频谱资源和计算资源联合预分配决策的q值；s33、系统中心控制器为新到达的用户业务请求选择具有最高q值的频谱资源和计算资源联合预分配决策。
9.作为优选的，所述步骤s4的具体子步骤包括：s41、根据步骤s3中所输出的频谱资源和计算资源联合预分配结果，计算新到达的用户业务请求在系统中预计经历的总服务时延，依次计算对用户业务请求的业务数据在预分配的频谱资源情况下可获得的最大传输速率、对应的传输时延、在传输侧的排队时延、对
应的计算时延和在计算侧的排队时延，用户业务请求在系统中的总服务时延为所述对应的传输时延、在传输侧的排队时延、对应的计算时延和在计算侧的排队时延之和；s42、如果在预分配的频谱资源和计算资源情况下，新到达的用户业务请求在系统中预计经历的总服务时延大于其服务时延上限，则系统拒绝该用户业务请求；否则，系统接入该用户业务请求。
10.作为优选的，所述步骤s5的具体子步骤包括：s51、新到达的用户业务请求进入传输侧用户请求队列等待频谱资源的分配；s52、获取当前时刻系统中的频谱资源状态信息，若系统中可用的空闲频谱资源不少于预分配的频谱资源，则直接为新到达的用户业务请求分配频谱资源；否则，新到达的用户业务请求将排队等待，直至系统中足够数量的频谱资源释放出来；s53、新到达的用户业务请求获得分配的频谱资源后，对应的用户将通过上行链路将其业务数据传输至边缘服务器；s54、系统更新频谱资源状态。
11.作为优选的，所述步骤s6的具体子步骤包括：s61、新到达的用户业务请求进入计算侧用户请求队列等待计算资源的分配；s62、边缘服务器获取当前时刻系统中的计算资源的状态信息，若服务器可用的空闲计算资源不少于预分配的计算资源，则直接为新到达的用户业务请求分配计算资源；否则，新到达的用户业务请求将排队等待，直至服务器有足够数量的计算资源释放出来；s63、新到达的用户业务请求获得分配的计算资源后，边缘服务器将对其业务数据进行计算处理，并将计算结果通过下行链路传输给对应的用户，由于计算结果的数据量远远小于用户业务请求的原始数据量，所以忽略下行链路的传输时延；s64、边缘服务器更新计算资源状态。
12.本发明公开了一种边缘节点频谱与计算资源联合分配装置，所述装置包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述边缘节点频谱与计算资源联合分配方法。
13.本发明还公开了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述边缘节点频谱与计算资源联合分配方法。
14.本发明的有益效果：本发明针对移动边缘网络中通信、计算、存储资源有限与多样化业务需求相冲突的问题，设计了一种边缘节点频谱与计算资源联合分配方法和装置，通过采用深度强化学习方法对网络资源进行预分配，在满足不同类型用户业务时延要求的前提下，最大化系统的吞吐量。
附图说明
15.图1为本发明实施例中单边缘节点系统模型示意图；图2为本发明实施例中dqn网络初始化训练步骤流程示意图；图3为本发明实施例中用户业务请求接入控制步骤流程示意图；图4为本发明实施例中为用户业务请求分配频谱资源和计算资源步骤流程示意图；图5为本发明实施例的方法流程示意图；
图6为本发明实施例的装置示意图。
具体实施方式
16.为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
17.本发明实施例公开的一种边缘节点频谱与计算资源联合分配方法，可应用于单边缘节点多业务类型的系统场景中。如图1所示，在该系统场景中，边缘节点由一个和一个边缘服务器组成，移动终端的用户业务请求动态到达系统，用户业务请求的数据通过上行无线链路传输至，再转送至边缘服务器上进行计算处理。系统中心控制器为每一个到达的用户业务请求联合预分配频谱资源和计算资源，使到达的用户业务请求可以在其服务时延上限内得到计算处理。系统中频谱资源以频谱资源块表征，假设系统中共有个带宽相等的频谱资源块，记为；计算资源以计算资源块表征，假设系统中共有个cpu频率相等的计算资源块，记为。
18.本发明实施例提供一种边缘节点频谱与计算资源联合分配方法，该方法包括如下步骤：（1）系统对dqn网络进行初始化训练；（2）dqn网络初始化训练完成后，系统中心控制器获取新到达的用户业务请求的特征参数以及系统中频谱资源和计算资源的状态参数，并将获取的参数进行归一化处理；（3）系统中心控制器将归一化后的用户业务请求参数数据和资源状态参数输入训练好的dqn网络中，然后根据dqn网络的输出结果，为新到达的用户业务请求预分配频谱资源和计算资源；（4）系统中心控制器根据步骤（3）中所输出的频谱资源和计算资源预分配结果，计算新到达的用户业务请求在系统中预计经历的总服务时延，并根据总服务时延大小和新到达的用户业务请求的服务时延上限大小判断是否接入新到达的用户业务请求；（5）如果新到达的用户业务请求被系统接入，将根据步骤（3）中所输出的资源预分配结果，为新到达的用户业务请求分配频谱资源。若系统中可用的空闲频谱资源不少于预分配的频谱资源，则直接为新到达的用户业务请求分配频谱资源；否则，新到达的用户业务请求将进入传输侧的用户请求队列中排队等待，直至系统中有足够的频谱资源释放出来。当新到达的用户业务请求获得分配的频谱资源后，对应的用户将通过上行链路将其业务数据传输至系统中的边缘服务器。同时，系统对其频谱资源状态进行更新；（6）新到达的用户业务请求的数据传输到边缘服务器后，边缘服务器将根据步骤（3）中所输出的资源预分配结果，为新到达的用户业务请求分配计算资源。若服务器可用的空闲计算资源不少于预分配的计算资源，则直接为新到达的用户业务请求分配计算资源；否则，新到达的用户业务请求将进入计算侧的用户请求队列中排队等待，直至服务器有足够的计算资源释放出来。当新到达的用户业务请求获得分配的计算资源后，边缘服务器将开始对新到达的用户业务请求的数据进行计算处理，同时更新计算资源状态。
19.如图5所示，步骤（1）中，系统对dqn网络进行初始化训练，其步骤包括：（1.1）初始化记忆库大小、dqn中的目标网络和预测网络的网络结构和参数；（1.2）系统中心控制器与系统环境交互，生成dqn训练集。在生成训练集阶段，系统中心控制器每次与系统环境交互时都将得到一个四元组，其中表示系统的当前状态，其包括新到达的用户业务请求i的特征参数以及系统中频谱资源和计算资源的状态参数；表示系统中心控制器获取状态后，根据策略选择出的一个频谱资源和计算资源联合预分配决策其中表示预分配给用户业务请求i的频谱资源块数量，表示预分配给用户业务请求i的计算资源块数量；表示系统中心控制器执行后，系统环境反馈的一个奖励值；表示系统的下一个状态。奖励值根据以下奖励函数计算获得：；；其中，和分别表示单个用户业务请求可分配到的最大频谱资源块和计算资源块数量，和分别表示系统中总的频谱资源块和计算资源块数量，表示用户业务请求i在预分配资源情况下所经历的总服务时延。
20.（1.3）将系统中心控制器与系统环境交互得到的四元组存入到记忆库中。若记忆库中四元组数量未超出记忆库的最大容量，直接将四元组存储到记忆库中；否则，若超出记忆库最大容量，则删去最早存入记忆库中的四元组，然后存入新的四元组；（1.4）从记忆库中随机抽取一个batch大小的四元组样本数据输入到目标网络与预测网络中，根据以下公式计算损失函数loss的值：，其中，表示状态下执行后系统环境反馈的一个奖励值，表示状态下执行动作后 dqn预测网络输出的q值大小，表示衰减因子，表示状态下使得dqn目标网络能够输出最大q值的动作，表示状态下执行动作后dqn目标网络输出的最大q值，和分别表示dqn网络中预测网络的网络参数和目标网络的网络参数；（1.5）系统中心控制器使用rmsprop梯度下降法，根据损失函数loss的值更新dqn预测网络的网络参数，dqn预测网络的网络参数每更新一次，计数器加一；（1.6）重复步骤（1.4）-（1.5），每当dqn预测网络的网络参数更新计数达到m的倍数
时，跳转至步骤（1.7）；（1.7）系统中心控制器将dqn预测网络的网络参数复制给目标网络的网络参数，使两个网络的参数完全相同；（1.8）重复步骤（1.4）-（1.7），直到损失函数loss的值收敛。
21.具体操作详见图2的流程示意图。
22.步骤（2）中，dqn网络初始化训练完成后，系统中心控制器获取新到达的用户业务请求的特征参数以及系统中频谱资源和计算资源的状态参数，并将获取的参数进行归一化处理，其步骤包括：（2.1）系统中心控制器分别获取新到达的用户业务请求的类型和数据量以及系统中所有频谱资源块和计算资源块的释放时间；（2.2）根据以下公式对获取的各项参数进行归一化处理：式中，代表系统所获取的第k项参数，其中代表新到达用户业务请求的类型，代表新到达用户业务请求的数据量，代表新用户业务请求到达时刻系统中频谱资源块的释放时间，代表新用户业务请求到达时刻系统中计算资源块的释放时间，表示第k项参数的最大数值，表示第k项参数的最小数值，表示经归一化处理后，第k项参数的数值。
23.步骤（3）中，系统中心控制器将归一化后的用户业务请求参数数据和资源状态参数数据输入训练好的dqn网络中，然后根据dqn网络的输出结果，为新到达的用户业务请求预分配频谱资源和计算资源，其步骤包括：（3.1）系统中心控制器将经归一化处理后的用户业务请求的各项特征参数以及系统中频谱资源和计算资源的状态参数输入dqn网络；（3.2）dqn网络根据当前预测网络的网络参数，输出所有可能的频谱资源和计算资源联合预分配决策的q值；（3.3）系统中心控制器为新到达的用户业务请求选择具有最高q值的频谱资源和计算资源联合预分配决策。
24.本发明方法中，步骤（4）中，系统中心控制器根据步骤（3）中所输出的频谱资源和计算资源联合预分配结果，计算新到达的用户业务请求在系统中预计经历的总服务时延，并根据总服务时延大小和新到达的用户业务请求的服务时延上限大小判断是否接入新到达的用户业务请求，其步骤包括：（4.1）根据步骤（3）中所输出的频谱资源和计算资源联合预分配结果，计算新到达的用户业务请求在系统中预计经历的总服务时延，计算如下：用户业务请求i的业务数据在预分配的频谱资源情况下可获得的最大传输速率为：
，对应的传输时延为：，在传输侧的排队时延为：，对应的计算时延为：，在计算侧的排队时延为：，其中，b和f分别表示单个频谱资源块和单个计算资源块的大小，表示用户业务请求i的业务数据发送功率，表示产生用户业务请求i的用户与间的信道增益，表示噪声功率，表示用户业务请求i的数据大小，表示用户业务请求i的计算速率要求，和分别表示最早释放的个频谱资源块和个计算资源块的释放时间集合。因此，用户业务请求i在系统中的总服务时延为：。
25.（4.2）如果在预分配的频谱资源和计算资源情况下，新到达的用户业务请求在系统中预计经历的总服务时延大于其服务时延上限，则系统拒绝该用户业务请求；否则，系统接入该用户业务请求。
26.具体操作详见图3的流程示意图。
27.步骤（5）中，如果新到达的用户业务请求被系统接入，将根据步骤（3）中所输出的资源预分配结果，为新到达的用户业务请求分配频谱资源，其步骤包括：（5.1）新到达的用户业务请求进入传输侧用户请求队列等待频谱资源的分配；（5.2）获取当前时刻系统中的频谱资源状态信息。若系统中可用的空闲频谱资源不少于预分配的频谱资源，则直接为新到达的用户业务请求分配频谱资源；否则，新到达的用户业务请求将排队等待，直至系统中足够数量的频谱资源释放出来；（5.3）新到达的用户业务请求获得分配的频谱资源后，对应的用户将通过上行链路将其业务数据传输至边缘服务器；（5.4）系统更新频谱资源状态。
28.具体操作详见图4的流程示意图。
29.本发明方法中，步骤（6）中，新到达的用户业务请求数据传输到mec服务器后，将根据步骤（3）中所输出的资源预分配结果，为新到达的用户业务请求分配计算资源，其步骤包括：（6.1）新到达的用户业务请求进入计算侧用户请求队列等待计算资源的分配；（6.2）边缘服务器获取当前时刻系统中的计算资源的状态信息。若服务器可用的空闲计算资源不少于预分配的计算资源，则直接为新到达的用户业务请求分配计算资源；否则，新到达的用户业务请求将排队等待，直至服务器有足够数量的计算资源释放出来；（6.3）新到达的用户业务请求获得分配的计算资源后，边缘服务器将对其业务数据进行计算处理，并将计算结果通过下行链路传输给对应的用户。由于计算结果的数据量远远小于用户业务请求的原始数据量，所以忽略下行链路的传输时延；（6.4）边缘服务器更新计算资源状态。
30.具体操作详见图4的流程示意图。
31.参见图6，本发明实施例还提供了一种边缘节点频谱与计算资源联合分配装置，还包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的边缘节点频谱与计算资源联合分配方法。
32.本发明一种边缘节点频谱与计算资源联合分配装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本发明一种边缘节点频谱与计算资源联合分配装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
33.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
34.本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的边缘节点频谱与计算资源联合分配方法。
35.所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(smart media card，smc)、sd卡、闪存卡(flash card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所
述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
36.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种边缘节点频谱与计算资源联合分配方法，其特征在于，包括以下步骤：s1、系统对dqn网络进行初始化训练；s2、系统中心控制器对新到达的用户业务请求的特征参数以及系统中频谱资源和计算资源的状态参数归一化处理；s3、系统中心控制器将归一化后的用户业务请求参数数据和资源状态参数输入训练好的dqn网络中，根据dqn网络的输出结果，为新到达的用户业务请求预分配频谱资源和计算资源；s4、系统中心控制器根据所述步骤s3中所输出的频谱资源和计算资源预分配结果，计算新到达的用户业务请求在系统中预计经历的总服务时延，若新到达的用户业务请求在系统中预计经历的总服务时延大于其服务时延上限，则系统拒绝该用户业务请求；否则，系统接入该用户业务请求；s5、如果新到达的用户业务请求被系统接入，根据步骤s3中所输出的频谱资源预分配结果，为新到达的用户业务请求分配频谱资源；s6、新到达的用户业务请求的数据传输到边缘服务器后，边缘服务器将根据步骤s3中所输出的计算资源预分配结果，为新到达的用户业务请求分配计算资源。2.如权利要求1所述的一种边缘节点频谱与计算资源联合分配方法，其特征在于：所述步骤s1的具体子步骤如下：s11、初始化记忆库大小、dqn中的目标网络和预测网络的网络结构和参数，预先设置超参数m；s12、系统中心控制器与系统环境交互，生成dqn训练集，在生成训练集阶段，系统中心控制器每次与系统环境交互时都将得到一个包含系统当前状态、频谱资源和计算资源联合预分配决策、系统环境奖励值以及系统下一状态信息的四元组；s13、将系统中心控制器与系统环境交互得到的四元组存入到记忆库中，若记忆库中四元组数量未超出记忆库的最大容量，直接将四元组存储到记忆库中；否则，若超出记忆库最大容量，则删去最早存入记忆库中的四元组，然后存入新的四元组；s14、从记忆库中随机抽取一个batch大小的四元组样本数据输入到目标网络与预测网络中，并计算损失函数的值；s15、系统中心控制器使用rmsprop梯度下降法，根据损失函数的值更新dqn预测网络的网络参数，dqn预测网络的网络参数每更新一次，计数器加一；s16、重复步骤s14到s15，每当dqn预测网络的网络参数更新计数次数达到m的倍数时，跳转至步骤s17；s17、系统中心控制器将dqn预测网络的网络参数复制给目标网络的网络参数，使两个网络的参数完全相同；s18、重复步骤s14到s17，直到损失函数的值收敛。3.如权利要求2所述的一种边缘节点频谱与计算资源联合分配方法，其特征在于：所述四元组表示为，其中表示系统的当前状态，其包括新到达的用户业务请求的特征参数以及系统中频谱资源和计算资源的状态参数；表示系统中心控制器获取
状态后，根据策略选择出的一个频谱资源和计算资源联合预分配决策，其中表示预分配给用户业务请求的频谱资源块数量，表示预分配给用户业务请求的计算资源块数量；表示系统中心控制器执行后系统环境反馈的一个奖励值；表示系统的下一个状态。4.如权利要求1所述的一种边缘节点频谱与计算资源联合分配方法，其特征在于：所述步骤s2的具体子步骤包括：s21、系统中心控制器分别获取新到达的用户业务请求的类型和数据量以及系统中所有频谱资源块和计算资源块的释放时间；s22、对获取的各项参数进行归一化处理。5.如权利要求1所述的一种边缘节点频谱与计算资源联合分配方法，其特征在于：所述步骤s3的具体子步骤包括：s31、系统中心控制器将经归一化处理后的用户业务请求的各项特征参数以及系统中频谱资源和计算资源的状态参数输入dqn网络；s32、dqn网络根据当前预测网络的网络参数，输出所有可能的频谱资源和计算资源联合预分配决策的q值；s33、系统中心控制器为新到达的用户业务请求选择具有最高q值的频谱资源和计算资源联合预分配决策。6.如权利要求1所述的一种边缘节点频谱与计算资源联合分配方法，其特征在于：所述步骤s4的具体子步骤包括：s41、根据步骤s3中所输出的频谱资源和计算资源联合预分配结果，计算新到达的用户业务请求在系统中预计经历的总服务时延，依次计算对用户业务请求的业务数据在预分配的频谱资源情况下可获得的最大传输速率、对应的传输时延、在传输侧的排队时延、对应的计算时延和在计算侧的排队时延，用户业务请求在系统中的总服务时延为所述对应的传输时延、在传输侧的排队时延、对应的计算时延和在计算侧的排队时延之和；s42、如果在预分配的频谱资源和计算资源情况下，新到达的用户业务请求在系统中预计经历的总服务时延大于其服务时延上限，则系统拒绝该用户业务请求；否则，系统接入该用户业务请求。7.如权利要求1所述的一种边缘节点频谱与计算资源联合分配方法，其特征在于：所述步骤s5的具体子步骤包括：s51、新到达的用户业务请求进入传输侧用户请求队列等待频谱资源的分配；s52、获取当前时刻系统中的频谱资源状态信息，若系统中可用的空闲频谱资源不少于预分配的频谱资源，则直接为新到达的用户业务请求分配频谱资源；否则，新到达的用户业务请求将排队等待，直至系统中足够数量的频谱资源释放出来；s53、新到达的用户业务请求获得分配的频谱资源后，对应的用户将通过上行链路将其业务数据传输至边缘服务器；s54、系统更新频谱资源状态。8.如权利要求1所述的一种边缘节点频谱与计算资源联合分配方法，其特征在于：所述
步骤s6的具体子步骤包括：s61、新到达的用户业务请求进入计算侧用户请求队列等待计算资源的分配；s62、边缘服务器获取当前时刻系统中的计算资源的状态信息，若服务器可用的空闲计算资源不少于预分配的计算资源，则直接为新到达的用户业务请求分配计算资源；否则，新到达的用户业务请求将排队等待，直至服务器有足够数量的计算资源释放出来；s63、新到达的用户业务请求获得分配的计算资源后，边缘服务器将对其业务数据进行计算处理，并将计算结果通过下行链路传输给对应的用户，由于计算结果的数据量远远小于用户业务请求的原始数据量，所以忽略下行链路的传输时延；s64、边缘服务器更新计算资源状态。9.一种边缘节点频谱与计算资源联合分配装置，其特征在于：所述装置包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-8任一项所述边缘节点频谱与计算资源联合分配方法。10.一种计算机可读存储介质，其特征在于：其上存储有程序，该程序被处理器执行时,实现权利要求1-8任一项所述边缘节点频谱与计算资源联合分配方法。

技术总结

本发明公开了一种边缘节点频谱与计算资源联合分配方法、装置和存储介质，包括以下步骤：S1、系统对DQN网络进行初始化训练；S2、系统中心控制器对新到达的用户业务请求的特征参数以及系统中频谱资源和计算资源的状态参数归一化处理；S3、系统中心控制器将归一化后的用户业务请求参数数据和资源状态参数输入训练好的DQN网络中，根据DQN网络的输出结果，为新到达的用户业务请求预分配频谱资源和计算资源；本发明一种基于DQN的单边缘节点系统频谱与计算资源联合分配方法和装置，在满足单边缘节点系统不同类型用户业务请求的服务时延上限要求的前提下，最大化系统的吞吐量。最大化系统的吞吐量。最大化系统的吞吐量。