一种无线联邦学习系统的设计及资源分配方法

本发明涉及无线智能技术领域，具体涉及了一种基于多载波正交多址接入的无线联邦学习系统在灵活用户参与模式下的通信资源分配方法。

联邦学习是一种新型分布式机器学习方法，用来解决传统的集中式机器学习架构中的隐私泄漏问题和大量原始数据上传带来的通信网负荷。其边缘设备无需上传本地数据，从而保护用户隐私，减轻通信压力，减少训练延迟。尽管联邦学习在未来无线网络中的应用前景广阔，但仍面临着通信效率低、系统异构性、统计异构性等挑战。

关于无线联邦学习系统的研究主要致力于通过优化无线联邦学习系统的训练效率，其中训练效率的提高主要依靠提高通信效率、用户参与数量和参与训练的数据规模。在提高训练效率方面存在以下挑战：一方面，频率资源的缺乏严重制约了大规模用户接入和数据传输，限制了无线联邦学习系统的广泛部署。另一方面，需要考虑用户的异质性，其中用户的异构性主要体现在数据规模不平衡、算力不平衡和通信能力不平衡等方面，这会导致不同用户能够完成的训练任务具有差异性，经典的用户参与模式会排除不能完成完整训练的用户，导致计算资源的浪费和收敛速度缓慢。

针对无线联邦学习系统中现有缺陷，本发明设计了一种基于多载波正交多址接入的无线联邦学习系统，设计了灵活的用户参与模式，并给出该系统的通信资源分配方法。

本发明提供了一种基于多载波正交多址接入的无线联邦学习系统的通信资源分配方法，用于以下场景：综合考虑无线联邦学习系统中，用户算力、通信、数据异质性，使用灵活的用户参与模式；用户通过和之间的无线信道与联邦学习服务器交换训练模型，上行链路总带宽划分为多个子载波并使用多载波正交多址接入技术上传本地模型参数，并使用广播技术下发全局模型。联邦学习需要训练多个通信轮次，直到训练收敛。

(1)灵活的用户参与模式：针对无线联邦学习系统，本发明提出了一种灵活的用户参与模式，它考虑了用户各方面异质性，允许参与训练的所有用户在一个通信轮次中最大化本地训练的迭代次数。

(2)基于灵活的用户参与模式的无线联邦学习性能指标：本发明提出了一种新的基于灵活的用户参与模式的无线联邦学习性能指标用于表征收敛速度，称为全局聚合完成度，具体为：其中Fk表示用户算力，表示一个通信轮次内的总时延。

(3)联合带宽和功率资源分配问题：为了使无线联邦学习系统的训练效率最高，并以最快的速度达到收敛，本发明提出了一个在严格的延迟、功率和带宽约束下最大化全局聚合完成度的联合带宽和功率资源分配问题：

其中表示用户上行功率，表示N个子载波带宽，Fk表示用户算力，Tk表示用户一个轮次内的总时延，U表示一个轮次的全局聚合完成度。

(4)联合带宽和功率资源分配方案：原资源分配问题是非凸问题，本发明提出了一个非凸问题转化法。首先消去时间约束，然后利用变量替换转化为凸问题，并进一步减少变量数量；通过凸优化工具可以解出转换后的优化问题并重新计算资源分配方案。具体地，问题的解决需要以下三个步骤：

(4.1)问题转化：首先消去原问题的时间约束并目标函数转化为然后目标函数继续转化为并得到新的优化问题

(4.2)求解：新的优化问题是凸问题，可以通过凸优化方法得到解和至此得到了最优带宽方案。

(4.3)计算分配方案：利用新优化问题的最优解和问题转化的取等条件，得到最优功率分配方案

图1是本发明提供的基于多载波正交多址接入的无线联邦学习系统模型图。

图2是本发明方法中关于灵活的用户参与模式的性能仿真图，验证了所提方案能使联邦学习快速达到收敛。

图3是本发明方法的模拟仿真图，验证了所提出非凸问题转化法达到了理论上界。

图4是本发明方法的模拟仿真图，验证了所提出非凸问题转化法具有较低的计算复杂度。

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

参见图1，本发明的应用场景是：基于多载波正交多址接入的无线联邦学习系统，该系统具有多个边缘用户和一个连接到的联邦学习服务器。边缘用户利用全局模型在本地训练联邦学习模型，然后使用上行多载波正交多址接入技术将更新后的模型上传到联邦学习服务器聚合，再使用广播技术下发。

本发明的目标是使所有边缘用户在一个通信轮次的时间限制内完成最多的训练，并在严格的延迟、功率和带宽约束下最大化全局聚合完成度。原问题是具有挑战性的非凸问题，传统方法需要通过使用凸近似将原始问题转化为凸问题，从而可以通过凸搜索来解决，但该方法需要针对所有用户分配功率和带宽，复杂度很大。为了规避海量用户带来的高计算复杂度，本发明利用问题转化探索出最优解中各变量的内在联系，从而转化成一个新的少变量凸问题，有效减少了不等式的计算复杂度，并得到了最优解。

为证明本发明的实用性，申请人进行了多次仿真实验。仿真实验模型为图1所示的应用场景，仿真测试结果如图2-4所示。

以上所述仅为本发明的较佳实例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改，等同替换、改进等，均应包含在本发明保护的范围之内。