摘要： 在遭遇覆盖多个频段的变化的干扰信号时，传统的跳频方法无法很好的抵抗干扰，导致无线自组网丢包率提高，甚至无法发送数据。本文基于强化学习的方法提出一种结合并发传输与智能跳频的无线自组网抗干扰传输方法。仿真结果表明，该方法能较好的应对大覆盖多频段的强干扰，在一段时间后可以使网络中的节点的传输成功率稳定提高。 机械钻孔桩关键词： 无线自组网，抗干扰，跳频，强化学习，并发传输
1引言
无线自组网作为一种多跳无中心网络广泛应用于环境监测、工业自动化、应急救援等许多领域。但同时越来越拥挤的ISM频段使得自组网设备受到大量处于同一频段的其他设备的干扰，导致时延和网络丢包率的提高，这会对一些注重网络可靠性的应用造成巨大的影响[1]。此外，一些针对性的网络攻击甚至会导致自组网节点完全无法发送数据。因此，研究有效的抗干扰方法对于提高无线自组网的可靠性非常重要。
目前，大部分网络设备采用CSMA/CA（Carrier-Sense Multiple Access with Collision Avoida
nce）介质访问控制方法来应对网络中的干扰和碰撞[2]。在此机制下，发送节点在检测到其他节点同时在发送数据时，会选择继续监听信道，并在等待一段时间后重新尝试发送信息。但是若持续存在干扰信号导致发送节点连续多次无法监听到空闲信道，或是在消息成功发送之后在接收节点处遇到干扰，则都会造成数据无法成功发送。
采用跳频的方法可以在一定程度上抵抗干扰信号[3]，网络中的节点按照预设的跳频序列跳频到指定的信道上发送信息，这样对于特定种类的干扰信号能起到良好的效果。但是预先设定的跳频序列缺乏灵活性，无法抵抗各种不同的干扰信号，若有干扰信号刚好分布在预设的跳频信道上，则网络会受到较大的干扰。
近年来，基于强化学习等人工智能方法的抗干扰策略受到了广泛关注。文献[4]提出了一种基于Q-Learning的认知跳频算法，以得到子频段的选择策略。文献[5]提出动态ε-DQN（Deep Q-Network）通信抗干扰决策方法，在DQN架构下引入经验回放和基于爬山策略的动态ε机制。本文在DQN的基础上提出了一种结合并发传输与强化学习智能跳频的抗干扰传输方法。
2系统模型
本文考虑的系统模型如图1所示。在一片区域中有多个干扰源，分别工作在不同的频段，干扰范围覆盖整个区域。在区域中有多个节点组成无线自组网，其中源节点需要将感知到的监测数据发送到目的节点，数据经由大量无线自组网节点通过多跳的方式传输到目的节点。
图1 本文通信系统模型示意图
3 算法设计
本文设计的无线自组网抗干扰传输方法主要包括并发传输策略和智能跳频策略两部分。其中并发传输策略采用基于相长干涉（Constructive Interference）的并发传输机制，网络中
所有其他节点作为中继，对源节点发送的数据包进行转发，根据跳频序列的顺序，在每一个时隙中跳频到指定的信道中同时转发数据包。由于相长干涉的效果，在特定信道中多个相同的信号将会合成一个强度极大的信号，根据捕获效应（Capture Effect），当合成的信号强度比干扰信号的强度之和大3 dB以上时，接收信号的节点就可以正确地解析出信号的内容，以此来达到抗干扰的效果。
由于本文考虑的系统模型中干扰源较多且分布于不同的频段，若采用传统的预设序列的方法，跳频频段很可能遭遇严重的干扰，因此本文采用基于深度强化学习的智能跳频策略进行跳频。在强化学习框架下，进行如下定义：
1）动作空间：每个可选信道的集合。节点可以采取的动作记为，表示可用的不同频率的信道数量；
2）状态空间：将每个信道上的状态记为，若信道未被占用、无干扰则，否则。集合作为状态空间。
3）奖励：定义发送时未发生碰撞则奖励，若发生碰撞则奖励。
自动供墨系统4）回合结束条件：若在过去10个时隙中有3个时隙发生碰撞，或者目的节点成功接收到源节点发送的数据包，则回合结束。2硅酸铝纤维毡
本文的智能跳频算法如下：
1）创建两个结构相同的神经网络，分别为估值神经网络和目标神经网络。网络结构包含3个全连接层，其中一个输入层，一个隐藏层和一个输出层。采用Relu作为激活函数；
2）建立经验回放机制，把最近回合的经验存入大小为1000的记忆库中，在更新权重时从记忆库中随机抽取样本进行再次学习，以破除相邻数据间的相关性；
止水针头
3）初始化神经网路的权重参数；
4）随机初始化跳频序列作为初始动作；
5）初始化贪婪因子ε为0.9，折扣因子为0.9；
6）在时刻，由源节点开始发送数据包，其他节点按照初始动作进行跳频，从下一个时隙开始形成并发传输；
scr-0357）在回合结束前，检测获得信道状态集合，选择下一个时隙的动作，并在相应的信道上传输数据，获得相应的奖励；
8）Q值更新公式为，其中丸药制作是时刻的Q值，是学习率，是折扣因子，为采取了当前动作之后最大的期望奖励；
9）损失函数定义为;
10）每隔200步，使估值神经网络的最新参数值来更新目标神经网络的参数。
4应用系统设计
本文提出的无线自组网抗干扰传输方法可以应用于移动机械的信息采集传输等多种应用。移动机械往往工作在存在较多干扰的场景，信息的传输容易因为周围环境的影响而产生大量的丢包。在移动机械信息采集传输系统中，本文提出的方法可以给大型移动机械的操作提供一个更加智能、安全、便捷的运行环境，移动机械行驶时的实时信息和故障预警信息可以方便地传输给中控系统。同时，通过数据的无线远程传输，与后台管理中心通讯，建立移动机械与后台服务器的互联。要实现移动机械与工作人员的互联，以及移动机械与后 台服务器的互联，最重要的是建立完善的数据传输通道。本应用系统有两个基本的功能需求：
1）、移动机械数据采集
需要综合考虑各种采集移动机械数据信息的方式，可以采用OBD（On Board Diagnosis）系统来获取移动机械的数据信息。首先，虽然从OBD系统不能读取到所有的移动机械数据，但数据量较为丰富，而且这些数据直接来自于移动机械的内部系统，通过这种方式获得的数据相比于通过外加传感器来获取数据，数据准确性更高。通过OBD系统，可以建立起通用性较好的移动机械数据信息采集系统。
2）数据的无线传输
移动机械运行信息的传输主要分两部分，第一部分是从移动机械的OBD端口到车载远程传输终端的数据信息传输，第二部分是从车载远程传输终端到后台服务中心的数据信息传输。为了实现设备间便捷而有效的通信，信号的无线传输不可或缺。无线传输具有传输方便、组网灵活、可扩展性好、性能稳定、综合成本低等优点，同时与云端服务器的连接只
能采用移动互联网的无线传输。因此，本系统中的两部分数据传输都选择无线传输的方式。第一部分的传输采用WiFi无线局域网的方式，第二部分的数据传输采用5G无线网络传输的方式。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议