任思睿，黄 铭**
(云南大学 信息学院，云南 昆明 650500)
摘要：自动调制分类技术是无线通信技术中的一个重要研究领域，卷积神经网络以及长短期记忆网络（Long Short-Term Memory ，LSTM ）两种深度学习模型在基于特征的自动调制分类技术中得到了广泛的应用.然而在实际应用中这两种模型都存在着一些问题，卷积神经网络模型在处理长时间依赖序列的分类任务时的准确率不佳，LSTM 模型的时间性能会随着输入数据规模的增大显著下降. 针对以上问题，提出一种基于带有注意力机制的LSTM 网络的调制识别算法. 首先，读取一定采样长度的信号原始数据，并 通过长短期记忆网络提取信号特征；然后，利用注意力机制为学习到的特征分配权重以减少数据冗余；最后，分类器根据学习到的特征输出分类结果. 仿真实验结果表明，新算法能以较低的时间代价取得较高的准确率.
关键词： 无线通信监测；调制识别；注意力机制；长短期记忆网络
中图分类号：TP391 文献标志码：A 文章编号：0258−7971(2021)01−0039−07
随着无线通信技术的发展，无线电资源逐渐成为一种重要的国家战略资源. 为了保证无线通信安全运作，无线通信调制识别技术越来越重要[1]. 然而传统的无线通信调制识别技术主要基于操作员的部分先验知识进行人工监测与分类，在通讯环境愈发复杂的今天，传统的调制识别技术已经很难满足实际应用的需要.
自动调制分类（Automatic Modulation Classifi-cation ，AMC ）技术在这样的背景下应运而生，且在军民领域都有了许多的实际应用[1-7]. 在军事领域上，准确识别通信信号的调制类型往往意味着能通过估计参数来设计解调模型，截获关键信息，从而可以有针对性地进行军事行动规划和部署. 在民用领域中，常有不法分子通过黑广播等方式传播有害信息，相关部门可以利用通信信号调制识别技术区分正常信号和非法信号，从而打击非法无线电活动，保障无线通信安全. 在实际运用中，自动调制分类技术可以设计一个自动区分识别调制方式的分类器，通过调制方式来确定信号种类，监测无线信号
是否存在自然干扰与人为干扰.
AMC 技术可以分为两类[1]，基于决策论和基于特征. 基于决策论的AMC 技术主要以最大似然准则为依据来分类调制方式，理论上这类方法有着最低的误判率，然而在处理大量数据时计算复杂度过大是这类方法的一个严重缺陷，同时由于设计或选择似然函数时需要足够的先验知识，该类算法在信道状况未知或信道存在时偏、频偏等误差时识别精度会明显下降[8-9]. 基于特征的AMC 技术由于近年来机器学习的迅速发展而逐渐成为主流，主要是针对调制方式的一些特征量，通过监督或非监督学习的方式训练神经网络，最后进行分类与识别[10-11]. 当算法选择适当时，基于特征的AMC 技术具有易于实施且准确率比较理想的优势，然而现有的一些基于神经网络的调制识别算法也存在一些问题. 文献[12]将数字调制信号通过连续波多普勒（Continuous Wave Doppler ，CWD ）架构进行时频域的转换，生成信号对应的二维灰度图，再以这些灰度图为数据集使用一种有自适应性的卷积神经网络进行训练并分类信号，该方法需要生成信号的灰度图，这在实际应用中会增加系统结构的复杂度. 文献[13]采用了一种基于双层卷积神经网络(Convolution Neural Network ，CNN)的分类器，该模
收稿日期：2020-03-17； 接受日期：2020-05-20； 网络出版日期：2020-09-22
宝钢在线基金项目：国家自然科学基金(61963037）.
作者简介：任思睿（1994−），男，云南人，硕士生，主要研究调制识别. E-mail ：*****************.
** 通信作者：黄 铭（1963−），男，云南人，博士，教授，主要研究电磁场理论与微波技术应用、传感器、网络通信和信息处理. E-mail ：
*****************.
云南大学学报（自然科学版），2021, 43（1）:39~45Journal of Yunnan University: Natural Sciences Edition
DOI: 10.u.20200075
型的输入为时域的同相正交（I/Q）信号，可以识别不同信噪比下的调制信号，由于CNN模型对长时间依赖序列的分类任务表现不佳，其识别精度很难达到最优. 文献[14]设计了一种基于双层长短期记忆（Long Short-Term Memory，LSTM）网络的自动调制分类模型，经过参数调优与对比实验，该模型与支持向量机(Support Vector Machine，SVM)、随机森林、K近邻和浅层CNN等多种算法相比，对信噪比为−20～20 dB的多种数字调制信号有着更高的识别准确率，对比发现使用双层LSTM结构网络可以达到最优分类性能，但该算法时间代价较高.
以上分析可以看出，在基于深度学习的自动调制识别中，使用CNN模型需要将信号原始特征转换为图形特征再进行训练，而LSTM模型是一种递归网络，常用的图形处理器（Graphic Process Unit , GPU）
并行加速方法无法有效提高其训练效率，导致随着输入数据量的增大与层数的加深，训练时间会大大增加. 在自然语言处理领域中，常用注意力（Attention）机制让模型能在训练中更加关注那些比较重要的特征，减少模型中的参数量. 为了充分利用LSTM网络在处理长时间依赖序列的优势，同时改善LSTM网络在处理大数据集时较低的训练效率，本文设计了一种基于LSTM网络与Attention 机制的无线通信信号调制识别算法. 该算法可以有效学习信号的原始特征，避免实际应用中无谓的系统资源浪费；同时Attention机制的引入使本文设计的算法相较于其他基于LSTM网络的调制识别算法在训练效率与准确率上都有明显地提升.
1 LSTM网络以及Attention机制原理
1.1 LSTM网络基本原理 LSTM网络通过引入一种自循环的机制，使梯度可以随时间变化而变化，从而让自循环过程中的权重根据输入信息动态地变化. 通过门控该种自循环的权重，累积的时间尺度也能进行动态变化. 这种特性让LSTM网络即使在固定参数的情况下，其累积的时间尺度也会随着输入序列的变化而改变[15].
与传统的循环神经网络在每个时间步都重写记忆不同，LSTM会将其学习到的重要特征保存为长期记忆，并根据学习的进行选择性的保留、更新或者遗忘已保存的长期记忆，而在多次迭代中权重始终很小的特征则会被网络视为短期记忆并最终被遗忘. 这种机制使得重要的特征信息会随着迭代的进行一直传递，让网络在处理样本具有长时间依赖性的分类任务中有着更好的性能表现[16-17].
s(t)
i
f(t)
i LSTM与普通循环网络类似，每个单元具有相同的输入与输出，但同时LSTM也有更多的参数和控制信息流动的门控单元系统. LSTM最重要的组成部分是状态单元 ，其自环的权重由遗忘门
控制（其中t代表时刻，i代表第i个神经元），由sigmoid单元设置为0和1之间的值. 相应的前向传播公式为
x(t)h(t)
b f
i
U f
i,j
W f
i,j
其中， 是当前输入向量， 是当前隐藏层输出向量，
、、 分别是偏置、输入权重和遗忘门的循环权重.
1.2 Attention机制 Ashish Vaswani等于2017年提出了在深度学习中加入Attention机制以提升模型性能[18]，Attention借鉴了人脑鉴别事物的特点，即专注于事物的某些显著特征，模糊一些不重要的细节，这使人将有限的注意力放在大脑认为重要的地方，提高工作效率，因此Attention机制最初主要被应用于图像识别的领域. 经过一段时间的研究发现，Attention机制与常见于自然语言处理领域的Encoder-Decoder模型能很好地结合，Encoder-Decoder模型具有较强的通用性，Attention机制开始在不同的领域流行[19-20]. Attention模型一般结构如图1[21]所示.
图 1 Attention模型一般结构
Fig. 1 Standard structure of Attention model
通古斯人X1X2X3X4
Z0A
C0
图1中 、、、 由原始数据A、B、C、D 经过编码得到，经过 的Attention权值向量 加权后再归一化产生 并将其输入到解码器，其中
40云南大学学报（自然科学版） u.edu第 43 卷
A 通过一种对齐概率的计算方式得到，这种函数一般称为评分函数. 文中使用最常用的乘积矩阵，其公式为[20]
h T t h s 其中，为第t 个时隙的隐含层状态，为t 时刻之前的所有隐含层状态.
2 算法与模型设计
在基于特征的AMC 技术中常用的深度学习
主要是CNN 模型与LSTM 模型. CNN 模型由于对长时间依赖序列处理能力不佳，基于CNN 模型的调制识别技术一般需要先将信号原始特征转换为图像特征再传入CNN 进行学习，这在实际应用中往往会大幅增加系统架构的复杂程度. 而基于LSTM 的调制识别技术在输入数据量增加或者网络层数增加时训练的时间代价会迅速增长.
近年来开始将Attention 机制运用于信号识别邻域的应用[22]，深层网络在学习调制信号频谱经过图像编码产生的灰度图特征后对MPSK 、FSK 、AM 、QPSK 信号进行了分类，其对信噪比为−20 dB 的信号分类准确率为48%，对信噪比为20 dB 的信号分类准确率为98%.
本文设计了一种带有Attention 机制的LSTM 网络无线通信调制分类算法. 首先通过LSTM 网络提取信号的原始特征，再利用Attention 机制为经过LSTM 提取的特征向量分配注意力权重，将那些较为“显著
共振结构
”的特征集合进行高度总结后输入分类器产生分类结果. Attention 机制的引入可以使模型在训练时始终
关注那些较为“显著”的特征，不仅可以降低训练时的参数从而提升训练效率，还能提升模型的分类准确率.
本文设计的算法的结构框图如图2所示.
图 2 结合Attention 机制的LSTM 网络结构
Fig. 2 LSTM network structure combined with Attention
mechanism
输入层读取数据集中的数据向量并将其传入网络.
LSTM 层主要负责接收样本数据并从样本数据中学习特征信息. 其神经元个数为128，采用L2正则化，L2范数为0.001，同时设置网络为双向网络，即后一个神经元的状态值也会反向传回前一个节点.
2010年2月1日Attention 层主要负责对LSTM 层中学习到的特征集合分配相应的注意力权重. 该层采用sigmoid 激活函数，评分函数为乘积矩阵. 由于数据集中向量个数也是输入向量的一个维度，我们希望这一维的每一个向量单独拥有一个Attention 权重，即每一个输入都对应Attention 层的一个输出，因此需要将Attention 层放在LSTM 层之后.
全连接层将得到的特征向量经过softmax 分类器归一化产生分类概率并将其输出.
本文训练模型时损失函数为交叉熵损失函数，优化器采用AdamOptimizer ，具体的训练过程如下所示：
步骤 1 初始化模型中的超参数，其中学习率设定为0.000 1;
步骤 2 将训练集中的154 000个样本用大小为256的batch 进行切分;
步骤 3 随机选取一个生成的batch 送入神经网络进行训练;
步骤 4 LSTM 层对输入网络的batch 中的数据进行特征提取，再由Attention 层为提取后的特征图设置注意力权重，最终全连接层根据注意力加权后的特征图生成分类向量并由softmax 分类器输出分类结果;
步骤 5 根据交叉熵损失函数计算本次训练的损失;
步骤 6 Adam 优化器根据本次训练结果更新网络的超参数;
步骤 7 将步骤3～6定义为模型的一次迭代过程，重复这种迭代直至模型的分类准确率在多次迭代后已不再发生明显的改变.
3 实验与结果分析
3.1 数据集选择 本文使用RadioML2016.10a 数据集[23]来验证本文所设计的算法，该数据集的具体参数见表1.
第 43 卷任思睿等：基于改进的长短期记忆网络的调制识别算法41
表 1 RadioML2016.10a 数据集的参数Tab. 1 The parameters of RadioML2016.10a dataset
信号调制方式种类采样长度
信号信噪比/dB
训练集样本数
测试集样本数
8PSK,AM-DSB,AM-SSB,BPSK,CPFSK,GF SK,PAM4, QAM16,QAM64, QBSK,
WBFM
128−20～18
82 50082 500
该数据集通过GNU Radio 生成，数据为涵盖了各种被广泛使用的调制方式的正交同相（I/Q ）信号，同时该数据集中的数据也存在如多径衰落产生的高斯白噪声、频率偏移等常见的信道误差，信噪比范围广，能较为真实地模拟各种情况的信号.3.2 实验与分析 为了验证LSTM 网络在学习信号原始特征时是否较CNN 具有优势，使用RadioML2016.10a 数据集分别训练文献[13]提出的双层CNN 模型以及文献[14]提出的双层LSTM 模型，并比较它们对不同信噪比信号的分类准确率. 本文的实验平台为：Intel Corei7-8700 CPU @ 3.20GHz 的处理器; NVIDIA Geforce GTX 1070；内存16GB.
其实验结果分别如图3、图4所示. 图3中CNN2模型的分类准确率在样本信噪比为18dB 时为81%，而图4中双层LSTM 网络模型在相同信噪比下的识别准确率达到了89%.
图 3 双层CNN 网络在不同信噪比下的分类准确率Fig. 3 Classification accuracy of 2-layers CNN on different
SNRs
可以看出双层LSTM 网络模型的总体识别准确率比双层CNN 模型有较大优势，证实了本文选用LSTM 模型作为学习信号原始特征的基准模型
的正确性. 接着对比双层LSTM 模型与本文设计算法的总体准确率如图5所示，可以看出在引入注意力机制后LSTM 网络的分类准确率在信号信噪比为18 dB 时可以达到92%，可见本文提出的算法具有较高的分类准确率.
图 5 带有注意力机制的LSTM 网络在不同信噪比下
的准确率
Fig. 5 Classification accuracy of Attention-based LSTM
network on different SNRs
双层CNN 模型、双层LSTM 模型与本文设计模型的具体准确率如表2所示，对信噪比范围−20～18 dB 的信号本文提出算法的识别准确率都高于传统的CNN 网络以及LSTM 网络的识别准确率.
接着对双层LSTM 网络与本文设计算法的训
练表现进行了对比（图6、图7），可以看出在引入Attention 机制后模型的泛化性能也有了一定的提升. 双层LSTM 网络在迭代20次之后就出现了过拟合的现象，而带有Attention 机制的LSTM 网络在训练过程中训练集与测试集的拟合程度始终较好
.
图 4 双层LSTM 网络在不同信噪比下的分类准确率Fig. 4 Classification accuracy of 2-layers LSTM on different
SNRs
42
新能源汽车产业发展规划云南大学学报（自然科学版） u.edu
第 43 卷
进一步对比分析Attention 机制对网络训练效率的影响，上述3种调制识别算法的平均单次迭代时间如表3所示，可以看出Attention 机制的引入减少了训练过程中的参数数量，降低了训练中的时间消耗，带有Attention 机制的LSTM 网络的单次迭代时间平均仅为232 s ，仅为双层LSTM 模型平均单次迭代时间的一半，而双层CNN 模型由于能使用GPU 有效并行加速其平均单次迭代时间最短，但准确率与另外两种算法差距较大.
表 3 3种算法的平均单次迭代时间
Tab. 3 Average single epoch time of three algorithm
网络模型平均单次迭代时间/s
双层CNN 190双层LSTM
430带有Attention 机制的LSTM 网络
232
综上可以看出本文所设计的算法通过引入Attention 机制，有效解决了传统了基于LSTM 网络的调制识别技术的训练效率不佳的问题，同时在识别准确率上也有一定的优势. 最后通过本文设计算法的混淆矩阵（图8）分析其对各类调制信号的分类准确率.可以看出在信噪比为18 dB 时，本文所提出的算法在区分WBFM 和AM-DSB 这两种信号时比较困难，这主要是由于原始数据集中，这两种调制方式的样本是由实际音频流生成，在这个过程中有一段荣事达洗衣机电路图
音频流的中断期，导致这两种调制方式的有许多相似的样本，影响了识别的准确率. 而对于AM-DSB 与AM-SSB 以及QAM16和QAM64这两组信号，
表 2 3种算法在不同信噪比下的识别准确率
Tab. 2 Recognition accuracy of three algorithms on different
SNR 信号信噪比/dB
识别准确率/%
CNN LSTM Attention-based LSTM
−2071011−1591112−10182224−555535807681855818890108188911580889118
81
89
92
图 6 双层LSTM 网络的训练表现
Fig. 6 Training performance of 2-layers LSTM
图 7 带有注意力机制的LSTM 网络的训练表现Fig. 7 Training performance of Attention-based LSTM
network
图 8 信噪比为18 dB 时带有注意力机制的LSTM 网络
的混淆矩阵
Fig. 8 Confusion matrix of Attention-based LSTM with 18 dB
SNR
第 43 卷任思睿等：基于改进的长短期记忆网络的调制识别算法43
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议