(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010744969.5
(22)申请日 2020.07.29
(71)申请人 南京邮电大学
地址 210023 江苏省南京市栖霞区文苑路9
号
(72)发明人 郭剑 杨镛 杨琳 姚敏 褚萍萍
韩崇 王娟
(74)专利代理机构 南京正联知识产权代理有限
公司 32243
代理人 张玉红
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
法
(57)摘要
基于多流卷积神经网络的肌电手势识别方
法，采用的技术方案为基于多流CNN网络架构的
肌电手势识别方法，使用双层CNN网络提取肌电
RNN网络进行再次训练最后分类。该模型架构可
以获取更多的原始肌电信号特征进行训练来提
高识别率，
另一方面又减少了训练的时长。权利要求书1页 说明书4页 附图2页CN 111898526 A 2020.11.06
C N 111898526
A
1.基于多流卷积神经网络的肌电手势识别方法，其特征在于：所述方法包括如下步骤：步骤1：数据预处理；对原始的肌电信号首先进行降噪处理，然后通过数据析取排除干扰，最后对数据进行标记，并将一维肌电信号转换为二维格式；
步骤2：CNN架构获取预处理数据的高维特征；使用双并行CNN网络架构。每一层都包含卷积层、池化层等，但其内部参数例如卷积核大小等不同。将处理过的肌电信号分别输入到两层获得其特征。
步骤3：数据特征融合；对上述两层CNN网络产生的数据进行降维处理，最后使用拼接函数将处理过的数据进行拼接；
步骤4：RNN网络处理融合数据；使用由两层GRU网络组成的串行RNN网络变体，门控循环单元GRU处理融合后的数据，并在GRU后加入Attention机制来分析处理数据获得其时序特征；
步骤5：手势分类；引入全连接层和Softmax层对上述时序特征进行分类。
2.根据权利要求1所述的基于多流卷积神经网络的肌电手势识别方法，其特征在于：步骤1中，使用EMD自相关方法进行降噪处理，将一个肌电信号分解为有限个固有模态函数分量IMF，将高频IMF信号利用自相关函数处理得到方差，若方差小于阈值则使用CTW小波对其去噪，将最终处理得到的两种信号融合就得到去噪的表面肌电信号。
3.根据权利要求1所述的基于多流卷积神经网络的肌电手势识别方法，其特征在于：步骤1中，将表面肌电信号按照频谱图信号规律丢弃出异常部分以进行数据析取。
4.根据权利要求1所述的基于多流卷积神经网络的肌电手势识别方法，其特征在于：步骤1中，对数据进行标记，针对每种手势对相应的肌电信号添加标签，由此来获得网络训练需要的训练集、测试集和验证集。
5.根据权利要求1所述的基于多流卷积神经网络的肌电手势识别方法，其特征在于：步骤1中，将一维肌电信号转换为二维格式，设肌电信号采样频率为FHz，采样手势时间为Tms，利用滑动窗口法来实现；设置窗口长度Kms、滑动步长Sms，针对Tms手势采样时间，使用滑动窗口划分产生(T -K)/S+1个子段信号B，每个子段信号B i (i∈{1,2,…,(T -K)/S+1})中含有K*F个数据点，设处理后得到图片宽为W高为H则W*H＝K*F，对于采集设备为多通道，假设通道数为C则最后得到的数据格式为W*H*C。
6.根据权利要求1所述的基于多流卷积神经网络的肌电手势识别方法，其特征在于：步骤2中，CNN网络架构的上下两层网络均分为三层卷积层、三层池化层，卷积层在前池化层在后以次相互间隔，卷积层与池化层之间使用批量归一化BN处理数据，同时在归一化处理之后使用ReLu激活函数。
7.根据权利要求1所述的基于多流卷积神经网络的肌电手势识别方法，其特征在于：步骤3中，使用Concatenate函数将处理过的数据进行拼接。
8.根据权利要求1所述的基于多流卷积神经网络的肌电手势识别方法，其特征在于：步骤5中，对RNN网络得到的数据进行Flatten处理使其数据一维化，设置一层全连接层其神经元个数为R，全连接层后加入Dropout层，之后引入Softmax分类层，内部神级元个数为Q大小等于需分类的手势个数，该层对每种手势类别进行概率计算，分值最大的即为该信号的手势类别。
权 利 要 求 书1/1页CN 111898526 A
基于多流卷积神经网络的肌电手势识别方法
技术领域
[0001]本发明属于生物特征领域，具体涉及一种基于多流卷积神经网络的肌电手势识别方法。
背景技术
[0002]肌电信号由人体脊柱神经在运动时产生，并且沿着肌肉纤维向两端传播。信号在传播的同时产生电场，针电极收集到的肌电信号称为针肌电信号，而通过表面电极所获取到的信号称为表面肌电信号。表面肌电信号是一种宝贵的生理信号。由于表面肌电信号和人体肌肉状态存在紧密的联系，可以利用肌电信号对手部动作进行识别。目前主流的识别方法包括基于机器学习手势识别与基于深度学习识别方法。
[0003]对于机器学习，肌电信号的一般处理流程包括肌电信号的采集、预处理、特征提取、分类。信号采集中首先使用的为时域信号，这种信号应用广但稳定性很差。其次为频域信号，这种信号稳定性较好但其幅值随时间变化较大。因此，目前使用较多的为时频域混合信号。预处理环节是非常重要的环节。在原始的肌电信号里，存在环境噪音、传感器设备噪音、电极片自身噪音等干扰噪音。针对原始肌电信号，必须将其进行降噪处理否则会极大影响手势的识别。特征提取环节中需要从肌电信号中提取出要识
别的特征，常见的特征有谱距、中值频率、平均绝对值等。分类为环节的最后一步也是最为关键的一步，过去中最为常见的为机器学习方法，例如支持向量机、K近邻算法、主成分分析等方法。近年来随着计算机硬件水平提升，深度学习重回大众视野。深度学习分为两个部分，特征提取与分类。特征提取主要包括预处理和构建合适的网络模型，分类主要负责对构造好的模型进行训练获得最后的结果。
[0004]对于深度学习，目前使用较频繁的深度学习网络为卷积神经网络(Convolutional Neural Network，CNN)。与传统的神经网络不同，在含有卷积层的单元中使用卷积运算取代原来的矩阵乘积运算。其优点是可以更好地提取出原始数据的高维特征。另有一种深度学习网络为循环神经网络(Recurrent Neural Network，RNN)，其主要处理基于序列的数据，例如文本信息等。常见的CNN网络或RNN网络处理流程一般包括对数据的预处理、数据标记、特征提取，最后利用Softmax等函数进行分类。
[0005]目前，这两种方法处理表面肌电信号都还存在着缺陷。对于传统的机器学习方法，使用的特征大多为浅层特征。没有对肌电信号的深层特征进行训练，因此往往得到的准确率较低而且识别的手势种类数较少。传统的单层CNN网络在多次训练后得到原始数据的高维信息，与此同时会丢弃掉许多有关的有用特征信息。肌电信号是一种时序性信号，其信号之间具有很强的时间关联性。传统的CNN网络不能利用其时序性，训练精度不能得到进一步提高。
发明内容
[0006]针对目前问题，本发明提出一种基于多流卷积神经网络的肌电手势识别方法，利
用CNN与RNN混合网络架构来对肌电信号进行特征提取和训练。本发明使用双层CNN网络提取肌电信号特征，其次将两层获取到的特征进行融合。针对肌电信号时序性，将处理的融合数据利用RNN网络进行再次训练最后分类。该模型架构可以获取更多的原始肌电信号特征进行训练来提高识别率，另一方面又减少了训练的时长。
[0007]基于多流卷积神经网络的肌电手势识别方法，包括如下步骤：
[0008]步骤1：数据预处理；对原始的肌电信号首先进行降噪处理，然后通过数据析取排除干扰，最后对数据进行标记，并将一维肌电信号转换为二维格式；
[0009]步骤2：CNN架构获取预处理数据的高维特征；使用双并行CNN网络架构。每一层都包含卷积层、池化层等，但其内部参数例如卷积核大小等不同。将处理过的肌电信号分别输入到两层获得其特征。
[0010]步骤3：数据特征融合；对上述两层CNN网络产生的数据进行降维处理，最后使用拼接函数将处理过的数据进行拼接；
[0011]步骤4：RNN网络处理融合数据；使用由两层GRU网络组成的串行RNN网络变体，门控循环单元
GRU处理融合后的数据，并在GRU后加入Attention机制来分析处理数据获得其时序特征；
[0012]步骤5：手势分类；引入全连接层和Softmax层对上述时序特征进行分类。[0013]进一步地，步骤1中，使用EMD自相关方法进行降噪处理，将一个肌电信号分解为有限个固有模态函数分量IMF，将高频IMF信号利用自相关函数处理得到方差，若方差小于阈值则使用CTW小波对其去噪，将最终处理得到的两种信号融合就得到去噪的表面肌电信号。[0014]进一步地，步骤1中，将表面肌电信号按照频谱图信号规律丢弃出异常部分以进行数据析取。
[0015]进一步地，步骤1中，对数据进行标记，针对每种手势对相应的肌电信号添加标签，由此来获得网络训练需要的训练集、测试集和验证集。
[0016]进一步地，步骤1中，将一维肌电信号转换为二维格式，设肌电信号采样频率为FHz，采样手势时间为Tms，利用滑动窗口法来实现；设置窗口长度Kms、滑动步长Sms，针对Tms手势采样时间，使用滑动窗口划分产生(T-K)/S+1个子段信号B，每个子段信号B i(i∈{1,2,…,(T-K)/S+1})中含有K*F个数据点，设处理后得到图片宽为W高为H则W*H＝K*F，对于采集设备为多通道，假设通道数为C则最后得到的数据格式为W*H*C。
[0017]进一步地，步骤2中，CNN网络架构的上下两层网络均分为三层卷积层、三层池化层，卷积层在前池化层在后以次相互间隔，卷积层与池化层之间使用批量归一化BN处理数据，同时在归一化处理之后
使用ReLu激活函数。
[0018]进一步地，步骤3中，使用Concatenate函数将处理过的数据进行拼接。
[0019]进一步地，步骤5中，对RNN网络得到的数据进行Flatten处理使其数据一维化，设置一层全连接层其神经元个数为R，全连接层后加入Dropout层，之后引入Softmax分类层，内部神级元个数为Q大小等于需分类的手势个数，该层对每种手势类别进行概率计算，分值最大的即为该信号的手势类别。
[0020]本发明的有益效果为：
[0021]1，对表面肌电信号没有使用单一种类信号，使用了时频域混合信号可以更好地提取到肌电信号双重特征即时域特征与频域特征，提升识别率。
[0022]2，在CNN层使用并行架构。对于双层网络架构，一层设置大卷积核提取特征，另一层设置小卷积核提取特征。这样可以更好地利用肌肉相关性提取出更多有益特征，提升识别率。
[0023]3，加入RNN网络变体GRU单元处理肌电信号获得肌电信号时序特征，并使用Attention机制辅助提取，从而提高识别准确率。除此之外，与长短时记忆(Long Short Term Memory，LSTM)网络相比，GRU取得的效果基本相同且具有更少的门函数，因此会缩短网络的训练时长。
附图说明
[0024]图1是本发明实施例中所述的sEMG信号预处理流程图。
[0025]图2是本发明实施例中所述的多流CNN网络模型架构说明图。
具体实施方式
[0026]下面结合说明书附图对本发明的技术方案做进一步的详细说明。
[0027]针对目前问题，本发明提出一种多流CNN网络架构，利用CNN与RNN混合网络架构来对肌电信号进行特征提取和训练。本发明采用的技术方案为基于多流CNN网络架构的肌电手势识别方法，使用双层CNN网络提取肌电信号特征，其次将两层获取到的特征进行融合。针对肌电信号时序性，将处理的融合数据利用RNN网络进行再次训练最后分类。该模型架构可以获取更多的原始肌电信号特征进行训练来提高识别率，另一方面又减少了训练的时长。
[0028]步骤1：如图1数据预处理所示，首先对原始的表面肌电信号进行降噪处理，这里使用的方法为EMD自相关方法肌电信号属于非平稳信号，EMD能够将一个复杂的非平稳信号分解为有限个固有模态函数分量(Intrinsic Mode Function，IMF)。此时将高频IMF信号利用自相关函数处理得到方差，若方差小于阈值则使用CTW小波对其去噪。将最终处理得到的两种信号融合就得到去噪的表面肌电信号。
[0029]去噪之后，进行数据析取。针对环境、设备等因素干扰问题，需要将表面肌电信号按照频谱图信
号规律丢弃出异常部分。最后需要对数据进行标记，针对每种手势对相应的肌电信号添加标签，由此来获得网络训练需要的训练集、测试集和验证集。
[0030]由于CNN网络善于处理图片格式数据，故将一维肌电信号转换为二维格式。假设肌电信号采样频率为F Hz，采样手势时间为Tms，这里利用滑动窗口法来实现。设置窗口长度Kms、滑动步长Sms，针对Tms手势采样时间，使用滑动窗口划分产生(T-K)/S+1个子段信号B，每个子段信号B i(i∈{1,2,…,(T-K)/S+1})中含有K*F个数据点，设处理后得到图片宽为W 高为H则W*H＝K*F。对于采集设备为多通道，假设通道数为C则最后得到的数据格式为W*H* C。
[0031]步骤2：如图2中的多流CNN网络模块所示，上下两层网络均分为三层卷积层、三层池化层(一般使用Max pooling层)。卷积层在前池化层在后以次相互间隔，卷积层与池化层之间还使用了批量归一化(Batch Normalization，BN)处理数据使其具有更好的泛化能力。同时在归一化处理之后使用了ReLu激活函数主要可以防止在训练时发生梯度消失同时可以提升训练的速度。网络的具体参数设置如下：以卷积层一、池化层一举例，卷积层一卷积
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议