(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202111616915.1
(22)申请日 2021.12.27
(71)申请人 杭州电子科技大学
地址 310018 浙江省杭州市下沙高教园区2
号大街
(72)发明人 曾虹 刘洋 郑浩浩 徐非凡
潘登 李明明 金燕萍 夏念章
吴琪 赵月
(74)专利代理机构 杭州君度专利代理事务所
(特殊普通合伙) 33240
代理人 朱月芬
(51)Int.Cl.
A61B 5/369(2021.01)
A61B 5/374(2021.01)
A61B 5/00(2006.01)
A61B 5/16(2006.01)A61B 5/18(2006.01)G06K 9/62(2022.01)G06N 3/04(2006.01)G06N 3/08(2006.01)
(54)发明名称
方法
(57)摘要
本发明公开了一种基于视觉Transformer的
带标签的处理后的E E G 数据，然后构建基于
Vision Transformer的脑电信号分类模型；最后
通过预处理后的EEG数据训练脑电信号分类模
特征与连续脑电信号之间的长时间依赖关系，在
脑电信号分类任务中取得了较好的性能。权利要求书3页 说明书5页 附图2页CN 114176607 A 2022.03.15
C N 114176607
A
1.一种基于视觉Transformer的脑电信号分类方法，其特征在于，包含如下步骤：
步骤1：数据预处理，获取带标签的处理后的EEG数据：
步骤2：构建基于Vision Transformer的脑电信号分类模型；
步骤3：通过预处理后的EEG数据训练脑电信号分类模型。
2.根据权利要求1所述的一种基于视觉Transformer的脑电信号分类方法，其特征在于，步骤1具体方法如下：
采用公开情绪数据集SEED数据集，对于SEED数据集中提供的预处理后的EEG数据按1秒时间进行切分，切分后的数据对每一个脑电通道进行差分熵特征的提取，得到62个通道乘以5个频段的差分熵特征数据，最后展平为长度为310的一维数据样本，样本的标签为提供的对应的刺激情绪的标签；连续的num个样本为一组数据作为模型的输入。
3.根据权利要求1所述的一种基于视觉Transformer的脑电信号分类方法，其特征在于，步骤2具体方法如下：
所述的基于Vision Transformer的脑电信号分类模型EEG Vision Transformer基于Vision Transformer改进而来，在Vision Transformer的Transformer Encoder中的Multi‑Head Attention后添加了一个CNN模块构成了EEG Transformer Encoder模块，在Transformer Encoder中的Multi‑Head Attention后添加了一个MBConv模块而构成的Sequence In Time Transformer Encoder模块，所述的脑电信号分类模型包括num个EEG Transformer Encoder模块，用于学习连续num个样本的局部特征，学习到的num个样本的局部特征输入到Sequence In Time Transformer Encoder模块中学习样本间的时序依赖，得到num个具
有时序依赖的token；最后将num个token输入到num个分类器中进行分类，分类器为MLP模块。
4.根据权利要求3所述的一种基于视觉Transformer的脑电信号分类方法，其特征在于，所述的步骤3具体方法如下：
输入：带标签的处理后的EEG数据样本，连续的num个样本为一组输入模型，共total_ group组，最大迭代次数N，EEG样本的大小EEG_size，patch块大小patch_size，嵌入维度大小embed_dim；
步骤3.1：初始化：
初始化num个EEG Transformer Encoder模块和num个分类器，一个Sequence In Time Transformer Encoder模块，初始迭代次数t＝1；
步骤3.2：通过EEG Transformer Encoder模块学习单个样本的局部特征；
步骤3.3：通过Sequence In Time Transformer Encoder模块学习样本间的时序依赖；
步骤3.4：通过分类器对学习到的特征进行分类；
步骤3.5：根据分类结果与真实标签计算交叉熵，最小化交叉熵损失更新模型超参数；
步骤3.6：输入的每一组数据都执行一次步骤3.2至3.5；
步骤3.7：所有输入数据都处理完成后，迭代次数t＝t+1，回到步骤3.2迭代进行，直到到达设定的迭代次数；
步骤3：通过预处理后的EEG数据训练脑电信号分类模型。
5.根据权利要求4所述的一种基于视觉Transformer的脑电信号分类方法，其特征在于，所述的步骤3.2具体方法如下：
输入的num个样本经过num个EEG Transformer Encoder学习单个样本的局部特征，每个EEG Transformer Encoder的具体步骤如下：
a)特征切分：与ViT的二维图片输入不同，EEGViT的每个样本是5个频段乘以62个通道的长度为310的一维特征数据，根据patch_size的大小将输入的一维特征切分为EEG_size/ patch_size个一维数据段；
b)特征嵌入：根据嵌入维度大小embed_dim将切分好的数据段展平并且添加一个用于局部特征学习的token得到Embedded Patches；把处理好的Embedded Patches输入EEG Transformer Encoder中学习局部特征；
c)局部特征学习：通过EEG Transformer Encoder编码器学习局部特征；与ViT的Transformer Encoder不同的是EEG Transformer Encoder为了学习输入脑电数据的局部特征信息，在Multi‑Head Attention模块与MLP模块之间增加了一个用于学习和提取输入数据局部特征的CNN模块；Embedded Patches数据先进行归一化，然后输入Multi‑Head Attention模块当中，Multi‑Head Attention的公式为：
MultiHead(Q,K,V)＝Concat(head
1,…,head
h
)W O
其中Q是查询矩阵，K是关键字矩阵，V是值矩阵，是查询矩阵第i头的参数矩阵，
是第i头的关键字矩阵，是第i头的值矩阵，W O是参数矩阵，Concat是连接操作；
其中Attention的公式为：
其中Q是查询矩阵，K是关键字矩阵，V是值矩阵，d
k
是查询矩阵和关键字矩阵的维度，softmax是softmax操作；
经过Multi‑Head Attention模块后能够学习到切分数据之间的相互依赖关系；
Multi‑Head Attention模块输出的数据与Embedded Patches数据相加，然后进行归一化后送入CNN模块中学习输入数据的局部特征；CNN模块的卷积核参数共享和层间连接的稀疏性能够以较小的计算量提取输入数据的局部特征，以此学习和提取输入数据的局部特征；CNN模块的卷积核为3步长为1；
CNN模块输出的数据经过归一化后输入MLP模块中进一步学习数据中的隐藏特征，经过卷积核大小为3，步长为1的卷积操作后，输入数据的大小会减小2，故MLP的输入层大小为embed_dim‑2，增加隐藏层的节点学习数据中的隐藏特征，隐藏层大小设置为embed_dim*4，最后输出层大小为embed_dim；MLP模块的输出与Multi‑Head Attention模块输出的数据与Embedded Patches数据相加之后的数据相加，
作为EEG Transformer Encoder的输出；此时的输出有EEG_size/patch_size+1个token，编号为0至EEG_size/patch_size，返回编号为0的局部特征token用于后续模块的特征学习。
6.根据权利要求5所述的一种基于视觉Transformer的脑电信号分类方法，其特征在于，所述的步骤3.3具体方法如下：
经过num个EEG Transformer Encoder学习到的num个局部特征构成新的Embedded
Patches送入Sequence In Time Transformer Encoder模块中学习这num个连续样本的依赖关系；Sequence In Time Transformer Encoder的学习过程与EEG Transformer Encoder类似；num个局部特征通过Multi ‑Head Attention模块学习之间的相互依赖关系，之后通过MBConv模块学习样本间的进一步特征；最后通过MLP模块学习样本间的隐藏特征；MLP模块的输入层大小为num，隐藏层大小设置为num*4，最后输出层大小为num；最后输出num个具有相互时序依赖关系的特征token。
7.根据权利要求6所述的一种基于视觉Transformer的脑电信号分类方法，其特征在于，所述的步骤3.4具体方法如下：
把返回的num个token输入num个分类器进行分类，分类器为MLP模块，输入层大小为embed_dim，输出层的大小为类别数量，SEED数据集为3分类故输出层为3，无隐藏层，最后num个分类器得到预测的num个样本属于各个类别的概率。
8.根据权利要求7所述的一种基于视觉Transformer的脑电信号分类方法，其特征在于，所述的步骤3.5具体方法如下：根据分类结果与真实标签计算交叉熵，
其中M是类别数量，y ic 是符号函数，类别与真实标签相等时取1，否则取0，p ic 是样本属于c类的预测概率，num是样本数量；
最小化交叉熵损失更新模型超参数，采用的优化方法为随机梯度下降法(SGD)：
θ＝θ‑∈g#(5)
m是从输入样本中取m个样本用于更新参数，g是梯度，θ是模型中的超参数。
一种基于视觉Transformer的脑电信号分类方法技术领域
[0001]本发明涉及生物特征识别领域中的脑电信号识别领域，具体涉及一种基于视觉Transformer(Vision Transformer，ViT)的脑电信号分类方法。
背景技术
[0002]脑电波(Electroencephalogram ,EEG)是一种使用电生理指标记录大脑活动的方法，大脑在活动时，大量神经元同步发生的突触后电位经总和后形成的。它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。脑电信号中包含丰富、多样、客观的生理信息，对其研究与分析经常用于脑机接口(Brain Computer Interface，BCI)中，以实现人或动物大脑与外部设备之间的直接连接，实现脑与设备的信息交换。因其客观性以及较其它生理信号如核磁共振的便利性，脑电信号也用于生理状态的评判，如通过脑电信号分析人们的情绪，在疲劳驾驶的应用中用脑电信号判断驾驶员是否处于疲劳状态等。
[0003]现有的脑电信号分析方法有传统的基于时域或频域的信号分析方法。常见的时域分析方法有：波形特征描述法、自回归AR模型等。常见的频域分析方法有：傅里叶变换、功率谱密度、非参数谱估计方、基于AR模型的功率谱估计等。传统的信号分析方法需要人工提取脑电信号的特征，费时费力。随着人工智能技术的发展，越来越多的人工智能方法用于脑电信号的分析，经典的机器学习方法如KNN ,SVM ,LDA等，深度学习方法如CNN ,RNN ,LSTM等用于对脑电信号进行分析。基于机器学习与深度学
习的方法可以自动提取和学习脑电信号中的特征，极大的推进了脑电信号分析的发展。虽然这些基于机器学习、深度学习的方法取得了一定成功，但是这些方法并没有完全利用好脑电信号独有的特征。
[0004]脑电信号是具有长依赖的时序信号。论文《Attention is All You Need》中提出的Transformer模型在NLP领域取得了极大的成功，该模型可以学习句子中的长依赖关系，但将其直接应用在脑电信号的分类中无法达到理想的效果。论文《AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》中提出了一种适合图像领域的ViT模型，该模型在图像领域取得了极大的成功，脑电信号从某种意义上来说也是一种特殊的图像。不过直接将ViT用于脑电信号的分类也无法获得理想的效果，因为其没有局部特征学习的模块，而局部特征对脑电信号十分重要。
发明内容
[0005]为了克服上述把transformer应用在EEG信号分类中的性能不佳，无法学习到特征的局部特征等问题，本发明提出了一种基于视觉Transformer的脑电信号分类方法EEG Vision Transformer(EEGViT)，该方法通过EEG Transformer Encoder模块学习局部特征，Sequence In Time Transformer Encoder学习连续样本间的时序依赖关系提高了分类性能。
[0006]本发明为克服现有方法的不足所采用的技术方案是：
说 明 书
1/5页CN 114176607 A
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议