基于脑波数据预训练模型的视觉场景重构方法及存储介质与流程

1.本发明涉及脑波数据处理技术领域，具体涉及一种基于脑波数据预训练模型的视觉场景重构方法及存储介质。

背景技术：

2.脑波(英语：brainwave)亦称"脑电波",脑波是神经元细胞之间传递信息时产生的生物电信号；是大脑皮质中的锥体细胞突触活动时产生的离子交换而产生的电波信号。脑细胞只要是活动就会产生相应的生物电，也是通过这些电通过树突来跟别的脑细胞进行联接，形成思维的网络；在科学应用上能通过仪器检测到的脑波必须由一定数量的神经元细胞活动而产生的，作为频率的不同分为下面几种类型；δ波、θ波、α波、β波、γ波等：根据大脑状态管理的不同把β波在细分为smr波、βl波(低β波)、βh波(高β波)。
3.目前针对脑波的研究包括：脑波状态分析，脑波诱导等。随着技术的深入，人们逐渐探索将大脑活动时的脑波变化转变成图片，这类图片可以是有意义的脑电变化特征图，也可以是视觉刺激图片，也就是人眼看到的图片内容。开展的相关研究大多集中于磁共振成像技术以及脑机接口。这类研究门槛较高，需要专业的设备，而且也处于初步探索阶段。
4.总得来说，现有技术也处于初步探索阶段，所使用的设备成本较高。脑波数据采集不方便，很难形成大规模的数据集，会使深度学习模型的效果打一定的折扣。

技术实现要素：

5.本发明提出的一种基于脑波数据预训练模型的视觉场景重构方法，可至少解决上述技术问题之一。
6.为实现上述目的，本发明采用了以下技术方案：
7.一种基于脑波数据预训练模型的视觉场景重构方法，包括以下步骤，
8.s1、利用预训练编码模块对采集的脑波数据进行编码；
9.s2、利用预训练解码模块根据编码之后的脑波数据生成图像；
10.其中，
11.所述预训练编码模块用于模拟自然语言处理中bert模型的训练方法，基于脑波数据训练出预训练模型，内置到预训练编码模块，用于对脑波数据进行编码；
12.所述预训练解码模块内置预训练的神经网络模型，对编码之后脑波数据进行解码，还原引起该段脑波数据的图像。
13.进一步的，s1中所述利用预训练编码模块对采集的脑波数据进行编码，具体步骤如下：
14.模拟自然语言处理中的bert模型的训练方法，同时对训练任务进行改进，具体如下：
15.s11、脑波数据符号化：
16.首先根据采集设备采集到的数据，表示为x(x1,x2,
…
xn)，得到数据每一个时间步
可能的最大值v
max
和最小值v
min
，将区间[v
min
,v
max
]均匀划分成n个箱，分别使用1～n表示；对于数据中的值xi，如果v
min
《＝xi《＝v
min
+(v
max-v
min
)/n，那么就将xi记为1；如果v
min
+(v
max-v
min
)/n《＝xi《＝v
min
+2*(v
max-v
min
)/n，那么就将xi记为2；以此类推，将x编码为使用1-n表示的序列；
[0017]
s12、符号化数据的embedding过程：
[0018]
将脑波数据处理成符号序列之后，模拟bert的embedding方式；其中：
[0019]
token embeddings是词向量，第一个单词是cls标志，表示数据边界，用于之后的分类任务；
[0020]
segment embeddings用来区别序列预测中的输入输出，序列预测指的是使用前面l1个时间步的数据预测后面l2个时间步的数据；类比于bert中的句子预测；
[0021]
position embeddings表示可以学习得到的位置编码；其相关参数是后续训练任务中可以学习到的；
[0022]
s13、使用bert的网络结构进行改进任务的训练。
[0023]
进一步的，所述s13、使用bert的网络结构进行改进任务的训练，直接使用bert的网络结构，不进行更改，进行如下的两个训练任务：
[0024]
s131、t1：masked语言模型
[0025]
该步骤与原始的bert训练一致；训练过程中，随机mask 15％的token，最终的损失函数只计算被mask掉那个token；
[0026]
s132、t2：句子预测
[0027]
在该步骤中执行序列预测，使用脑波数据中的前l1个时间步的数据预测后l2个时间步的数据。
[0028]
进一步的，所述s2、利用预训练解码模块根据编码之后的脑波数据生成图像，具体包括：
[0029]
用户观察图像，佩戴脑波采集设备，观察图像一定时间，假设l秒；记录脑波数据及对应的图像。
[0030]
进一步的，所述预训练解码模块内置预训练的神经网络模型包括：
[0031]
变换矩阵：一组可训练参数矩阵，该矩阵可以将经过编码的脑波数据转化为一个n*n的矩阵，这个n*n的矩阵代表的是脑波数据中可能存在的状态转移图；可以将该n*n矩阵当做使用矩阵表示图结构，n可以通过调试实验最终确定，选取效果最佳的即可；
[0032]
图卷积层：是一种对图结构数据进行卷积的神经网络结构；
[0033]
反卷积block：反卷积块是用来将gcn层的输出转化为与用户观察图像通道数一致的图像内容的；
[0034]
卷积block：结构中的两个卷积block是相同的，用于提取图像特征；
[0035]
flatten层：结构中的两个flatten层也是相同的，是将图像特征转化为一维向量，方便计算损失函数；
[0036]
损失函数：用平均绝对误差作为损失函数，直接计算flatten层输出的两个向量的平均绝对误差。
[0037]
进一步的，所述预训练解码模块内置预训练的神经网络模型，其训练过程如下：
[0038]
脑波预编码数据经过变换矩阵形成图，在图矩阵上进行图卷积操作，输出结果经
过反卷积block输出一个与用户观察图像通道数一致的图像；卷积block分别对生成的图像和用户观察的图像进行特征提取，经过flatten层转化为一维向量后，计算损失函数，反向传播损失函数，更新模型参数；
[0039]
模型训练完成之后，将变换矩阵、图卷积层、反卷积block三个部分的参数内置到预训练解码模块中即可；当预训练解码模块接收到经过预训练编码模块处理之后的脑波数据之后，即可产生对应的图像。
[0040]
另一方面，本发明的一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
[0041]
由上述技术方案可知，本发明的基于脑波数据预训练模型的视觉场景重构方法具有以下有益效果：
[0042]
1、本发明提供了一种将脑波数据解析为用户观测内容的方法，可以在一定程度上反应出脑波的活动特征；
[0043]
2、本发明预训练类似bert结构的模型，能够充分利用已有的脑波数据，一定程度上解决了脑波数据量较小的问题，对模型的准确性有一定帮助；
[0044]
3、本发明基于图卷积神经网络构建解码模型，能够捕捉脑波数据中状态变化的特征，对于模型的准确度提升有一定的帮助。
附图说明
[0045]
图1是本发明的方法示意图；
[0046]
图2是本发明实施例的符号化数据的embedding过程示意图；
[0047]
图3是本发明预训练的神经网络模型结构示意图。
具体实施方式
[0048]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
[0049]
如图1所示，本实施例所述的基于脑波数据预训练模型的视觉场景重构方法，包括预训练编码模块，预训练解码模块，主要功能和实现方法如下：
[0050]
预训练编码模块：模拟自然语言处理中bert(bidirectional encoder representation from transformers)模型的训练方法，基于脑波数据训练出类似bert的预训练模型，内置到本发明中的预训练编码模块，用于对脑波数据进行编码。
[0051]
预训练解码模块：该模块内置预训练的神经网络模型，对编码之后脑波数据进行解码，还原引起该段脑波数据的图像。
[0052]
工作流程和具体实现如下：
[0053]
s1、预训练编码模块对采集的脑波数据进行编码
[0054]
运行过程中，脑波采集是通过佩戴市面上已有的传统脑波采集设备进行采集即可，一般会持续采集l秒，具体根据实践验证确定。编码时只需要将采集的脑波数据输入到模块内置的预训练编码模型中，模型的输出结果即编码之后的数据。
[0055]
用到的预训练编码模型具体训练过程主要是模拟自然语言处理中的bert模型的
训练方法，同时对训练任务进行改进，具体如下：
[0056]
(1)、脑波数据符号化：
[0057]
首先根据采集设备采集到的数据，表示为x(x1,x2,
…
xn)，得到数据每一个时间步可能的最大值v
max
和最小值v
min
，将区间[v
min
,v
max
]均匀划分成n个箱，分别使用1～n表示。对于数据中的值xi，如果v
min
《＝xi《＝v
min
+(v
max-v
min
)/n，那么就将xi记为1；如果v
min
+(v
max-v
min
)/n《＝xi《＝v
min
+2*(v
max-v
min
)/n，那么就将xi记为2；以此类推，将x编码为使用1-n表示的序列。
[0058]
(2)、符号化数据的embedding过程如图2所示：
[0059]
将脑波数据处理成符号序列之后，模拟bert的embedding方式。其中：
[0060]
token embeddings是词向量，第一个单词是cls标志，表示数据边界，可以用于之后的分类任务。
[0061]
segment embeddings用来区别序列预测中的输入输出，序列预测指的是使用前面l1个时间步的数据预测后面l2个时间步的数据。类比于bert中的句子预测。
[0062]
position embeddings表示可以学习得到的位置编码。其相关参数是后续训练任务中可以学习到的。
[0063]
(1)、使用bert的网络结构进行改进任务的训练。
[0064]
这里直接使用bert的网络结构，不进行更改。进行如下的两个训练任务：
[0065]
1)、t1：masked语言模型
[0066]
该步骤与原始的bert训练一致。训练过程中，随机mask 15％的token，最终的损失函数只计算被mask掉那个token。
[0067]
2)、t2：句子预测
[0068]
该步骤由于脑波数据中不存在所谓的句子，那么就使用常见的序列预测任务代替。也就是在该步骤中执行序列预测，使用脑波数据中的前l1个时间步的数据预测后l2个时间步的数据。
[0069]
s2、预训练解码模块根据编码之后的脑波数据生成图像。
[0070]
该模块关键点在于解码模型的构建，这里结合图神经网络和反卷积操作进行图像的生成。同时维持一个公共的图像特征提取结构，简化损失函数的计算。
[0071]
这里介绍训练数据的获取方法：用户观察图像，佩戴脑波采集设备，观察图像一定时间，假设l秒。记录脑波数据及对应的图像。
[0072]
具体的网络结构如图3中虚线框中所示：
[0073]
如上各模块说明和功能如下：
[0074]
(1)变换矩阵：一组可训练参数矩阵，该矩阵可以将经过编码的脑波数据转化为一个n*n的矩阵，这个n*n的矩阵代表的是脑波数据中可能存在的状态转移图。可以将该n*n矩阵当做使用矩阵表示图结构，n可以通过调试实验最终确定，选取效果最佳的即可。
[0075]
(2)图卷积(gcn，graph convolutional networks)层：是一种对图结构数据进行卷积的神经网络结构。gcn的基本思路：对于每个节点，从它的所有邻居节点处获取其特征信息，当然也包括它自身的特征。假设使用聚合函数。将对所有的节点进行同样的操作。最后，将这些计算得到的平均值输入到神经网络中。
[0076]
(3)反卷积block：反卷积块是用来将gcn层的输出转化为与用户观察图像通道数
一致的图像内容的。理论上其输出就是需要的图像。
[0077]
(4)卷积block：结构中的两个卷积block是相同的，主要功能是提取图像特征。其实现方式可以是将已有的预训练卷积结构嵌入到网络中，也可以在整个网络结构中重新训练。
[0078]
(5)flatten层：结构中的两个flatten层也是相同的，主要是将图像特征转化为一维向量，方便计算损失函数。
[0079]
(6)损失函数：这里用平均绝对误差作为损失函数，直接计算flatten层输出的两个向量的平均绝对误差。
[0080]
具体训练过程为：脑波预编码数据经过变换矩阵形成图(graph)，在图矩阵上进行图卷积操作，输出结果经过反卷积block输出一个与用户观察图像通道数一致的图像。卷积block分别对生成的图像和用户观察的图像进行特征提取，经过flatten层转化为一维向量后，计算损失函数，反向传播损失函数，更新模型参数。
[0081]
模型训练完成之后，只需要将变换矩阵、图卷积层、反卷积block三个部分的参数内置到预训练解码模块中即可。当预训练解码模块接收到经过预训练编码模块处理之后的脑波数据之后，即可产生对应的图像。
[0082]
其中本发明实施例的卷积block的实现方式：可以使用已有的预训练模型微调，也可以随着整个解码模型进行训练。
[0083]
总的来说，本发明提供了一种将脑波数据解析为用户观测内容的方法，可以在一定程度上反应出脑波的活动特征。本发明预训练类似bert结构的模型，能够充分利用已有的脑波数据，一定程度上解决了脑波数据量较小的问题，对模型的准确性有一定帮助。本发明基于图卷积神经网络构建解码模型，能够捕捉脑波数据中状态变化的特征，对于模型的准确度提升有一定的帮助。
[0084]
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述任一方法的步骤。
[0085]
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一方法的步骤。
[0086]
在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一方法的步骤。
[0087]
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
[0088]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram
(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0089]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0090]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：

1.一种基于脑波数据预训练模型的视觉场景重构方法，其特征在于，包括以下步骤，s1、利用预训练编码模块对采集的脑波数据进行编码；s2、利用预训练解码模块根据编码之后的脑波数据生成图像；其中，所述预训练编码模块用于模拟自然语言处理中bert模型的训练方法，基于脑波数据训练出预训练模型，内置到预训练编码模块，用于对脑波数据进行编码；所述预训练解码模块内置预训练的神经网络模型，对编码之后脑波数据进行解码，还原引起该段脑波数据的图像。2.根据权利要求1所述的基于脑波数据预训练模型的视觉场景重构方法，其特征在于：s1中所述利用预训练编码模块对采集的脑波数据进行编码，具体步骤如下：模拟自然语言处理中的bert模型的训练方法，同时对训练任务进行改进，具体如下：s11、脑波数据符号化：首先根据采集设备采集到的数据，表示为x(x1,x2,
…
x
n
)，得到数据每一个时间步可能的最大值v
max
和最小值v
min
，将区间[v
min
,v
max
]均匀划分成n个箱，分别使用1～n表示；对于数据中的值x
i
，如果v
min
<＝x
i
<＝v
min
+(v
max-v
min
)/n，那么就将x
i
记为1；如果v
min
+(v
max-v
min
)/n<＝x
i
<＝v
min
+2*(v
max-v
min
)/n，那么就将x
i
记为2；以此类推，将x编码为使用1-n表示的序列；s12、符号化数据的embedding过程：将脑波数据处理成符号序列之后，模拟bert的embedding方式；其中：token embeddings是词向量，第一个单词是cls标志，表示数据边界，用于之后的分类任务；segment embeddings用来区别序列预测中的输入输出，序列预测指的是使用前面l1个时间步的数据预测后面l2个时间步的数据；类比于bert中的句子预测；position embeddings表示可以学习得到的位置编码；其相关参数是后续训练任务中可以学习到的；s13、使用bert的网络结构进行改进任务的训练。3.根据权利要求2所述的基于脑波数据预训练模型的视觉场景重构方法，其特征在于：所述s13、使用bert的网络结构进行改进任务的训练，直接使用bert的网络结构，不进行更改，进行如下的两个训练任务：s131、t1：masked语言模型该步骤与原始的bert训练一致；训练过程中，随机mask 15％的token，最终的损失函数只计算被mask掉那个token；s132、t2：句子预测在该步骤中执行序列预测，使用脑波数据中的前l1个时间步的数据预测后l2个时间步的数据。4.根据权利要求1所述的基于脑波数据预训练模型的视觉场景重构方法，其特征在于：所述s2、利用预训练解码模块根据编码之后的脑波数据生成图像，具体包括：用户观察图像，佩戴脑波采集设备，观察图像一定时间，假设l秒；记录脑波数据及对应的图像。5.根据权利要求1所述的基于脑波数据预训练模型的视觉场景重构方法，其特征在于：
所述预训练解码模块内置预训练的神经网络模型包括：变换矩阵：一组可训练参数矩阵，该矩阵可以将经过编码的脑波数据转化为一个n*n的矩阵，这个n*n的矩阵代表的是脑波数据中可能存在的状态转移图；可以将该n*n矩阵当做使用矩阵表示图结构，n可以通过调试实验最终确定，选取效果最佳的即可；图卷积层：是一种对图结构数据进行卷积的神经网络结构；反卷积block：反卷积块是用来将gcn层的输出转化为与用户观察图像通道数一致的图像内容的；卷积block：结构中的两个卷积block是相同的，用于提取图像特征；flatten层：结构中的两个flatten层也是相同的，是将图像特征转化为一维向量，方便计算损失函数；损失函数：用平均绝对误差作为损失函数，直接计算flatten层输出的两个向量的平均绝对误差。6.根据权利要求5所述的基于脑波数据预训练模型的视觉场景重构方法，其特征在于：所述预训练解码模块内置预训练的神经网络模型，其训练过程如下：脑波预编码数据经过变换矩阵形成图，在图矩阵上进行图卷积操作，输出结果经过反卷积block输出一个与用户观察图像通道数一致的图像；卷积block分别对生成的图像和用户观察的图像进行特征提取，经过flatten层转化为一维向量后，计算损失函数，反向传播损失函数，更新模型参数；模型训练完成之后，将变换矩阵、图卷积层、反卷积block三个部分的参数内置到预训练解码模块中即可；当预训练解码模块接收到经过预训练编码模块处理之后的脑波数据之后，即可产生对应的图像。7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。

技术总结

本发明的一种基于脑波数据预训练模型的视觉场景重构方法及存储介质，包括利用预训练编码模块对采集的脑波数据进行编码；利用预训练解码模块根据编码之后的脑波数据生成图像；预训练编码模块用于模拟自然语言处理中BERT模型的训练方法，基于脑波数据训练出预训练模型，内置到预训练编码模块，对脑波数据进行编码；预训练解码模块内置预训练的神经网络模型，对编码之后脑波数据进行解码，还原引起该段脑波数据的图像。本发明将脑波数据解析为用户观测内容的方法，可以在一定程度上反应出脑波的活动特征。本发明预训练类似BERT结构的模型，能够充分利用已有的脑波数据，一定程度上解决了脑波数据量较小的问题，对模型的准确性有一定帮助。有一定帮助。