基于视频回溯的连续情绪标注方法、系统和电子设备与流程

1.本发明涉及情感脑机接口技术领域，尤其涉及一种基于视频回溯的连续情绪标注方法、系统和电子设备。

背景技术：

2.情绪是人类日常生活中重要的组成部分，它能反映人的认知状况、影响人的心理、行为。随着人工智能领域和人机交互的飞速发展，有更多领域的更加人性化的智能助手来辅助人们的生活。为了进一步提高使用体验，会让智能助手具有理解人类情绪的能力。为了使其能够学习到人类在不同状态下的情绪，就需要足够的人类在不同状态下的带有情绪标注的脑电信号来学习，其中，脑电信号是人类重要的中枢神经系统的生理信号，且具有较强的情绪表征能力。
3.通常利用情绪诱发来获取人们的带有情绪的脑电信号，其中，情绪诱发是社会心理学实验中利用情绪诱发素材激活被试人的相应情绪。通常会让被试者观看视频或图片，在观看的过程中采集被试者的脑电及其他模态的生理信号。被试者在观看完一段视频素材后通过问卷量表填写对于视频素材的主观感受，一般只记录一个分值。这个分值或这段视频本身自带的标签属性将作为整段脑电及其他生理信号数据对应的标签，例如，给被试者观看快乐情绪的视频，被试者观看完视频后的主观感受评价的分值较高，此时将被试者观看快乐情绪的视频的脑电信号标注为快乐情绪标签。
4.在实现本发明过程中，发明人发现相关技术中至少存在如下问题：
5.对于一段视频来说，使用单一情绪离散标签概括3-5分钟的情绪变化，由于人在观看视频的过程中并不会始终保持相同的情绪，这会导致部分数据的标签错误或分数误差较大。即只有在部分时间段中，给出的离散标签才能代表被试的情绪状态，其他时间的情绪状态则不能使用这个离散标签进行描述。而使用一次性的效价、唤醒度、优势度打分，同样会导致很大一部分的真实情绪状态的分数误差较大。这些方式都将直接导致模型的输入数据存在较多的标签噪声，从而使模型不能够学习到数据中和情绪相关的部分。具体的，视频可能并不只会给人们带来一种情绪，例如“气到发笑”、“乐极生悲”、“感动到哭”的视频。假设被试者观看快乐情绪标签的“过年”视频，理想情况下，被试者此时的脑电信号的情绪标注应该为快乐情绪。在“过年”视频播放过程中，被试者感受到了过年的喜庆和快乐，然而在“过年”视频的结尾部分，视频进行了感情升华，此时被试者不幸因某些原因没有回家过年，无法与家人团聚，此时一丝辛酸悲伤涌上心头。此时被试者的脑电信号中既有快乐情绪，又有在结尾部分的悲伤情绪。如果将该脑电信号标注为快乐情绪标签是不准确的，利用情绪标签不准确的脑电信号训练的模型也难以准确识别人类情绪，使模型的学习能力较低。

技术实现要素：

6.为了至少解决现有技术脑电信号情绪标注的问题。第一方面，本发明实施例提供一种基于视频回溯的连续情绪标注方法，包括：
7.利用诱发模块从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放，通过脑电信号收集模块采集所述被试者观看所述诱发素材时的脑电信号；
8.通过特征提取模块从所述脑电信号中提取频域信号的能量谱，基于所述能量谱确定线性平滑的连续脑电特征；
9.在所述被试者观看所述诱发素材结束后，利用视频回溯模块引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注，通过情绪标注模块记录所述被试者标注的与所述诱发素材时间对应的情绪诱发程度；
10.基于所述连续脑电特征以及所述情绪诱发程度确定所述诱发素材的连续情绪标注。
11.第二方面，本发明实施例提供一种基于视频回溯的连续情绪标注系统，包括：
12.视频诱发模块，用于从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放；
13.脑电信号收集模块，用于采集所述被试者观看所述诱发素材时的脑电信号；
14.预处理模块，用于对所述脑电信号进行预处理；
15.特征提取模块，用于从所述脑电信号中提取频域信号的能量谱，基于所述能量谱确定线性平滑的连续脑电特征；
16.视频回溯模块，用于引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注；
17.情绪标注模块，用于记录所述被试者标注的与所述诱发素材时间对应的情绪诱发程度，基于所述连续脑电特征以及所述情绪诱发程度确定所述诱发素材的连续情绪标注。
18.第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于视频回溯的连续情绪标注方法的步骤。
19.第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的基于视频回溯的连续情绪标注方法的步骤。
20.本发明实施例的有益效果在于：采用连续情绪标注方法使情绪与视频实时对应，连续情绪标签可以反馈被试情绪的连续波动，使确定的情绪标签更加准确，降低情绪标注的误差，使得在脑电及其他生理信号对情绪诱发的研究中，使用本方法的情绪标注进行训练能够有效提高模型对情绪识别的准确性。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是本发明一实施例提供的一种基于视频回溯的连续情绪标注方法的流程图；
23.图2是本发明一实施例提供的一种基于视频回溯的连续情绪标注方法的一名被试
者的连续情绪标注结果示意图；
24.图3是本发明一实施例提供的一种基于视频回溯的连续情绪标注方法的多名被试者的连续情绪标注结果示意图；
25.图4是本发明一实施例提供的一种基于视频回溯的连续情绪标注方法的基于阈值对数据筛选前后各被试者不同频带的分类数据图；
26.图5是本发明一实施例提供的一种基于视频回溯的连续情绪标注系统的结构示意图；
27.图6为本发明一实施例提供的一种基于视频回溯的连续情绪标注的电子设备的实施例的结构示意图。
具体实施方式
28.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.如图1所示为本发明一实施例提供的一种基于视频回溯的连续情绪标注方法的流程图，包括如下步骤：
30.s11：利用诱发模块从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放，通过脑电信号收集模块采集所述被试者观看所述诱发素材时的脑电信号；
31.s12：通过特征提取模块从所述脑电信号中提取频域信号的能量谱，基于所述能量谱确定线性平滑的连续脑电特征；
32.s13：在所述被试者观看所述诱发素材结束后，利用视频回溯模块引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注，通过情绪标注模块记录所述被试者标注的与所述诱发素材时间对应的情绪诱发程度；
33.s14：基于所述连续脑电特征以及所述情绪诱发程度确定所述诱发素材的连续情绪标注。
34.在本实施方式中，考虑到现有技术的情绪标注通常是在情绪诱发过程中让被试者使用打标器进行实时的情绪状态汇报。这种方法虽然能够做到实时标记被试者自身的情绪状态，但这相当于在情绪采集的过程中又附加给了被试者另一个标注任务，往往会影响被试者情绪的诱发。为了避免在情绪诱发时对被试者的影响，本方法配置男女比例均等、身心健康且无精神疾病的多名被试者(例如，以8名被试者为例)。使被试者静坐在独立房间中，室内温度湿度保持适宜，通过电脑显示器播放情绪诱发视频，供被试者观看。
35.对于步骤s11，利用诱发模块从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放。其中，所述情绪诱发素材库由从互联网收集的视频素材构建。
36.具体的，可以通过互联网收集情绪诱发视频素材，例如，爬取社交论坛的视频片段，视频片段时长可以设置为1-5分钟，视频素材以电影、电视剧、纪录片为主，其中，电影、电视剧、纪录片属于动态素材，其具有情绪强烈、丰富，诱发效果显著的优点。这些收集的不同视频片段可诱发普通人多样的情绪感受。
37.将收集到的众多视频素材交由不同年龄段体的不参与情绪诱发的无关人员打
分(也就是在情绪诱发素材的打分过程中，被试者是不参与的)。为了节省人工成本，也可以基于采集视频片段下面的评论、弹幕、留言内容对能激起个人情绪的程度进行打分，例如，统计关键字“哈哈”、“真气人”、“泪目”等不同情绪类别(快乐、悲伤、厌恶、恐惧、惊讶和愤怒)词语所占比例，来对视频能激起个人情绪的程度进行打分。
38.根据视频能激起个人情绪的程度进行打分，选取视频中诱发程度高者，及诱发程度低者(代表中性情绪)组成情绪诱发视频素材库。诱发模块从情绪诱发视频素材库中选取视频，来激活被试者的三种情绪，包括负向情绪、中性情绪、正向情绪。
39.脑电信号收集模块可以基于esi neuroscan湿电极脑电帽采集被试者的脑电信号，esi neuroscan湿电极脑电帽可以以1000hz频率采集被试者在观看每段视频素材时的脑电信号，得到被试者观看所述诱发素材时的脑电信号。
40.对于步骤s12，特征提取模块可以用定长的汉宁窗口对上述得到的脑电信号上执行快速傅里叶变换，计算得到时间、频率域上的频谱。
41.作为一种实施方式，通过特征提取模块对所述脑电信号进行快速傅里叶变换，将所述脑电信号的时域信号转变为多个频域信号，基于所述多个频域信号的频谱确定对应的能量谱；
42.计算所述能量谱的微分熵特征，对所述微分熵特征进行线性动力系统平滑处理，得到线性平滑的连续脑电特征。
43.所述多个频域信号的频谱包括：delta频谱、theta频谱、alpha频谱、beta频谱、gamma频谱。
44.在本实施方式中，应用傅里叶变换的目的是可将时域(时间域)上的信号转变为不同频域(频率域)上的信号。可基于下述公式进行变换：
[0045][0046]
其中，ω代表频率，t代表时间，e-iwt
代表复变函数。
[0047]
利用变换的多个频域信号的delta频谱、theta频谱、alpha频谱、beta频谱、gamma频谱确定对应的能量谱，其中，第k频率ωk的能量谱的计算方式如下：
[0048]
e(ωk)＝x(ωk)x
*
(ωk)
[0049]
其中，x(
●
)表示原始信号，x
*
(
●
)表示所述x(
●
)的共轭函数。
[0050]
通过上述公式确定的能量谱计算作为脑电特征的微分熵特征，通过能量谱计算微分熵特征h(x)的计算公式为：
[0051]
h(x)＝-∫
x
f(x)log f(x)dx
[0052]
其中，x是一个随机变量，f(x)是x的概率密度函数。
[0053]
对上述确定的微分熵特征进行特征平滑处理，得到线性平滑的连续脑电特征。
[0054]
作为一种实施方式，为了进一步提升连续脑电特征的精确性，在所述通过特征提取模块从所述脑电信号中提取频域信号的能量谱之前，所述方法还包括：
[0055]
通过滤波去除所述脑电信号中的50hz交流电源噪音以及利用1-75hz带通滤波器去除所述脑电信号中的无效信号，得到滤波处理后的脑电信号；
[0056]
对所述滤波处理后的脑电信号进行坏导联的标记及修复，并去除眼电、肌电噪音，得到预处理后的脑电信号。
[0057]
在本实施方式中，将原始脑电信号降采样至200hz，进行1-50hz带通滤波处理去除交流电源噪音，并利用1-75hz带通滤波器过滤低频、高频无效信息，同时过滤交流电源噪音。对滤波处理后的脑电信号进行通用的坏导联的标记及修复，并基于ica(independent component analysis，独立成分分析)算法去除眼电、肌电噪音。进一步地保证后续步骤中脑电特征的精确。
[0058]
对于步骤s13，在所述被试者观看所述诱发素材结束，停止脑电采集后，利用视频回溯模块引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注，例如，可以对脑电信号进行0-5之间的得分(可以不为整数)，在回溯期间，被试者可以通过控制音量旋钮和倍速旋钮控制回溯视频的音量和播放速度，支持最大播放速度为1.25-8倍。提高被试者连续打分标注的效率。被试者可以随时开始、停止。如若被试者想对已经标注的片段进行修改，可以通过视频进度条回到想要修改的位置，对想要修改的时间片段进行修改。
[0059]
作为一种实施方式，引导所述被试者利用鼠标滚轮主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注；
[0060]
所述情绪标注模块记录所述被试者利用鼠标滚轮标注的与所述诱发素材时间对应的情绪诱发程度的水平曲线。
[0061]
在本实施方式中，为了进一步提升被试者打分标注的便捷和效率，考虑到被试者需要对诱发素材的回溯视频进行情绪诱发的连续打分标注，如果被试者不断连续打分，被试者需要进行大量的打分标注操作，而且效率很低，且相邻脑电的得分容易发生跳变。为了解决上述问题，可以引导被试者利用鼠标滚轮进行连续打分标注。具体的，回溯视频与连续打分标注同时进行，起始鼠标滚轮默认在0分，被试者在回溯视频过程中，上下滑动鼠标滚轮，线性的调整情绪诱发的得分(0-5分，可以不为整数)，得到与诱发素材时间对应的情绪诱发程度的水平曲线。当完成一段回溯视频的标注后，自动地对标注的情绪诱发曲线进行存储。
[0062]
对于步骤s14，将连续脑电特征直接与对应情绪的支持向量机进行分类，得到各情绪类别预测准确率。并且进一步地利用与连续脑电特征对应的情绪诱发程度的水平曲线筛选出高诱发的脑电，例如，以2.5为阈值筛选出高诱发的脑电数据，针对每名被试者的标注进行数据筛选。得到准确的诱发素材的连续情绪标注，可以准确的确定出更多的情绪标注，减少情绪标注的噪声。如图2所示为一名被试者在15段视频的连续情绪标注结果，其中r表示高兴视频片段，g表示中性情绪片段，b表示悲伤情绪片段。
[0063]
为了进一步确定本方法连续情绪标注的准确性以及使用本方法获得连续情绪标注的实际使用效果，例如，诱发模块从情绪诱发素材库中选取了15段视频向被试者进行播放。统一使用后6段视频中经过筛选后的脑电数据作为测试集，以保持结果比较的公平性。训练集则分别采用筛选前和筛选后的数据进行模型训练以便于对照，具体地，使用前6段视频数据作为训练集，中间3段作为验证集，模型使用线性支持向量机。如图3所示，同一段视频对不同被试者的情绪诱发既存在统一性也存在差异性。对于某些视频情节，所有被试者都认为得到了很好的诱发，但对于其他时间的情节不同的被试者则存在不同的情绪感受。
[0064]
如图4所示，给出了8名被试者的交叉验证平均预测准确率，带线性核的支撑向量机(svm)的对比标准。可以看到，无论是在单一频段还是在全频段，使用高诱发脑电训练的
模型都能取得更好的效果，特别是对于低频段脑电的分类提升更为明显。
[0065]
通过该实施方式可以看出，采用连续情绪标注方法使情绪与视频实时对应，连续情绪标签可以反馈被试情绪的连续波动，使确定的情绪标签更加准确，降低情绪标注的误差，使得在脑电及其他生理信号对情绪诱发的研究中，使用本方法的情绪标注进行训练能够有效提高模型对情绪识别的准确性。
[0066]
如图5所示为本发明一实施例提供的一种基于视频回溯的连续情绪标注系统的结构示意图，该系统可执行上述任意实施例所述的基于视频回溯的连续情绪标注方法，并配置在终端中。
[0067]
本实施例提供的一种基于视频回溯的连续情绪标注系统10包括：视频诱发模块11，脑电信号收集模块12，预处理模块13，特征提取模块14，视频回溯模块15和情绪标注模块16。
[0068]
其中，视频诱发模块11用于从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放；脑电信号收集模块12用于采集所述被试者观看所述诱发素材时的脑电信号；预处理模块13用于对所述脑电信号进行预处理；特征提取模块14用于从所述脑电信号中提取频域信号的能量谱，基于所述能量谱确定线性平滑的连续脑电特征；视频回溯模块15用于引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注；情绪标注模块16用于记录所述被试者标注的与所述诱发素材时间对应的情绪诱发程度，基于所述连续脑电特征以及所述情绪诱发程度确定所述诱发素材的连续情绪标注。
[0069]
本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于视频回溯的连续情绪标注方法；
[0070]
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
[0071]
利用诱发模块从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放，通过脑电信号收集模块采集所述被试者观看所述诱发素材时的脑电信号；
[0072]
通过特征提取模块从所述脑电信号中提取频域信号的能量谱，基于所述能量谱确定线性平滑的连续脑电特征；
[0073]
在所述被试者观看所述诱发素材结束后，利用视频回溯模块引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注，通过情绪标注模块记录所述被试者标注的与所述诱发素材时间对应的情绪诱发程度；
[0074]
基于所述连续脑电特征以及所述情绪诱发程度确定所述诱发素材的连续情绪标注。
[0075]
作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的基于视频回溯的连续情绪标注方法。
[0076]
图6是本技术另一实施例提供的基于视频回溯的连续情绪标注方法的电子设备的硬件结构示意图，如图6所示，该设备包括：
[0077]
一个或多个处理器610以及存储器620，图6中以一个处理器610为例。基于视频回
溯的连续情绪标注方法的设备还可以包括：输入装置630和输出装置640。
[0078]
处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。
[0079]
存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中的基于视频回溯的连续情绪标注方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例基于视频回溯的连续情绪标注方法。
[0080]
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至移动装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0081]
输入装置630可接收输入的数字或字符信息。输出装置640可包括显示屏等显示设备。
[0082]
所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行上述任意方法实施例中的基于视频回溯的连续情绪标注方法。
[0083]
上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本技术实施例所提供的方法。
[0084]
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0085]
本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于视频回溯的连续情绪标注方法的步骤。
[0086]
本技术实施例的电子设备以多种形式存在，包括但不限于：
[0087]
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。
[0088]
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如平板电脑。
[0089]
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
[0090]
(4)其他具有数据处理功能的电子装置。
[0091]
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0092]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0093]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0094]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：

1.一种基于视频回溯的连续情绪标注方法，包括：利用诱发模块从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放，通过脑电信号收集模块采集所述被试者观看所述诱发素材时的脑电信号；通过特征提取模块从所述脑电信号中提取频域信号的能量谱，基于所述能量谱确定线性平滑的连续脑电特征；在所述被试者观看所述诱发素材结束后，利用视频回溯模块引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注，通过情绪标注模块记录所述被试者标注的与所述诱发素材时间对应的情绪诱发程度；基于所述连续脑电特征以及所述情绪诱发程度确定所述诱发素材的连续情绪标注。2.根据权利要求1所述的方法，其中，在所述通过特征提取模块从所述脑电信号中提取频域信号的能量谱之前，所述方法还包括：通过滤波去除所述脑电信号中的50hz交流电源噪音以及利用1-75hz带通滤波器去除所述脑电信号中的无效信号，得到滤波处理后的脑电信号；对所述滤波处理后的脑电信号进行坏导联的标记及修复，并去除眼电、肌电噪音，得到预处理后的脑电信号。3.根据权利要求1所述的方法，其中，所述通过特征提取模块从所述脑电信号中提取频域信号的能量谱，基于所述能量谱确定线性平滑的连续脑电特征包括：通过特征提取模块对所述脑电信号进行快速傅里叶变换，将所述脑电信号的时域信号转变为多个频域信号，基于所述多个频域信号的频谱确定对应的能量谱；计算所述能量谱的微分熵特征，对所述微分熵特征进行线性动力系统平滑处理，得到线性平滑的连续脑电特征。4.根据权利要求3所述的方法，其中，所述多个频域信号的频谱包括：delta频谱、theta频谱、alpha频谱、beta频谱、gamma频谱。5.根据权利要求1所述的方法，其中，所述利用视频回溯模块引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注包括：引导所述被试者利用鼠标滚轮主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注；所述情绪标注模块记录所述被试者利用鼠标滚轮标注的与所述诱发素材时间对应的情绪诱发程度的水平曲线。6.根据权利要求5所述的方法，其中，所述基于所述连续脑电特征以及所述情绪诱发程度确定所述诱发素材的连续情绪标注包括：对所述连续脑电特征进行情绪分类，得到被试者观看诱发素材期间的连续情绪类别；基于与所述诱发素材时间对应的情绪诱发程度的水平曲线确定所述连续情绪类别的得分，将所述得分高于预设阈值的连续情绪类别对所述诱发素材进行标注。7.根据权利要求1所述的方法，其中，所述情绪诱发素材库由从互联网收集的视频素材构建。8.一种基于视频回溯的连续情绪标注系统，包括：视频诱发模块，用于从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放；
脑电信号收集模块，用于采集所述被试者观看所述诱发素材时的脑电信号；预处理模块，用于对所述脑电信号进行预处理；特征提取模块，用于从所述脑电信号中提取频域信号的能量谱，基于所述能量谱确定线性平滑的连续脑电特征；视频回溯模块，用于引导所述被试者主动对所述诱发素材的回溯视频进行情绪诱发的连续打分标注；情绪标注模块，用于记录所述被试者标注的与所述诱发素材时间对应的情绪诱发程度，基于所述连续脑电特征以及所述情绪诱发程度确定所述诱发素材的连续情绪标注。9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述方法的步骤。10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

技术总结

本发明实施例提供一种基于视频回溯的连续情绪标注方法、系统和电子设备。该方法包括：利用诱发模块从情绪诱发素材库中选取多种情绪的诱发素材向被试者进行播放，通过脑电信号收集模块采集被试者观看诱发素材时的脑电信号；通过特征提取模块从脑电信号确定线性平滑的连续脑电特征；利用视频回溯模块引导被试者主动对诱发素材的回溯视频进行情绪诱发的连续打分标注，情绪标注模块记录被试者标注与诱发素材时间对应的情绪诱发程度；基于连续脑电特征以及情绪诱发程度确定诱发素材的连续情绪标注。本发明实施例采用连续情绪标注方法使情绪与视频实时对应，连续情绪标签可以反馈被试情绪的连续波动，使确定的情绪标签更加准确，降低情绪标注的误差。降低情绪标注的误差。降低情绪标注的误差。