基于驾驶任务的多模态融合情绪障碍检测装置及方法

1.本发明属于情绪障碍检测技术领域，涉及一种基于驾驶任务的多模态融合情绪障碍检测装置及方法。

背景技术：

2.抑郁情绪障碍、躁狂情绪障碍以及双相情绪障碍都属于情绪障碍，在一些特殊行业，特殊的岗位，具有情绪障碍的人员将无法担任岗位职责，不但会给企业带来损害，甚至还会给自身带来伤害。因此，在上岗之前需要对其情绪进行检测，其中：抑郁情绪障碍通常表现的“三低”，包括:目光注意力迟滞、思维反应迟缓与情绪表情低落特征；躁狂情绪障碍通常表现的“三高”，包括：意志行为亢奋、思维奔放活跃与情绪表情高涨；双相情绪障碍通常表现的有时“三低”有时“三高”，或二者同时出现。
3.对于特殊岗位，这样的情绪障碍均需在上岗之前进行筛选，现有的检测通常需要待上岗人员前往专业机构进行检测，并在专业检测人员的陪同下进行检测，其检测方法是使用诸如dsm-v情绪量表对待上岗人员进行情绪障碍评测，这一方法耗时耗力，导致人力成本较大，且检测效率较低；此外，其检测结果也属人为主观判断，随机性较大，没有统一的标准，检测流程模态单一，导致检测结果的准确率较低。

技术实现要素：

4.本发明的目的是提供一种基于驾驶任务的多模态融合情绪障碍检测装置及方法，以解决对于特殊岗位，对待上岗人员进行情绪障碍检测时，现有的情绪障碍检测人力成本大、检测效率低且准确率低的技术问题。
5.为了达到上述目的，本发明提供了一种基于驾驶任务的多模态融合情绪障碍检测装置，其特殊之处在于：包括模拟驾驶舱、数据采集单元、数据处理单元以及供电单元；
6.所述模拟驾驶舱用于为被检测者模拟真实的驾驶环境；
7.所述数据采集单元包括麦克风、红外灯组、红外光摄像头、3d深度激光摄像头、可见光摄像头以及多个电极探头；多个所述电极探头用于分布在被检测者头部获取被检测者脑部数据；所述麦克风用于获取被检测者的声音数据；所述红外灯组用于向被检测者眼球照射红外光点；所述红外光摄像头用于实时捕捉被检测者瞳孔中心相对所述红外光点的眼动数据；所述可见光摄像头用于捕捉被检测者面部照片；所述3d深度激光摄像头用于从面部照片中抠取面部表情图片；
8.所述数据处理单元分别与所述麦克风、红外灯组、红外光摄像头、3d深度激光摄像头、可见光摄像头和电极探头电连接，用于处理所述脑部数据、声音数据、眼动数据以及面部表情图片；
9.所述供电单元分别所述麦克风、红外灯组、红外光摄像头、3d深度激光摄像头、可见光摄像头和电极探头以及数据处理单元电连接，用于向所述数据采集单元和数据处理单元供电。
10.进一步地，还包括存储单元；
11.所述存储单元所述麦克风、红外灯组、红外光摄像头、3d深度激光摄像头、可见光摄像头、电极探头、以及所述供电单元电连接，用于存储所述声音数据、眼动数据、脑部数据以及面部表情图片。
12.进一步地，还包括用于被检测者佩戴的头盔；
13.多个所述电极探头均匀分布在所述头盔的内壁上；
14.所述数据处理单元和供电单元安装在所述头盔的内壁一侧；
15.所述头盔的外壁上设有调节支架；
16.所述调节支架一端与头盔连接，另一端指向被检测者面部；
17.所述麦克风、红外灯组、红外光摄像头、3d深度激光摄像头以及可见光摄像头均设置在所述调节支架的另一端。
18.进一步地，所述调节支架的另一端设置有圆形的安装盘；
19.所述红外灯组包括设置在所述安装盘上的多个红外灯，多个所述红外灯圆周分布在所述安装盘上，形成红外灯圈；所述麦克风、红外光摄像头、3d深度激光摄像头和可见光摄像头安装在所述安装盘上，且位于所述红外灯圈内。
20.进一步地，所述模拟驾驶舱包括座椅、环绕式显示屏、方向盘、油门和刹车；
21.所述座椅用于被检测者乘坐；
22.所述环绕式显示屏绕所述座椅设置，用于模拟显示车辆的挡风玻璃、挡风玻璃外的路况情景、车内仪表盘信息以及后视镜信息；
23.所述方向盘设置在所述座椅和显示屏之间，用于被检测者把握；
24.所述油门和刹车并排设置在所述显示屏下方，用于被检测者踩踏。
25.本发明还提供了一种基于驾驶任务的多模态融合情绪障碍检测方法，基于上述的基于驾驶任务的多模态融合情绪障碍检测装置，其特殊之处在于，包括：
26.步骤1、在驾驶舱内向被检测者展示模拟路况，同时通过以下三种方式分别对被检测者的情绪障碍进行初步判定：
27.方式一、通过电极探头采集被检测者的脑部数据，基于脑部数据对待测者的情绪障碍进行初步判定；
28.方式二、通过红外灯组和红外光摄像头采集被检测者的眼动数据，基于眼动数据对被检测者的情绪障碍进行初步判定；
29.方式三、通过麦克风采集待测者的声音数据，并通过可见光摄像头和3d深度激光摄像头采集被检测者的面部表情图片，基于所述声音数据及面部表情图片对被检测者的情绪障碍进行初步判定；
30.步骤2、对比三种方式的三个初步判定结果，以确定最终判定结果，所述初步判定结果包括情绪正常、抑郁情绪障碍倾向和躁狂情绪障碍倾向：
31.若三个初步判定结果均情绪正常，则确定最终判定结果为情绪正常；
32.若三个初步判定结果中至少一个初步判定结果满足情绪障碍，且初步判定结果一致，则确定最终判定结果为躁狂情绪障碍倾向或抑郁情绪障碍倾向；
33.若三个初步判定结果中至少两个初步判定结果满足情绪障碍，且初步判定结果各异，则确定最终判定结果为双相情绪障碍。
34.进一步地，步骤2还包括情绪障碍程度判定：
35.当三个初步判定结果中有且只有一个初步判定结果满足情绪障碍，则判定被检测者情绪障碍程度为轻度；
36.当三个初步判定结果中有且只有两个初步判定结果满足情绪障碍，则判定被检测者情绪障碍程度为中度；
37.当三个初步判定结果全部满足情绪障碍，则判定被检测者情绪障碍程度为重度。
38.进一步地，步骤1中，方式二具体包括：
39.b1、通过红外灯组向被检测者眼球照射红外光点，基于红外光点建立坐标系；
40.b2、通过红外光摄像头实时捕捉被检测者瞳孔中心点在所述坐标系中的眼动数据离散点；
41.b3、根据所述眼动数据离散点生成维诺图；
42.b4、计算所述维诺图中每个多边形区域面积与所有多边形区域面积均值的百分比，获得每个多边形区域的归一化值；
43.b5、根据所有归一化值形成频率分布直方图，使用伽玛分布来拟合累计分布得到分散系数alpha；
44.b6、根据分散系数alpha对被检测者情绪障碍进行初步判定；
45.当alpha《0.2时，则初步判定结果满足抑郁情绪障碍；
46.当0.2≤alpha≤0.5时，则初步判定结果为情绪正常；
47.当alpha》0.5时，则初步判定结果满足躁狂情绪障碍。
48.进一步地，步骤1中，方式一具体包括：
49.a1、通过多个电极探头采集被检测者大脑产生的p300诱发电位事件反应的时间延迟信息t与峰值信息h；
50.a2、基于大脑产生p300诱发电位事件反应的时间延迟信息t与峰值信息h对被检测者情绪障碍倾向进行初步判定；
51.当时间延迟信息t《150ms且h》1.5h时，则初步判定结果满足躁狂情绪障碍；
52.当150ms≤t≤350ms且0.8h≤h≤1.5h时，则为初步判定结果为情绪正常；
53.当t》350ms且h《0.8h时，则为初步判定结果满足抑郁情绪障碍。
54.进一步地，步骤1中，方式三具体包括：
55.c1、建立情绪障碍数据集与情绪障碍倾向之间的映射关系，基于所述映射关系搭建拓展卷积神经网络；所述情绪障碍数据集包括面部表情图片和二维频域信息；
56.c2、通过麦克风采集被检测者模拟驾驶过程中的声音数据，并通过可见光摄像头和3d深度激光摄像头采集被检测者面部表情图片；
57.c3、将采集到的声音数据使用离散余弦变换进行处理，获取时间与频率的二维时频图；
58.c4、基于时间关系将所述面部表情图片与所述二维时频图进行匹配，得到被检测者的情绪障碍数据集；
59.c5、将步骤c4得到的被检测者的情绪障碍数据集传入步骤c1搭建的拓展卷积神经网络进行情绪障碍判定；
60.c6、输出被检测者的情绪障碍的初步判定结果；所述情绪障碍包括情绪正常、抑郁
情绪障碍、躁狂情绪障碍。
61.本发明的有益效果：
62.1、本发明提供的基于驾驶任务的多模态融合情绪障碍检测装置，是基于驾驶任务的特殊性，即注意力视线需要兼顾前方道路信息与仪表盘信息，大脑思维需要操作方向盘与油门刹车来对前方车辆状况做出及时反应，同时考验被检测者面对驾驶任务时的情绪控制表达。因此设置了电极探头、麦克风、红外灯组、红外光摄像头、3d深度激光摄像头、可见光摄像头，采集被检测者驾驶过程中的脑部数据、声音数据、眼动数据以及面部表情图片，以此对被检测者的注意力机制分布、思维反应能力以及情绪控制能力进行综合判定，无需人工参与，这样降低了特殊行业、特殊岗位的人员筛选成本，即降低了情绪障碍检测成本，还能避免人为主观判定的不确定性。
63.2、本发明提供的基于驾驶任务搭建的多模态融合情绪障碍检测装置，能够同时采集被检测者的脑部数据、声音数据、眼动数据以及面部表情图片，同时获取多个研究维度，与传统的人为检测相比，能够集成多个功能，以检测被检测者的多模态数据，无需重复频繁的进行不同模态实验，能够快速且准确的得到判定结果。
64.3、本发明提供的基于驾驶任务的多模态融合情绪障碍检测装置可以设置为统一的集成化设备，确保检测环境一致，硬件设备一致，控制变量一致，检测标准一致。
65.4、本发明提供的基于驾驶任务的多模态融合情绪障碍检测装置可以对抑郁情绪障碍、躁狂情绪障碍以及双相情绪障碍进行同时进行检测区分。
66.5、本发明提供的基于驾驶任务的多模态融合情绪障碍检测装置及方法，通过眼动追踪、脑部数据处理以及情绪识别技术分别考察被检测者的注意力机制分布、思维反应能力以及情绪表达，并进行综合判断，以确定被检测者的情绪障碍倾向，该方法依靠本发明提供的多模态融合情绪障碍检测装置进行，降低人工成本，检测流程快速规范，提高了检测效率，使得检测结果统一化，并提高了检测结果的准确率。
附图说明
67.图1是本发明一种基于驾驶任务的多模态融合情绪障碍检测装置的实施例结构示意图；
68.图2是本发明实施例中头盔的结构示意图；
69.图3是本发明基于驾驶任务的多模态融合情绪障碍检测方法的流程图；
70.图4是本发明实施例中获取的眼动数据离散点示意图；
71.图5是本发明实施例中根据眼动数据离散点生成的维诺图；
72.图6是本发明实施例中vgg16神经网络基本结构；
73.图7是本发明实施例中扩展卷积算法示意图；
74.其中(a)为dilated＝1，(b)为dilated＝21，(c)为dilated＝22，代表着扩张率dilation rate参数的设置，白圆点代表普通卷积网络参数，阴影区域为感受野范围，可以看出在参数量保持一致的情况下，通过拓展卷积大幅度提升感受野范围，使得网络训练在参数量不变，从而可以获得更高的分类准确率。
75.附图标号：
76.1-数据采集单元，11-麦克风，12-红外灯组，13-红外光摄像头，14-3d深度激光摄
像头，15-可见光摄像头，16-电极探头，2-数据处理单元，3-供电单元，4-存储单元，5-头盔，51-调节支架，61-座椅，62-显示屏，63-方向盘，64-油门，65-刹车。
具体实施方式
77.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
78.抑郁情绪障碍、躁狂情绪障碍以及双相情绪障碍都属于情绪障碍，双相情绪障碍与抑郁情绪障碍、躁狂情绪障碍不同，双相情绪障碍是指被检测者有非常显著而且持久的情绪问题，某一阶段表现出很明显的抑郁状态，其他阶段又会表现出躁狂状态，这两个极端表现出现在同一被检测者身上。除了会单独出现抑郁情绪障碍或躁狂情绪障碍之外，还会混合出现，即抑郁情绪障碍和躁狂情绪障碍可同时出现，通常出现在抑郁情绪障碍与躁狂情绪障碍快速转相时，一般持续时间较短，多数较快转入躁狂相或抑郁相。
79.驾驶任务与情绪息息相关，在面对比诸如交通拥堵、恶劣天气、其他司机的野蛮驾驶行为等状况时，驾驶员的躁狂情绪障碍容易被激发；除此之外，驾驶任务还会出现受抑郁情绪障碍影响，注意力无法集中以及思维反应迟缓导致的车辆事故发生，由此驾驶任务可以很好的检验个体的情绪障碍倾向。
80.驾驶员在驾驶过程中，其注意力视线需要兼顾前方道路信息与仪表盘信息，大脑思维需要操作方向盘与油门刹车来对前方车辆状况做出及时反应，同时考验驾驶员面对驾驶任务时的情绪控制表达。因此驾驶任务可以综合检测个体的注意力机制分布、思维反应能力以及情绪控制能力，分别对应着抑郁情绪障碍、躁狂情绪障碍以及双相情绪障碍。
81.为此，本发明实施例提供了一种基于驾驶任务的多模态融合情绪障碍检测装置，可以包括模拟驾驶舱、数据采集单元1、数据处理单元2、供电单元3以及存储单元4；
82.图1是本发明一种基于驾驶任务的多模态融合情绪障碍检测装置的实施例结构示意图，如图1所示，模拟驾驶舱用于为被检测者模拟真实的驾驶环境；模拟驾驶舱包括座椅61、环绕式显示屏62、方向盘63、油门64和刹车65；座椅61用于被检测者乘坐；环绕式显示屏62绕座椅61设置，用于模拟显示车辆的挡风玻璃、挡风玻璃外的路况情景、车内仪表盘信息以及后视镜信息等；方向盘63设置在座椅61和显示屏62之间，用于被检测者把握；油门64和刹车65并排设置在显示屏62下方，用于被检测者踩踏。
83.数据采集单元1包括麦克风11、红外灯组12、红外光摄像头13、3d深度激光摄像头14、可见光摄像头15以及128个电极探头16；此外，还包括用于被检测者佩戴的头盔5。图2是本发明实施例中头盔的结构示意图，如图2所示，128个电极探头16均匀镶嵌在头盔5的内壁上，以遍布在被检测者大脑的各个区域，用于获取被检测者的脑部数据，包含大脑皮层激活状态的事件相关电位生理信号采集与检测过程中整体的脑电波数据；头盔5的外壁上设有调节支架51；调节支架51一端与头盔5连接，另一端指向被检测者面部；调节支架51的另一端设置有圆形的安装盘；调节支架51可以自由调节安装盘及其上方组件的高度、角度与距离，以适应不同的被检测者；红外灯组12包括设置在安装盘上的多个红外灯，多个红外灯圆周分布在安装盘上，形成红外灯圈；麦克风11、红外光摄像头13、3d深度激光摄像头14和可
见光摄像头15安装在安装盘上，且位于红外灯圈内。红外灯组12用于向被检测者眼球照射红外光点，以划分瞳孔和虹膜；麦克风11用于获取被检测者的声音数据；红外光摄像头13用于获得瞳孔中心坐标，利用眼球上的红外光点与瞳孔中心点建立坐标映射关系，从而实时捕捉被检测者瞳孔中心相对红外光点的眼动数据；可见光摄像头15用于捕捉被检测者面部照片；3d深度激光摄像头14用于从面部照片中抠取面部表情图片，最终使用视觉算法对被检测者的情绪进行实时检测识别。值得注意的是，麦克风11、红外灯组12、红外光摄像头13、3d深度激光摄像头14以及可见光摄像头15也可以集中设置在显示屏62前、方向盘上方处。采集脑部数据、声音数据、眼动数据以及面部表情图片同步进行。
84.数据处理单元2、供电单元3以及存储单元4安装在头盔5的内壁一侧；数据处理单元2分别与麦克风11、红外灯组12、红外光摄像头13、3d深度激光摄像头14、可见光摄像头15和电极探头16电连接，用于处理脑部数据、声音数据、眼动数据以及面部表情图片；数据处理单元2内部提供数据输入单元、运算单元以及输出单元。数据输入单元将会实时接收被检测者的脑部数据、声音数据、眼动数据、面部表情图片；运算单元负责调用算法模型实时处理脑部数据、眼动数据、面部表情图片；输出单元用于给出情绪障碍倾向判定结果，包含被检测者是否具有情绪障碍、情绪障碍倾向以及情绪障碍的严重程度，以判断被检测者是否适合特殊的行业或特殊的岗位。
85.供电单元3分别麦克风11、红外灯组12、红外光摄像头13、3d深度激光摄像头14、可见光摄像头15、电极探头16、数据处理单元2以及存储单元4电连接，用于向麦克风11、红外灯组12、红外光摄像头13、3d深度激光摄像头14、可见光摄像头15、电极探头16、数据处理单元2以及存储单元4实时供电。存储单元4用于存储数据采集单元1采集的脑部数据、声音数据、眼动数据以及面部表情图片。
86.基于驾驶任务的多模态融合情绪障碍检测装置，构建了多模态驾驶座舱硬件平台，集成眼动追踪技术、脑电信号处理技术以及3d情绪识别技术，具有流程快速规范、检测准确度高、适用性广泛的特点，可以大大降低情绪障碍检测的人力成本。其中的环绕式显示屏实时显示汽车内部的第一人称视角，并提供了实时的驾驶环境，可以通过软件适配将驾驶操作的硬件设备(诸如油门，方向盘)同步连接。驾驶环境设定智能交通系统、不可预知的行人和突发危险情况下的交通规则中，被试者将坐入驾驶座椅，操纵方向盘以及油门和刹车，在该驾驶环境下进行驾驶，同时也接受情绪障碍检测。检测过程无需人工参与，使得检测结果客观准确，节省人工成本。
87.基于上述的多模态融合情绪障碍检测装置，本发明实施例还提供了一种基于驾驶任务的多模态融合情绪障碍检测方法，如图3所示，可以包括以下步骤：
88.步骤1、在驾驶舱内向被检测者展示模拟路况，被检测者坐上座椅，佩戴头盔，并进行麦克风11、红外灯组12、红外光摄像头13、3d深度激光摄像头14、可见光摄像头15以及电极探头16的校准，在被检测者驾驶过程的同时通过以下三种方式分别对被检测者情绪障碍倾向进行初步判定：
89.方式一、通过电极探头16采集被检测者的脑部数据，基于脑部数据对待测者情绪障碍倾向进行初步判定；具体包括：
90.a1、针对驾驶任务过程中出现的不可预知的行人出现和突发危险情况下的交通事故，如前车突然变道或刹车等事件，提取整个驾驶事件期间的脑电数据片段，首先重参考与
滤波(10-80hz)：事件相关的脑部数据集中于在10-80hz，包含β频带脑电波和γ频带脑电波上差异显著。β频带脑电波：频率通常为10至30hz，通常与活跃、忙碌或焦虑的思维状态相关，同时也会受到注意力的影响，用于分析人体在某个时刻的兴奋程度。γ频带脑电波：频率在30hz以上，是最快的脑电波，与大规模的脑网络活动和认知现象有关，例如工作记忆、注意力等。
91.采用erp事件相关电位中的视觉诱发电位，通过多个电极探头16采集被检测者大脑产生的p300诱发电位事件反应的时间延迟信息t与峰值信息h，作为被试者的反应速度衡量的指标；erp事件相关电位反映了认知过程中大脑的神经电生理的变化，也被称为认知电位，也就是指当人们对某课题进行认知加工时，从头颅表面记录到的脑电位。本实施例可以采用视觉诱发电位(vep)。p300代表应该在300ms出现一个正向波，p300普遍认为与人的认知功能有关。如果神经通路出现异常，特征波的潜伏期与峰值会发生改变，一般表现为潜伏期延长与峰值减弱。
92.a2、基于大脑产生p300诱发电位事件反应的时间延迟信息t与峰值信息h对被检测者情绪障碍倾向进行初步判定；
93.当时间延迟信息t《150ms且h》1.5h(h为强度单位)时，则初步判定结果满足躁狂情绪障碍；
94.当150ms≤t≤350ms且0.8h≤h≤1.5h时，则为初步判定结果为情绪正常；
95.当t》350ms且h《0.8h时，则为初步判定结果满足抑郁情绪障碍。
96.方式二、通过红外灯组12和红外光摄像头13采集被检测者在整个驾驶事件期间的眼动数据，基于眼动数据对被检测者情绪障碍倾向进行初步判定；具体包括：
97.b1、在被检测者驾驶过程中，通过红外灯组12向被检测者眼球照射红外光点，基于红外光点建立坐标系；
98.b2、如图4所示，通过红外光摄像头13实时捕捉被检测者瞳孔中心点在坐标系中的眼动数据离散点；
99.b3、如图5所示，根据眼动数据离散点生成维诺图，即由一组连接两邻点直线的垂直平分线组成的连续多边形；
100.b4、计算维诺图中每个多边形区域面积与所有多边形区域面积均值的百分比，获得每个多边形区域的归一化值；
101.b5、根据所有归一化值形成频率分布直方图，使用伽玛分布来拟合累计分布得到分散系数alpha，其中alpha为形状参数，可以用来衡量离散数据点聚集程度，当alpha值越大，则分布越分散；
102.b6、根据分散系数alpha对被检测者情绪障碍倾向进行初步判定；
103.当alpha《0.2时，则初步判定结果满足抑郁情绪障碍；
104.当0.2≤alpha≤0.5时，则初步判定结果为情绪正常；
105.当alpha》0.5时，则初步判定结果满足躁狂情绪障碍。
106.方式三、通过麦克风11采集待测者的声音数据，并通过可见光摄像头15和3d深度激光摄像头14采集内测者的面部表情图片，基于声音数据及面部表情图片，即3d情绪识别数据，对被检测者情绪障碍倾向进行初步判定；具体包括：
107.c1、建立情绪障碍数据集与情绪障碍倾向之间的映射关系，基于映射关系搭建拓
展卷积神经网络；情绪障碍数据集包括面部表情图片和二维频域信息；
108.c2、通过麦克风11采集被检测者模拟驾驶过程中的声音数据，并通过可见光摄像头获取人脸数据，然后3d深度激光摄像头14投射激光，遇到人脸面部后激光反射回摄像头，裁剪面部表情图片；3d深度激光摄像头14能够提取rgb可见光无法提取到的深度特征，融合提取微表情。
109.c3、将采集到的声音数据(包括声音、语气等声纹数据)使用离散余弦变换进行处理，获取时间与频率的二维时频图；
110.c4、基于时间关系将面部表情图片与二维时频图进行匹配，得到被检测者的情绪障碍数据集；
111.c5、将步骤c4得到的被检测者的情绪障碍数据集传入步骤c1搭建的拓展卷积神经网络进行情绪障碍判定；结合图6和图7所示，该拓展卷积神经网络基于vgg16神经网络，通过增加深度能有效地提升性能，同时卷积可代替全连接，可适应各种尺寸的图片。卷积层使用扩展卷积(dilated convolution)，dilated是kernel稀疏化的一种模式，而stride只是dilated的一种特例。扩展卷积与普通的卷积相比，除了卷积核的大小相同以外，还有一个扩张率(dilation rate)参数，主要用来表示扩张的大小。在神经网络中即参数数量不变，即输出的特征映射(feature map)的大小保持不变的情况下，扩展卷积具有更大的感受野，在这里扩张率(dilation rate)参数设置为四倍。同样在获得感受野相同的情况下，相比普通卷积可以大大减少参数量，例如一个扩张率为2的3
×
3卷积核，感受野与5
×
5的卷积核相同，但参数数量仅为9个，是5
×
5卷积参数数量的三分之一左右。
112.用池化层作为分界，vgg16共有6个块结构，每个块结构中的通道数相同。因为卷积层和全连接层都有权重系数，也被称为权重层，其中卷积层13层，全连接3层，池化层不涉及权重。所以共有13+3＝16层。
113.对于vgg16卷积神经网络而言，其13层卷积层和5层池化层负责进行特征的提取，最后的3层全连接层负责完成分类任务。基于扩展卷积神经网络，融合深度面部特征、声音和语气的声纹模组，进行深度学习拓宽卷积神经网络判别，并最终给出初步判定结果。
114.c6、输出被检测者的情绪障碍的初步判定结果；所述情绪障碍包括情绪正常、抑郁情绪障碍、躁狂情绪障碍。
115.步骤2、对比三种方式的三个初步判定结果，以确定最终判定结果，初步判定结果包括情绪正常、抑郁情绪障碍倾向和躁狂情绪障碍倾向：
116.若三个初步判定结果均为情绪正常，则确定最终判定结果为情绪正常；
117.若三个初步判定结果中至少一个初步判定结果满足情绪障碍倾向，且初步判定结果一致，则确定最终判定结果为躁狂情绪障碍倾向或抑郁情绪障碍倾向；
118.若三个初步判定结果中至少两个初步判定结果满足情绪障碍倾向，且初步判定结果各异，则确定最终判定结果为双相情绪障碍。
119.此外，在步骤2之前或步骤2之后还包括情绪障碍倾向程度判定：
120.当三个初步判定结果中有且只有一个初步判定结果满足情绪障碍倾向，则判定被检测者情绪障碍倾向程度为轻度；
121.当三个初步判定结果中有且只有两个初步判定结果满足情绪障碍倾向，则判定被检测者情绪障碍倾向程度为中度；
122.当三个初步判定结果全部满足情绪障碍倾向，则判定被检测者情绪障碍倾向程度为重度。
123.通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
124.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：

1.一种基于驾驶任务的多模态融合情绪障碍检测装置，其特征在于：包括模拟驾驶舱、数据采集单元(1)、数据处理单元(2)以及供电单元(3)；所述模拟驾驶舱用于为被检测者模拟真实的驾驶环境；所述数据采集单元(1)包括麦克风(11)、红外灯组(12)、红外光摄像头(13)、3d深度激光摄像头(14)、可见光摄像头(15)以及多个电极探头(16)；多个所述电极探头(16)用于分布在被检测者头部获取被检测者脑部数据；所述麦克风(11)用于获取被检测者的声音数据；所述红外灯组(12)用于向被检测者眼球照射红外光点；所述红外光摄像头(13)用于实时捕捉被检测者瞳孔中心相对所述红外光点的眼动数据；所述可见光摄像头(15)用于捕捉被检测者面部照片；所述3d深度激光摄像头(14)用于从面部照片中抠取面部表情图片；所述数据处理单元(2)分别与所述麦克风(11)、红外灯组(12)、红外光摄像头(13)、3d深度激光摄像头(14)、可见光摄像头(15)和电极探头(16)电连接，用于处理所述脑部数据、声音数据、眼动数据以及面部表情图片；所述供电单元(3)分别与所述麦克风(11)、红外灯组(12)、红外光摄像头(13)、3d深度激光摄像头(14)、可见光摄像头(15)和电极探头(16)以及数据处理单元(2)电连接，用于向所述数据采集单元(1)和数据处理单元(2)供电。2.根据权利要求1所述的基于驾驶任务的多模态融合情绪障碍检测装置，其特征在于：还包括存储单元(4)；所述存储单元(4)与所述麦克风(11)、红外灯组(12)、红外光摄像头(13)、3d深度激光摄像头(14)、可见光摄像头(15)、电极探头(16)以及所述供电单元(3)电连接，用于存储所述声音数据、眼动数据、脑部数据以及面部表情图片。3.根据权利要求1或2所述的基于驾驶任务的多模态融合情绪障碍检测装置，其特征在于：还包括用于被检测者佩戴的头盔(5)；多个所述电极探头(16)均匀分布在所述头盔(5)的内壁上；所述数据处理单元(2)和供电单元(3)安装在所述头盔(5)的内壁一侧；所述头盔(5)的外壁上设有调节支架(51)；所述调节支架(51)一端与头盔(5)连接，另一端指向被检测者面部；所述麦克风(11)、红外灯组(12)、红外光摄像头(13)、3d深度激光摄像头(14)以及可见光摄像头(15)均设置在所述调节支架(51)的另一端。4.根据权利要求3所述的基于驾驶任务的多模态融合情绪障碍检测装置，其特征在于：所述调节支架(51)的另一端设置有圆形的安装盘；所述红外灯组(12)包括设置在所述安装盘上的多个红外灯，多个所述红外灯圆周分布在所述安装盘上，形成红外灯圈；所述麦克风(11)、红外光摄像头(13)、3d深度激光摄像头(14)和可见光摄像头(15)安装在所述安装盘上，且位于所述红外灯圈内。5.根据权利要求4所述的基于驾驶任务的多模态融合情绪障碍检测装置，其特征在于：所述模拟驾驶舱包括座椅(61)、环绕式显示屏(62)、方向盘(63)、油门(64)和刹车(65)；所述座椅(61)用于被检测者乘坐；所述环绕式显示屏(62)绕所述座椅(61)设置，用于模拟显示车辆的挡风玻璃、挡风玻璃外的路况情景、车内仪表盘信息以及后视镜信息；所述方向盘(63)设置在所述座椅(61)和显示屏(62)之间，用于被检测者把握；
所述油门(64)和刹车(65)并排设置在所述显示屏(62)下方，用于被检测者踩踏。6.一种基于驾驶任务的多模态融合情绪障碍检测方法，基于权利要求1-5任一所述的基于驾驶任务的多模态融合情绪障碍检测装置，其特征在于，包括：步骤1、在驾驶舱内向被检测者展示模拟路况，同时通过以下三种方式分别对被检测者的情绪障碍进行初步判定：方式一、通过电极探头(16)采集被检测者的脑部数据，基于脑部数据对待测者的情绪障碍进行初步判定；方式二、通过红外灯组(12)和红外光摄像头(13)采集被检测者的眼动数据，基于眼动数据对被检测者的情绪障碍进行初步判定；方式三、通过麦克风(11)采集待测者的声音数据，并通过可见光摄像头(15)和3d深度激光摄像头(14)采集被检测者的面部表情图片，基于所述声音数据及面部表情图片对被检测者的情绪障碍进行初步判定；步骤2、对比三种方式的三个初步判定结果，以确定最终判定结果，所述初步判定结果包括情绪正常、抑郁情绪障碍倾向和躁狂情绪障碍倾向：若三个初步判定结果均情绪正常，则确定最终判定结果为情绪正常；若三个初步判定结果中至少一个初步判定结果满足情绪障碍，且初步判定结果一致，则确定最终判定结果为躁狂情绪障碍倾向或抑郁情绪障碍倾向；若三个初步判定结果中至少两个初步判定结果满足情绪障碍，且初步判定结果各异，则确定最终判定结果为双相情绪障碍。7.根据权利要求6所述的基于驾驶任务的多模态融合情绪障碍检测方法，其特征在于，步骤2还包括情绪障碍程度判定：当三个初步判定结果中有且只有一个初步判定结果满足情绪障碍，则判定被检测者情绪障碍程度为轻度；当三个初步判定结果中有且只有两个初步判定结果满足情绪障碍，则判定被检测者情绪障碍程度为中度；当三个初步判定结果全部满足情绪障碍，则判定被检测者情绪障碍程度为重度。8.根据权利要求7所述的基于驾驶任务的多模态融合情绪障碍检测方法，其特征在于，步骤1中，方式二具体包括：b1、通过红外灯组(12)向被检测者眼球照射红外光点，基于红外光点建立坐标系；b2、通过红外光摄像头(13)实时捕捉被检测者瞳孔中心点在所述坐标系中的眼动数据离散点；b3、根据所述眼动数据离散点生成维诺图；b4、计算所述维诺图中每个多边形区域面积与所有多边形区域面积均值的百分比，获得每个多边形区域的归一化值；b5、根据所有归一化值形成频率分布直方图，使用伽玛分布来拟合累计分布得到分散系数alpha；b6、根据分散系数alpha对被检测者情绪障碍进行初步判定；当alpha<0.2时，则初步判定结果满足抑郁情绪障碍；当0.2≤alpha≤0.5时，则初步判定结果为情绪正常；
当alpha>0.5时，则初步判定结果满足躁狂情绪障碍。9.根据权利要求8所述的基于驾驶任务的多模态融合情绪障碍检测方法，其特征在于，步骤1中，方式一具体包括：a1、通过多个电极探头(16)采集被检测者大脑产生的p300诱发电位事件反应的时间延迟信息t与峰值信息h；a2、基于大脑产生p300诱发电位事件反应的时间延迟信息t与峰值信息h对被检测者情绪障碍倾向进行初步判定；当时间延迟信息t<150ms且h>1.5h时，则初步判定结果满足躁狂情绪障碍；当150ms≤t≤350ms且0.8h≤h≤1.5h时，则为初步判定结果为情绪正常；当t>350ms且h<0.8h时，则为初步判定结果满足抑郁情绪障碍。10.根据权利要求9所述的基于驾驶任务的多模态融合情绪障碍检测方法，其特征在于，步骤1中，方式三具体包括：c1、建立情绪障碍数据集与情绪障碍倾向之间的映射关系，基于所述映射关系搭建拓展卷积神经网络；所述情绪障碍数据集包括面部表情图片和二维频域信息；c2、通过麦克风(11)采集被检测者模拟驾驶过程中的声音数据，并通过可见光摄像头(15)和3d深度激光摄像头(14)采集被检测者面部表情图片；c3、将采集到的声音数据使用离散余弦变换进行处理，获取时间与频率的二维时频图；c4、基于时间关系将所述面部表情图片与所述二维时频图进行匹配，得到被检测者的情绪障碍数据集；c5、将步骤c4得到的被检测者的情绪障碍数据集传入步骤c1搭建的拓展卷积神经网络进行情绪障碍判定；c6、输出被检测者的情绪障碍的初步判定结果；所述情绪障碍包括情绪正常、抑郁情绪障碍、躁狂情绪障碍。

技术总结

本发明公开了一种基于驾驶任务的多模态融合情绪障碍检测装置及方法,以解决对于特殊岗位，对待上岗人员进行情绪障碍检测时，现有的情绪障碍检测人力成本大、检测效率低且准确率低的问题。具体包括模拟驾驶舱、数据采集单元、数据处理单元及供电单元；模拟驾驶舱用于为被检测者模拟真实的驾驶环境；数据采集单元用于采集被检测者的脑部数据、声音数据、眼动数据以及面部表情图片；数据处理单元分别与数据采集单元包含的麦克风、红外灯组、红外光摄像头、3D深度激光摄像头、可见光摄像头和电极探头电连接，用于处理所述脑部数据、声音数据、眼动数据以及面部表情图片；供电单元分别与数据处理单元各个元件及数据处理单元电连接。据处理单元各个元件及数据处理单元电连接。据处理单元各个元件及数据处理单元电连接。