(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010578266.X
(22)申请日 2020.06.23
(71)申请人 吉林大学
地址 130012 吉林省长春市前进大街2699
号
申请人 燕山大学
(72)发明人 金立生 华强 郭柏苍 迟浩天
孙栋先 张舜然 高铭 石健
(74)专利代理机构 长春市恒誉专利代理事务所
(普通合伙) 22212
代理人 梁紫钺
(51)Int.Cl.
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
G06F 17/18(2006.01)
(54)发明名称一种混行交通环境下的驾驶人分心状态检测识别方法(57)摘要本发明涉及一种混行交通环境下的驾驶人分心状态检测识别方法，包括：搭建混行场景、采集驾驶人眼动参数数据及驾驶绩效数据、处理数据和择优筛选、搭建基于融合注意力机制的LSTM 驾驶人分心识别模型、对驾驶人分心状态进行辨识等步骤，本发明采用融合注意力机制的LSTM算法进行分心驾驶的识别建模，提高分心识别的准确度与鲁棒性，填补了在混行交通环境下对驾驶人分心识别的空白，解决驾驶人在混行交通环境下驾驶过程中出现的分心驾驶而引发道路交通事故的技术问题，提高驾驶人的车辆驾驶安全 性。权利要求书4页 说明书9页 附图2页CN 111738337 A 2020.10.02
C N 111738337
A
1.一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：包括以下步骤： (1)搭建混行交通场景，包括直道、弯道、十字交叉路口、人行横道、建筑物、行人、网联人工驾驶车辆、自动驾驶车辆、人工驾驶车辆、网联自动驾驶车辆，设置车流量、车辆类型及其运行规则，在所搭建的场景中，车道及每个路口出现的车辆类型都设定为随机；
(2)采集驾驶人在混行交通场景中，正常驾驶状态下的眼动参数数据和驾驶绩效数据，及分心驾驶状态下
的眼动参数数据和驾驶绩效数据；
(3)对采集的数据预处理，剔除异常数据；
(4)对预处理后的数据进行相关均值、标准差计算，采用min-max标准化方法对数据进行归一化处理，然后融合数据；
(5)利用基于灰粗糙集理论的特征提取方法提取分心驾驶重要特征指标，通过最优特征筛选方法对候选特征指标进行择优提取，筛选出数项最优特征指标，采用统计分析的方法检验在正常驾驶和分心驾驶两种不同驾驶状态下所选最优特征指标差异的显著性，构成特征指标数据集A；
(6)将特征指标数据集A制作好标签数据，标签0为正常驾驶，标签1为分心驾驶；将数据集A拆分为训练集和测试集，训练集将用来对混行交通场景下驾驶人分心状态识别模型建立及模型参数优化，测试集用来检验模型的泛化能力；
(7)构建混行交通场景下的分心驾驶识别模型结构：采用单向的LSTM结构来构建模型，包括第一层sequenceInput层，第二层LSTM层，第三层attention层，第四层output层：LSTM 层处理时序数据，attention层计算LSTM层输出向量h t的权重，通过加权计算得到最终的特征向量a；最后通过softmax层输出分心驾驶的识别结果，输出为1×2的向量，分别为0或1，标签0为正常驾驶，标签1为分心驾驶。
2.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(1)中，采用simulink、PreScan、Vissim软件搭建混行交通场景，构成一个具有8个十字交叉路口、总长度为5千米的椭圆形车道，相邻路口之间相距500米。
3.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(2)中，眼动参数数据包括眨眼频率、注视频率、眼跳频率、眼跳幅度、眨眼持续时间、注视持续时间、瞳孔直径、眼跳峰值速度、眼跳速度、眼跳持续时间；驾驶绩效数据包括最小减速度、最大加速度、制动时间、横向加速度、速度、十字路口通过时长、横向位移、制动时长、转向熵。
4.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(2)所采集的样本数据大于1000，步骤(3)采用Grubbscriterion对数据里的异常数据进行剔除：若某样本测量值x i对应的残差v i满足|v i|＝|x i-x|≥g(n,a)×σ(X)时将
该数据舍去；其中是样本数据的均值，是测量数据集
的标准偏差，g(n,a)取决于测量次数n和显著性水平a，相当于犯“弃真”错误的概率系数，a 取0.01或0.05。
5.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特
征在于：步骤(4)对步骤(3)预处理后的数据进行相关均值标准差
计算，y i为处理后的样本特征值，得到相关均值、标准差参数指标数
据，为避免不同参数之间存在单位量纲不同的影响，消除各指标之间的差异性，采用min-max标准化方法对样本数据进行归一化处理：
其中，y'为归一化后的值；y为样本初始值；y min为样本最小值；y max为样本最大值。
6.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(5)利用基于灰粗糙集理论的特征提取方法提取分心驾驶特征指标，通过最优特征选取算法对候选特征指标进行择优提取，筛选出前8项最优特征指标；所述的候选特征指标包括眨眼频率、注视频率、眼跳频率
、眼跳幅度均值、眨眼持续时间均值、眨眼持续时间标准差、注视持续时间均值、注视持续时间标准差、瞳孔直径标准差、瞳孔直径均值、眼跳幅度标准差、眼跳峰值速度均值、眼跳峰值速度标准差、眼跳速度均值、眼跳速度标准差、眼跳持续时间均值、眼跳持续时间标准差、最小减速度、最大加速度、制动时间、横向加速度、速度标准差、速度均值、十字路口通过时长、横向位移、制动时长、转向熵。
7.根据权利要求1或6所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(5)中灰关联系数计算如下；
设有n个待选特征指标X n，每个参数包含m个特征数据，记为X n＝(x n(1)，x n(2)，…，x n (m))，对所有的i≤j,i,j＝1,2,…,m，计算出x i与x j的关联系数ξij(m)，其计算公式如下：Δmin(m)＝min min|x i(m)-x j(m)|
Δmax(m)＝max max|x i(m)-x j(m)|
式中：min min|x i(m)-x j(m)|为两级最小差，max max|x i(m)-x j(m)|为两级最大差，ρ为分辨系数，ρ越大，分辨率越小，灰系统理论取关联系数ξi(n)的均值作为序列X i与X j的关
联系数进而得出灰关联度矩阵R n×n如下：
将粗糙集理论中指标划分论域算法与一次形成聚类结构算法相结合，进行分类，其步骤为：选取两个指标，若都不属于已分好的组，则归为一个独立分组；若一个出现在已有的组中，则不分组；若分别属于已有的两个分组中，则把这两个组合并；若都出现在同一组中，则不再分组，如此反复操作，直至把全部待选指标聚类完成；然后采用粗糙集理论通过不可分辨关系求出指标数据的知识约简；
将信息系统表示为S＝(U,A,V,f)，U是对象的有限集，A是有限属性集，A＝C∪D，C是条
件属性子集，D是决策属性子集，V是属性值组成的集合，指定U中每一个对象的属性值，即f: U×A→V；
设不可分辨关系IND (P)成就了U的一个划分，用U/IND(P)表示，简记为U/P＝{x1,x2,…,x k}；
设r∈R，当IND(R)＝IND(R-{r})时，称r是R中不必要的，否则称r是R中必要的；若每个r∈R都是R中必要的，则称R为独立的；假设Q∈R，若Q是独立的，并且IND(P)＝IND (Q)，则称Q为论域U在属性集P上的约简；
根据此分类应用粗糙集理论约简指标得到最优特征评价指标数据集A。
8.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(6)将特征指标数据集A作为驾驶人分心状态识别的输入，利用“留出法”对模型进行测试集和训练集的划分，保证数据分布的一致性，即每次训练的过程中，选择当前单个样本作为测试集，其余样本作为训练集，确保训练集中包含正常驾驶和分心驾驶状态；使用min-batch训练方法，批大小为100，选用交叉熵损失函数作为代价函数和选用Adam优化器来训练网络，对混行交通环境下驾驶人驾驶状态进行分心识别。
9.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(7)中LSTM层由3部分组成，分别是输入门i t、输出门o t和遗忘门f t，通过其元胞内部隐藏状态的一系列计算可以输出计算结果，其中σ是sigmoid激活函数,C t、代表更新状态，W f,W i,W o,W c代表了相应权重，b f,b i,b c,b o是相应偏置；其LSTM元胞内部的计算过程如下：
第一步决定从元细胞中丢弃什么信息，这个决定是通过遗忘门完成的，此门输入当前层t时刻的信息数据x t和上个隐藏层的输出结果h t-1，然后输出一个0-1的数值给细胞状态C t-1，其公式如下：
f t＝σ(W f·[h t-1,x t]+b f)
第二步是确定哪些新信息存储在细胞单元中，其步骤分两部分完成，第一，“输入门层”
决定什么信息将要更新，然后，tanh层创建一个新的候选值向量其用于更新下个新状态，公式如下：
i t＝σ(W i·[h t-1,x t]+b i)
第三步将旧细胞状态C t-1更新为新的细胞状态C t，首先f t与C t-1相乘，去除不重要的信息，然后添加产生新的细胞状态，公式如下：
最后，输出门o t决定什么重要信息应该输出，然后tanh层处理细胞状态C t，二者相乘得到最终的输出结果，公式如下：
o t＝σ(W o·[h t-1,x t]+b o)
h t＝o t*tanh(C t)。
10.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(7)中attention层中学习机制F是通过全连接层实现的，用来计算LSTM层输出
向量h t的权重，通过加权计算得到最终的特征向量a，相应的计算公式如下：
e t＝F(h t)
式中，向量h t代表t时刻LSTM层的输出，其权重W t的计算公式如下：
然后通过公式进行加权计算得到特征表示向量a，公式如下：
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议