一种根据驾驶员情绪状态切换的车载语音交互系统及方法与流程

1.本发明涉及车载语音控制领域，具体为一种根据驾驶员情绪状态切换的车载语音交互系统及方法。

背景技术：

2.在车内交互领域，语音交互正在逐渐成为车内最自然和最安全的交互及控制手段，在使用语音交互进行车辆控制的领域内，行业普遍做法是使用相对固定的基于离线语音库的方法进行产品设计，因而没有考虑不同用户不同用车状态下的个性化交互及情感需求，用户在不同情绪状态下进行语音交互时，发出的声音通常是固定不变的，导致车内语音系统无法与用户实现情绪匹配，用户用车体验不佳，还可能会引起用户的焦躁情绪，从而给行车安全带来威胁。
3.用户的行为、认知和态度受到状态、个人的即时感受、知识和身体状况的影响，最重要的用户状态是情绪，情绪可以有力地预测一个人的行为方式，情绪状态——无论是短暂的情绪还是长期的情绪——几乎影响了人们所做和经历的一切，言语是情感信息的强大载体，已经表明，大多数基本情绪都与声音的声学特性有关，例如响度、基频、频率范围和语速，例如，悲伤通常由缓慢而低沉的语音传达，而快乐则与快速和响亮的语音相关，语音界面中的情感线索研究结果表明，情绪会影响绩效，积极的情感状态有利于解决问题和决策。
4.目前的研究表明，将汽车的声音与驾驶员的情绪配对对驾驶员的表现和态度都有巨大的影响，对于实际和感知表现，沮丧的司机受益于柔和的语气，而快乐的司机显然受益于充满活力的语气，这表明汽车中的语音系统应当适应用户的情绪状态，与用户情绪一致的语音相比，情绪不一致的语音更难处理，并导致驾驶员分心，汽车界面可以通过非常简单且完全可控的方式可以对驾驶安全产生巨大影响，通过改变车载语音的副语言特征(语气、语调)足以显著提高驾驶表现，即使在相同的道路条件下，相同的声音在相同的时间说出相同的词，只需将车载语音从充满活力和乐观转变为柔和，就可以从根本上改变驾驶员的表现，车载语音可以通过改变语气来影响事故数量、驾驶员对道路的感知注意力以及驾驶员与汽车的互动，为此我们提出了一种根据驾驶员情绪状态切换的车载语音交互系统及方法。

技术实现要素：

5.本发明的目的在于提供一种根据驾驶员情绪状态切换的车载语音交互系统及方法，以解决上述背景技术中提出的问题。
6.为实现上述目的一种根据驾驶员情绪状态切换的车载语音交互系统；
7.驾驶员信息采集模块，所述驾驶员信息采集模块包括面部图像信息采集模块和语音信息采集模块，所述驾驶员信息采集模块用于对驾驶员的面部图像信息和语音信息进行采集；
8.驾驶员情绪状态识别模块，所述驾驶员情绪状态识别模块包括面部情绪识别和语
音情绪识别，所述驾驶员情绪状态识别模块通过驾驶员信息采集模块采集到的驾驶员数据信息，对驾驶员状态情绪进行识别，判断驾驶员所处情绪状态；
9.车载语音系统切换模块，所述车载语音系统切换模块根据驾驶员情绪状态，当驾驶员的某种驾驶相关情绪高于阈值时，切换预先设定好的不同副语言特征语音交互模式，与驾驶员进行情绪匹配。
10.优选的：所述面部图像情绪识别，具体为：
11.①
面部图像信息预处理：将摄像头捕获的驾驶员图像视频拆解成帧；
12.②
面部信息图像特征的提取：在驾驶员表情图像上提取特征点，通过特征点到当前对应的面部动作单元，将面部动作单元作为情绪状态分类特征；
13.③
面部情绪参考模式库生成：利用svm分类算法对面部图像信息库中的面部表情的情绪特征进行训练，得到不同情绪状态对应的面部情绪模型，建立驾驶员情绪参考模式库，利用训练得到的情绪模型进行驾驶员面部情绪识别；
14.④
面部情绪类型判断：将采集到的驾驶员面部动作特征与面部情绪参考模式库中的情绪模型进行模式匹配，对驾驶员的情绪状态进行实时监测，判断驾驶员当前面部情绪状态。
15.优选的：所述语音情绪识别，具体为：
16.①
语音信息预处理：将麦克风采集到的驾驶员信息进行降噪处理；
17.②
驾驶员语音情绪参考模型库生成：采用svm分类算法，对语音库中的语音片段进行情绪识别训练，生成驾驶员语音情绪参考模型库；
18.③
语音特征提取：将采集到的驾驶员语音进行mfcc特征及plp-cc特征提取，得到语音情绪特征参数；
19.④
语音情绪类型判断：将提取到的驾驶员语音特征参数利用svm分类器与驾驶员语音情绪参考模型库进行匹配，判断驾驶员的情绪状态。
20.优选的：所述svm分类算法对驾驶员表情图像进行分类的主要步骤如下：
21.step1：对于68个驾驶员面部的特征点，驾驶员表情有变化的时候其中一些特征点就会随之改变，在二维空间中68个驾驶员面部特征点是不可分的，需要转换到更高维度的空间进行区分，因此假设在更高的维度空间有超平面：ktx+a＝0，a代表常量。
22.step2：驾驶员面部特征点由于是存在于超平面的不同侧的，此时计算这些驾驶员面部特征点坐标到超平面的距离，可以取超平面上两个不同的点x
′
，x
″
用公式表示为： ktx
′
＝-a,ktx
″
＝-a，此时的k表示垂直于超平面的法向量，那么就能推算驾驶员面部特征点到超平面的距离：
23.distance＝project(x-x
′
)to
⊥
hyperplane
→
distance(x，a，k)＝1/|k|
·
|ktx+a|；
24.x
′
、x
″
代表超平面上不同点，k是超平面变量。
25.step3：前面部分求出了驾驶员面部特征点，那么对于一个驾驶员表情的训练，为正例样本的点视为+1，为负例样本的点视为－1，就会得到公式：有样本的点视为－1，就会得到公式：有(后续给出的函数意义)。
26.step4：结合step2与step3得到最终的优化距离
27.step5：为了使得驾驶员表情区分的效果理想，优化距离的值应该尽可能的小，超
平面总体区域范围尽可能大，假设通过放缩可以使得分子部分大于1，最终的驾驶员表情分类解优化结果，argmax1/||k||，k为超平面变量。
28.step6：求解极大值相当于求解导数的极小值
→
min1\2k2，现在求解驾驶员表情最优分类解就转换为了带约束条件的拉格朗日乘子法优化问题，总体转化为：
[0029]029]
β为拉格朗日乘子。
[0030]
step7：该式即所要求解的驾驶员表情最优分类解公式，最后进行维度选择，这个维度变换的函数就是step3提到的，使用高斯核函数进行维度映射，高斯核函数：
[0031][0032]
优选的：在驾驶员表情图像识别的中，具体的应用svm进行分类的操作流程如下：
[0033]
step 1：引入必要的包和相关函数，svc，train_test_split和classification_repor等文件；
[0034]
step 2：读取驾驶员表情图像文件，并进行存储，open("test.txt","r")asfile，取某列label 值，令ty＝-i，即取倒数i列所有值；
[0035]
step 3：将驾驶员表情图像测试集和训练集进行划分，分别为：
[0036]
train_x,test_x,train_y，设定驾驶员表情图像训练集相关参数， test_y＝train_test_split(x,y,test_size＝0.2)。
[0037]
step 4：训练驾驶员表情图像模型并对其进行预测，pred_y＝clf.predict(test_x)。
[0038]
step 5：输出预测驾驶员表情图像结果，print(classification_report(test_y,pred_y)。
[0039]
优选的：所述驾驶员的语音特征提取方法包括mfcc特征提取方法和plp-cc特征提取方法。
[0040]
优选的：所述mfcc特征提取方法包括梅尔频率转换和倒谱分析，具体的：
[0041]
所述梅尔频率变换的具体流程是：
[0042]
首先对时域信号做傅立叶变换到频域，然后再利用梅尔刻度的滤波器组对应的频率信号进行切分，最后每个频率段对应一个数值；
[0043]
所述倒谱分析的具体流程是：
[0044]
对时域信号做傅立叶变换转化到频域，然后取对数，最后再进行反傅立叶变换(离散余弦变换)。
[0045]
优选的：所述plp-cc特征提取，具体为对输入的语音信号进行前端处理之后做傅立叶变换，仿照人耳特性做临界带分析、等响度预加重和强度响度变换，建立全极点模型，计算倒谱，得到特征参数。
[0046]
优选的：所述车载语音系统切换模块中，驾驶相关的情绪不低于五种，包括恐惧(焦虑)、快乐(兴奋)、愤怒、沮丧(悲伤)、中性。
[0047]
一种根据驾驶员情绪状态切换的车载语音交互方法：
[0048]
步骤s1：利用摄像头进行驾驶员面部图像视频采集和利用麦克风进行驾驶员语音采集；
[0049]
步骤s2：建立驾驶员情绪参考模式库，对驾驶圆的表情进行面部图像识别，对驾驶员的语音状态中的语音特征参数进行提取，并对驾驶员的情绪状态进行实时监测，建立驾驶员情绪参考模式库匹配，判断驾驶员当前面部情绪状态；
[0050]
步骤s3：根据驾驶员情绪参考模式库匹配结果，当驾驶员的某种驾驶相关情绪高于阈值时，车载语音系统自动切换至预先设定的相应副语言特征车载语音类型，与驾驶员进行情绪匹配。
[0051]
与现有技术相比，本发明的有益效果是：
[0052]
1、本发明中，通过驾驶员面部表情和语音双模块进行情绪状态判断，免除心率、血压、脑电等生理信号采集和处理技术复杂、价格高昂的困扰，同时避免单一信息导致的情绪状态判断失误。
[0053]
2、通过改变车载语音副语音特征这一简单且可控的方式与驾驶员用车时的不同情绪状态进行情绪匹配，不仅能够避免驾驶员因极端情绪导致的用车安全事故，同时改善驾驶员驾驶表现和驾驶体验，提高驾驶效率。
附图说明
[0054]
图1为本发明一种根据驾驶员情绪状态切换的车载语音交互系统流程示意图；
[0055]
图2为本发明驾驶员面部图像情绪判断流程示意图；
[0056]
图3为本发明驾驶员语音情绪判断示意图；
[0057]
图4为本发明根据驾驶员情绪改变副语言特征的车载语音流程示意图；
[0058]
图5为本发明梅尔频率滤波器变换示意图；
[0059]
图6为本发明mfcc特征提取流程示意图；
[0060]
图7为本发明plp特征提取示意图；
[0061]
图8为本发明一种根据驾驶员情绪状态切换的车载语音交互方法示意图。
具体实施方式
[0062]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0063]
请参阅图1-8，图为本发明中一优选实施方式，一种根据驾驶员情绪状态切换的车载语音交互系统；
[0064]
驾驶员信息采集模块，驾驶员信息采集模块包括面部图像信息采集模块和语音信息采集模块，驾驶员信息采集模块用于对驾驶员的面部图像信息和语音信息进行采集；
[0065]
驾驶员情绪状态识别模块，驾驶员情绪状态识别模块包括面部情绪识别和语音情绪识别，驾驶员情绪状态识别模块通过驾驶员信息采集模块采集到的驾驶员数据信息，对驾驶员状态情绪进行识别，判断驾驶员所处情绪状态；
[0066]
车载语音系统切换模块，车载语音系统切换模块根据驾驶员情绪状态，当驾驶员
的某种驾驶相关情绪高于阈值时，切换预先设定好的不同副语言特征语音交互模式，与驾驶员进行情绪匹配。
[0067]
面部图像情绪识别，具体为：
[0068]
①
面部图像信息预处理：将摄像头捕获的驾驶员图像视频拆解成帧；
[0069]
②
面部信息图像特征的提取：在驾驶员表情图像上提取特征点，通过特征点到当前对应的面部动作单元，将面部动作单元作为情绪状态分类特征；
[0070]
③
面部情绪参考模式库生成：利用svm分类算法对面部图像信息库中的面部表情的情绪特征进行训练，得到不同情绪状态对应的面部情绪模型，建立驾驶员情绪参考模式库，利用训练得到的情绪模型进行驾驶员面部情绪识别；
[0071]
④
面部情绪类型判断：将采集到的驾驶员面部动作特征与面部情绪参考模式库中的情绪模型进行模式匹配，对驾驶员的情绪状态进行实时监测，判断驾驶员当前面部情绪状态。
[0072]
语音情绪识别，具体为：
[0073]
①
语音信息预处理：将麦克风采集到的驾驶员信息进行降噪处理；
[0074]
②
驾驶员语音情绪参考模型库生成：采用svm分类算法，对语音库中的语音片段进行情绪识别训练，生成驾驶员语音情绪参考模型库；
[0075]
③
语音特征提取：将采集到的驾驶员语音进行mfcc特征及plp-cc特征提取，得到语音情绪特征参数；
[0076]
④
语音情绪类型判断：将提取到的驾驶员语音特征参数利用svm分类器与驾驶员语音情绪参考模型库进行匹配，判断驾驶员的情绪状态。
[0077]
svm分类算法对驾驶员表情图像进行分类的主要步骤如下：
[0078]
step1：对于68个驾驶员面部的特征点，驾驶员表情有变化的时候其中一些特征点就会随之改变，在二维空间中68个驾驶员面部特征点是不可分的，需要转换到更高维度的空间进行区分，因此假设在更高的维度空间有超平面：ktx+a＝0，a代表常量。
[0079]
step2：驾驶员面部特征点由于是存在于超平面的不同侧的，此时计算这些驾驶员面部特征点坐标到超平面的距离，可以取超平面上两个不同的点x
′
，x
″
用公式表示为： ktx
′
＝-a,ktx
″
＝-a，此时的k表示垂直于超平面的法向量，那么就能推算驾驶员面部特征点到超平面的距离：
[0080]
distance＝project(x-x
′
)to
⊥
hyperplane
→
distance(x，a，k)＝1/|k|
·
|ktx+a|；
[0081]
x
′
、x
″
代表超平面上不同点，k是超平面变量。
[0082]
step3：前面部分求出了驾驶员面部特征点，那么对于一个驾驶员表情的训练，为正例样本的点视为+1，为负例样本的点视为－1，就会得到公式：有正例样本的点视为+1，为负例样本的点视为－1，就会得到公式：有(后续给出的函数意义)。
[0083]
step4：结合step2与step3得到最终的优化距离
[0084]
step5：为了使得驾驶员表情区分的效果理想，优化距离的值应该尽可能的小，超平面总体区域范围尽可能大，假设通过放缩可以使得分子部分大于1，最终的驾驶员表情分类解优化结果，argmax1/||k||，k为超平面变量。
[0085]
step6：求解极大值相当于求解导数的极小值
→
min1\2k2，现在求解驾驶员表情最优分类解就转换为了带约束条件的拉格朗日乘子法优化问题，总体转化为：
[0086][0086]
β为拉格朗日乘子。
[0087]
step7：该式即所要求解的驾驶员表情最优分类解公式，最后进行维度选择，这个维度变换的函数就是step3提到的，使用高斯核函数进行维度映射，高斯核函数：
[0088][0089]
在驾驶员表情图像识别的中，具体的应用svm进行分类的操作流程如下：
[0090]
step1：引入必要的包和相关函数，svc，train_test_split和classification_repor等文件；
[0091]
step2：读取驾驶员表情图像文件，并进行存储，open("test.txt","r")asfile，取某列label 值，令ty＝-i，即取倒数i列所有值；
[0092]
step3：将驾驶员表情图像测试集和训练集进行划分，分别为：
[0093]
train_x,test_x,train_y，设定驾驶员表情图像训练集相关参数， test_y＝train_test_split(x,y,test_size＝0.2)。
[0094]
step4：训练驾驶员表情图像模型并对其进行预测，pred_y＝clf.predict(test_x)。
[0095]
step5：输出预测驾驶员表情图像结果，print(classification_report(test_y,pred_y)。
[0096]
驾驶员的语音特征提取方法包括mfcc特征提取方法和plp-cc特征提取方法。
[0097]
mfcc特征提取方法包括梅尔频率转换和倒谱分析，具体的：
[0098]
mfcc特征提取方法：
[0099]
(mel-frequencycepstralcoefficients，梅尔频率倒谱系数)是基于语音人耳特性提出的一种谱特征，是一种短时平稳特征，在很多文献中都将其应用于语音情绪识别领域。
[0100]
mfcc特征的特点在于梅尔频率转换和倒谱分析。梅尔频率转换是采用梅尔刻度对语音信号进行变换。梅尔刻度是一种基于人耳对等距的音高变化的感官判断而定的非线性频率刻度。梅尔频率和以赫兹为单位的频率，关系为：_x000e_(3-1)上式中，f代表频率， m代表对应的梅尔频率。
[0101]
当梅尔刻度上是均匀分度时，相对的频率之间的距离将会越来越大，梅尔刻度的滤波器组的尺度变化如图5所示。梅尔刻度的滤波器组在低频部分的分辨率高，跟人耳的听觉特性是相符的。
[0102]
plp-cc特征提取：
[0103]
plp-cc(perceptuallinearpredictivecepstralcoefficients，感知线性预测倒谱系数)，是一种基于听觉模型的特征参数，该特征参数是全极点模型预测多项式的一组系数，等效于一种lpc(linearpredictioncoefficient，线性预测系数)特征。
[0104]
plp技术主要在临界频带分析处理，等响度曲线预加重，和信号强度－听觉响度变换三个层次上模仿了人耳的听觉感知机理。
[0105]
plp-cc特征参数的取操作如图7所示，对输入的语音信号进行前端处理之后做傅立叶变换，仿照人耳特性做临界带分析、等响度预加重和强度响度变换，建立全极点模型，计算倒谱，得到特征参数。
[0106]
车载语音系统切换模块中，驾驶相关的情绪不低于五种，包括恐惧(焦虑)、快乐(兴奋)、愤怒、沮丧(悲伤)、中性。
[0107]
当系统判断驾驶员情绪处于快乐(兴奋)、愤怒、恐惧(焦虑)状态时，则将车载语音系统切换至语气柔和的副语言特征车载语音；当系统判断驾驶员情绪处于沮丧(悲伤) 状态时，则将车载语音系统切换至语气充满活力的副语言特征车载语音。
[0108]
一种根据驾驶员情绪状态切换的车载语音交互方法：
[0109]
步骤s1：利用摄像头进行驾驶员面部图像视频采集和利用麦克风进行驾驶员语音采集；
[0110]
步骤s2：建立驾驶员情绪参考模式库，对驾驶圆的表情进行面部图像识别，对驾驶员的语音状态中的语音特征参数进行提取，并对驾驶员的情绪状态进行实时监测，建立驾驶员情绪参考模式库匹配，判断驾驶员当前面部情绪状态；
[0111]
步骤s3：根据驾驶员情绪参考模式库匹配结果，当驾驶员的某种驾驶相关情绪高于阈值时，车载语音系统自动切换至预先设定的相应副语言特征车载语音类型，与驾驶员进行情绪匹配。
[0112]
实施例中，面部情绪判断与语音情绪判断结果融合时，对多个单模态下的驾驶员的情绪状态的判断结果进行融合，得到驾驶员所处情绪状态及情绪强度，输出驾驶员总体情绪状态结果。
[0113]
其中，副语言特征：狭义的副语言指的是超音段音位学中的韵律特征(如语调、重音等)、突发性特征(如说话时的笑声、哭泣声等)以及次要发音(如圆辱化音、鼻化音等)，本技术文件中主要指语音的语气语调；车载语音交互方式：本技术文件中指车载驾驶辅助系统的提示性语音，如导航语音，操作提示语音等。
[0114]
以上内容是结合具体实施方式对本发明作进一步详细说明，不能认定本发明具体实施只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明所提交的权利要求书确定的保护范围。

技术特征：

1.一种根据驾驶员情绪状态切换的车载语音交互系统，其特征在于；驾驶员信息采集模块，所述驾驶员信息采集模块包括面部图像信息采集模块和语音信息采集模块，所述驾驶员信息采集模块用于对驾驶员的面部图像信息和语音信息进行采集；驾驶员情绪状态识别模块，所述驾驶员情绪状态识别模块包括面部情绪识别和语音情绪识别，所述驾驶员情绪状态识别模块通过驾驶员信息采集模块采集到的驾驶员数据信息，对驾驶员状态情绪进行识别，判断驾驶员所处情绪状态；车载语音系统切换模块，所述车载语音系统切换模块根据驾驶员情绪状态，当驾驶员的某种驾驶相关情绪高于阈值时，切换预先设定好的不同副语言特征语音交互模式，与驾驶员进行情绪匹配。2.根据权利要求1所述的一种根据驾驶员情绪状态切换的车载语音交互系统，其特征在于：所述面部图像情绪识别，具体为：
①
面部图像信息预处理：将摄像头捕获的驾驶员图像视频拆解成帧；
②
面部信息图像特征的提取：在驾驶员表情图像上提取特征点，通过特征点到当前对应的面部动作单元，将面部动作单元作为情绪状态分类特征；
③
面部情绪参考模式库生成：利用svm分类算法对面部图像信息库中的面部表情的情绪特征进行训练，得到不同情绪状态对应的面部情绪模型，建立驾驶员情绪参考模式库，利用训练得到的情绪模型进行驾驶员面部情绪识别；
④
面部情绪类型判断：将采集到的驾驶员面部动作特征与面部情绪参考模式库中的情绪模型进行模式匹配，对驾驶员的情绪状态进行实时监测，判断驾驶员当前面部情绪状态。3.根据权利要求1所述的一种根据驾驶员情绪状态切换的车载语音交互系统，其特征在于：所述语音情绪识别，具体为：
①
语音信息预处理：将麦克风采集到的驾驶员信息进行降噪处理；
②
驾驶员语音情绪参考模型库生成：采用svm分类算法，对语音库中的语音片段进行情绪识别训练，生成驾驶员语音情绪参考模型库；
③
语音特征提取：将采集到的驾驶员语音进行mfcc特征及plp-cc特征提取，得到语音情绪特征参数；
④
语音情绪类型判断：将提取到的驾驶员语音特征参数利用svm分类器与驾驶员语音情绪参考模型库进行匹配，判断驾驶员的情绪状态。4.根据权利要求2所述的一种根据驾驶员情绪状态切换的车载语音交互系统，其特征在于：所述svm分类算法对驾驶员表情图像进行分类的主要步骤如下：step1：对于68个驾驶员面部的特征点，驾驶员表情有变化的时候其中一些特征点就会随之改变，在二维空间中68个驾驶员面部特征点是不可分的，需要转换到更高维度的空间进行区分，因此假设在更高的维度空间有超平面：ktx+a=0，a代表常量；step2：驾驶员面部特征点由于是存在于超平面的不同侧的，此时计算这些驾驶员面部特征点坐标到超平面的距离，可以取超平面上两个不同的点x
′
，x
″
用公式表示为：ktx
′
=-a,ktx
″
=-a，此时的k表示垂直于超平面的法向量，那么就能推算驾驶员面部特征点到超平面的距离：distance=project(x-x
′
)to
⊥
hyperplane
→
distance(x，a，k)=1/|k|
·
|ktx+a|；
x
′
、x
″
代表超平面上不同点，k是超平面变量；step3：前面部分求出了驾驶员面部特征点，那么对于一个驾驶员表情的训练，为正例样本的点视为+1，为负例样本的点视为－1，就会得到公式：有y（x）=kt
∅
(x)+a
→
yiy(xi)>0，（后续给出
∅
(x）的函数意义）；step4：结合step2与step3得到最终的优化距离yi(kt)
∅
(xi)+a)/||k||；step5：为了使得驾驶员表情区分的效果理想，优化距离的值应该尽可能的小，超平面总体区域范围尽可能大，假设通过放缩可以使得分子部分大于1，最终的驾驶员表情分类解优化结果，argmax1/||k||，k为超平面变量；step6：求解极大值相当于求解导数的极小值
→
min1\2k2，现在求解驾驶员表情最优分类解就转换为了带约束条件的拉格朗日乘子法优化问题，总体转化为：step7：该式即所要求解的驾驶员表情最优分类解公式，最后进行维度选择，这个维度变换的函数就是step3提到的，使用高斯核函数进行维度映射，高斯核函数：。5.根据权利要求4所述的一种根据驾驶员情绪状态切换的车载语音交互系统，其特征在于：在驾驶员表情图像识别的中，具体的应用svm进行分类的操作流程如下：step 1：引入必要的包和相关函数，svc，train_test_split和classification_repor等文件；step 2：读取驾驶员表情图像文件，并进行存储，open("test.txt","r")asfile，取某列label值，令ty=-i，即取倒数i列所有值；step 3：将驾驶员表情图像测试集和训练集进行划分，分别为：train_x,test_x,train_y，设定驾驶员表情图像训练集相关参数，test_y=train_test_split(x,y,test_size=0.2)；step 4：训练驾驶员表情图像模型并对其进行预测，pred_y=clf.predict(test_x)；step 5：输出预测驾驶员表情图像结果，printclassification_report(test_y,pred_y)。6.根据权利要求3所述的一种根据驾驶员情绪状态切换的车载语音交互系统，其特征在于：所述驾驶员的语音特征提取方法包括mfcc特征提取方法和plp-cc特征提取方法。7.根据权利要求6所述的一种根据驾驶员情绪状态切换的车载语音交互系统，其特征在于：所述mfcc特征提取方法包括梅尔频率转换和倒谱分析，具体的：所述梅尔频率变换的具体流程是：首先对时域信号做傅立叶变换到频域，然后再利用梅尔刻度的滤波器组对应的频率信号进行切分，最后每个频率段对应一个数值；所述倒谱分析的具体流程是：对时域信号做傅立叶变换转化到频域，然后取对数，最后再进行反傅立叶变换（离散余
弦变换）。8.根据权利要求6所述的一种根据驾驶员情绪状态切换的车载语音交互系统，其特征在于：所述plp-cc特征提取，具体为对输入的语音信号进行前端处理之后做傅立叶变换，仿照人耳特性做临界带分析、等响度预加重和强度响度变换，建立全极点模型，计算倒谱，得到特征参数。9.根据权利要求1所述的一种根据驾驶员情绪状态切换的车载语音交互系统，其特征在于：所述车载语音系统切换模块中，驾驶相关的情绪不低于五种，包括恐惧（焦虑）、快乐（兴奋）、愤怒、沮丧（悲伤）、中性。10.一种根据驾驶员情绪状态切换的车载语音交互方法，其特征在于：步骤s1：利用摄像头进行驾驶员面部图像视频采集和利用麦克风进行驾驶员语音采集；步骤s2：建立驾驶员情绪参考模式库，对驾驶圆的表情进行面部图像识别，对驾驶员的语音状态中的语音特征参数进行提取，并对驾驶员的情绪状态进行实时监测，建立驾驶员情绪参考模式库匹配，判断驾驶员当前面部情绪状态；步骤s3：根据驾驶员情绪参考模式库匹配结果，当驾驶员的某种驾驶相关情绪高于阈值时，车载语音系统自动切换至预先设定的相应副语言特征车载语音类型，与驾驶员进行情绪匹配。

技术总结

本发明涉及车载语音控制领域，具体为一种根据驾驶员情绪状态切换的车载语音交互系统及方法，包括驾驶员信息采集模块。驾驶员情绪状态识别模块和车载语音系统切换模块，本发明中，通过驾驶员面部表情和语音双模块进行情绪状态判断，免除心率、血压、脑电等生理信号采集和处理技术复杂、价格高昂的困扰，同时避免单一信息导致的情绪状态判断失误，通过改变车载语音副语音特征这一简单且可控的方式与驾驶员用车时的不同情绪状态进行情绪匹配，不仅能够避免驾驶员因极端情绪导致的用车安全事故，同时改善驾驶员驾驶表现和驾驶体验，提高驾驶效率。效率。效率。