基于儿童情绪识别的控制方法及系统与流程



1.本发明涉及车辆安全行驶技术领域,尤其涉及一种基于儿童情绪识别的控制方法及系统。


背景技术:



2.儿童在车内封闭的空间待了一段时间后,容易情绪波动,会影响驾驶员开车,甚至造成安全事故。
3.目前的儿童情绪识别是通过摄像头实现,实现原理为在视频图像模态上,将面部表情训练数据上增加人脸纹理,在语音模态上将训练数据集的gfcc特征和mfcc特征融合,最后根据视觉和语音的识别结果按照权重值在决策层融合,实现多模态儿童情绪识别。这种方案的缺点在于,一方面,只识别了情绪而未进行情绪缓解;另一方面,基于视觉识别的儿童情绪识别,有较大的算力压力,且摄像头可能涉及数据安全问题。
4.因此,亟需一种基于儿童情绪识别的控制方法及系统。


技术实现要素:



5.本发明的目的是提供一种基于儿童情绪识别的控制方法及系统,以解决上述现有技术中的问题,能够实现儿童情绪识别和缓解,不需要布置摄像头,成本较低。
6.本发明提供了一种基于儿童情绪识别的控制方法,其中,包括:
7.对后排座椅压力进行检测,得到后排座椅压力值;
8.判断所述后排座椅压力值是否达到预设压力阈值,所述预设压力阈值用于表示儿童的体重限值;
9.若是,则检测后排座椅上的目标物的温度,以判断所述目标物是否为活体;
10.若是,则确定后排座椅有儿童,触发中控锁落锁且车窗开度上升至预设开度值;
11.根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态;
12.根据当前儿童的情绪状态,通过智能座舱系统对儿童情绪进行调节。
13.如上所述的基于儿童情绪识别的控制方法,其中,优选的是,所述对后排座椅压力进行检测,具体包括:
14.通过后排座椅压力传感器对后排座椅压力进行检测,得到后排座椅压力值;
15.所述后排座椅压力传感器将检测的所述后排座椅压力值发送到车身控制器。
16.如上所述的基于儿童情绪识别的控制方法,其中,优选的是,所述判断所述后排座椅压力值是否达到预设压力阈值,具体包括:
17.通过所述车身控制器判断所述后排座椅压力值是否达到预设压力阈值。
18.如上所述的基于儿童情绪识别的控制方法,其中,优选的是,在判断所述后排座椅压力值达到预设压力阈值的情况下,所述检测后排座椅上的目标物的温度,以判断所述目标物是否为活体,具体包括:
19.通过车身控制器判断车门是否处于关闭状态,且整车的ign电源是否处于上电状
态;
20.若均为是,则通过儿童遗留检测系统检测后排座椅上的目标物的温度,得到目标温度值;
21.若所述目标温度值超过预设温度阈值,则确定所述目标物为活体。
22.如上所述的基于儿童情绪识别的控制方法,其中,优选的是,所述触发中控锁落锁且车窗开度上升至预设开度值,具体包括:
23.在所述儿童遗留检测系统检测后排座椅上的所述目标物为活体后,所述儿童遗留检测系统向娱乐信息控制器发送标志位;
24.所述娱乐信息控制器向所述车身控制器发送所述标志位;
25.所述车身控制器响应于所述标志位,向中控锁和车窗发送工作指令,以触发中控锁落锁且车窗开度上升至预设值。
26.如上所述的基于儿童情绪识别的控制方法,其中,优选的是,所述根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态,具体包括:
27.通过后排语音模块实时检测后排儿童的声音特征值;
28.在所述语音模块检测到的儿童的声音特征值满足预设情绪不佳的特征值时,儿童遗留检测系统实时检测后排儿童温度值;
29.所述后排语音模块将检测的声音特征值发送到娱乐信息控制器,并且所述儿童遗留检测系统将检测的后排儿童温度值发送到娱乐信息控制器;
30.所述娱乐信息控制器计算出当前后排儿童温度值与上一时刻的后排温度温度值的差值,得到温度差值;
31.所述娱乐信息控制器判断所述温度差值是否满足预设温度范围;
32.若满足,则所述娱乐信息控制器对所述后排语音模块输入的声音特征值和所述儿童遗留检测系统输入的后排儿童温度值进行加权求和,并根据加权求和后的结果判断当前儿童的情绪状态。
33.如上所述的基于儿童情绪识别的控制方法,其中,优选的是,所述根据当前儿童的情绪状态,通过智能座舱系统对儿童情绪进行调节,具体包括:
34.若当前儿童的情绪状态不佳,则通过声源定位模块对儿童所处位置进行定位,并将儿童定位信息发送到娱乐信息控制器;
35.所述娱乐信息控制器向座舱域控制器发出第一级情绪调节指令,以使所述座舱域控制器响应于所述第一级情绪调节指令,执行第一级情绪缓解策略,所述第一级情绪缓解策略包括:根据所述儿童定位信息调节音效场位置,并控制儿童类音频节目的声音输出端口从后排扬声器中输出,同时降低后排非儿童类音频节目的声音输出,且将车内氛围灯调节为颜和/或闪烁频率随音乐变化;
36.在所述座舱域控制器执行所述第一级情绪缓解策略的时间满足第一预设时间范围后,返回根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态的步骤,并且在确定当前儿童的情绪状态的步骤中,增加声音特征值的权重,并降低后排儿童温度值的权重;
37.若此时儿童的情绪状态仍不佳,则所述娱乐信息控制器向所述座舱域控制器发出第二级情绪调节指令,以使所述座舱域控制器响应于所述第二级情绪调节指令,执行第二
级情绪缓解策略,所述第二级情绪缓解策略包括:将后排语音模块开启闲聊模式且语音发音人为儿童;
38.在所述座舱域控制器执行所述第二级情绪缓解策略的时间满足第二预设时间范围后,返回根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态的步骤,并且在确定当前儿童的情绪状态的步骤中,增加声音特征值的权重,并降低后排儿童温度值的权重;
39.若此时儿童的情绪状态仍不佳,则所述娱乐信息控制器向所述座舱域控制器发出第三级情绪调节指令,以使所述座舱域控制器响应于所述第三级情绪调节指令,执行第三级情绪缓解策略,所述第三级情绪缓解策略包括:自动开启后排中控屏,所述后排中控屏上显示虚拟的执行预设动作的卡通人物形象,所述预设动作包括发出声音并作出舞蹈动作;
40.在所述座舱域控制器执行所述第三级情绪缓解策略的过程中,每隔第三预设时间,则返回根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态的步骤,并且在确定当前儿童的情绪状态的步骤中,增加声音特征值的权重,并降低后排儿童温度值的权重;
41.若此时儿童的情绪状态得到缓解,则所述座舱域控制器控制虚拟形象退出舞蹈动作,关闭后排中控屏,且提示即将开启音乐模式,返回所述第一级情绪缓解策略。
42.本发明还提供一种采用上述方法的基于儿童情绪识别的控制系统,包括:
43.后排座椅压力传感器、车身控制器、儿童遗留检测系统、智能座舱系统和娱乐信息控制器,所述娱乐信息控制器分别与所述车身控制器、所述儿童遗留检测系统和所述智能座舱系统连接,所述车身控制器还与所述后排座椅压力传感器连接,其中:
44.所述后排座椅压力传感器用于对后排座椅压力进行检测,得到后排座椅压力值;
45.所述车身控制器用于判断所述后排座椅压力值是否达到预设压力阈值,所述预设压力阈值用于表示儿童的体重限值;
46.所述儿童遗留检测系统用于在所述车身控制器判断所述后排座椅压力值达到预设压力阈值的情况下,检测后排座椅上的目标物的温度,以判断所述目标物是否为活体;
47.所述车身控制器还用于在所述目标物为活体的情况下,确定后排座椅有儿童,并触发中控锁落锁且车窗开度上升至预设开度值;
48.所述娱乐信息控制器用于根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态;
49.所述智能座舱系统用于根据当前儿童的情绪状态对儿童情绪进行调节。
50.如上所述的基于儿童情绪识别的控制系统,其中,优选的是,所述车身控制器具体用于:判断车门是否处于关闭状态,且整车的ign电源是否处于上电状态;
51.所述儿童遗留检测系统具体用于:在车门处于关闭状态,且整车的ign电源处于上电状态的情况下,检测后排座椅上的目标物的温度,得到目标温度值,并在所述目标温度值超过预设温度阈值的情况下,确定所述目标物为活体,并在所述目标物为活体后,向娱乐信息控制器发送标志位;
52.所述娱乐信息控制器还用于:向所述车身控制器发送所述标志位;
53.所述车身控制器还用于:响应于所述标志位,向中控锁和车窗发送工作指令,以触发中控锁落锁且车窗开度上升至预设值。
54.如上所述的基于儿童情绪识别的控制系统,其中,优选的是,所述基于儿童情绪识别的控制系统还包括后排语音模块,与所述娱乐信息控制器连接,用于实时检测后排儿童的声音特征值,并将检测的声音特征值发送到娱乐信息控制器;
55.所述儿童遗留检测系统还用于:在所述语音模块检测到的儿童的声音特征值满足预设情绪不佳的特征值的情况下,实时检测后排儿童温度值,并将检测的后排儿童温度值发送到所述娱乐信息控制器;
56.所述娱乐信息控制器还用于:计算出当前后排儿童温度值与上一时刻的后排温度温度值的差值,得到温度差值,并判断所述温度差值是否满足预设温度范围,并在所述温度差值满足预设温度范围的情况下,对所述后排语音模块输入的声音特征值和所述儿童遗留检测系统输入的后排儿童温度值进行加权求和,并根据加权求和后的结果判断当前儿童的情绪状态,
57.所述智能座舱系统包括座舱域控制器和与所述座舱域控制器连接的声源定位模块、音效场、后排扬声器、车内氛围灯、后排语音模块和后排中控屏,其中:
58.所述声源定位模块具体用于在当前儿童的情绪状态不佳的情况下,对儿童所处位置进行定位,并将儿童定位信息发送到娱乐信息控制器;
59.所述娱乐信息控制器还用于向座舱域控制器发出第一级情绪调节指令;
60.所述座舱域控制器具体用于:响应于所述第一级情绪调节指令,执行第一级情绪缓解策略,所述第一级情绪缓解策略包括:根据所述儿童定位信息调节音效场位置,并控制儿童类音频节目的声音输出端口从后排扬声器中输出,同时降低后排非儿童类音频节目的声音输出,且将车内氛围灯调节为颜和/或闪烁频率随音乐变化;
61.所述娱乐信息控制器还用于:在执行第一级情绪缓解策略后儿童的情绪状态仍不佳的情况下,向所述座舱域控制器发出第二级情绪调节指令;
62.所述座舱域控制器还用于:响应于所述第二级情绪调节指令,执行第二级情绪缓解策略,所述第二级情绪缓解策略包括:将后排语音模块开启闲聊模式且语音发音人为儿童;
63.所述娱乐信息控制器还用于:在执行第二级情绪缓解策略后儿童的情绪状态仍不佳的情况下,向所述座舱域控制器发出第三级情绪调节指令;
64.所述座舱域控制器还用于:响应于所述第三级情绪调节指令,执行第三级情绪缓解策略,所述第三级情绪缓解策略包括:自动开启后排中控屏,所述后排中控屏上显示虚拟的执行预设动作的卡通人物形象,所述预设动作包括发出声音并作出舞蹈动作;
65.所述座舱域控制器还用于:在儿童的情绪状态得到缓解后,控制虚拟形象退出舞蹈动作,关闭后排中控屏,且提示即将开启音乐模式,返回所述第一级情绪缓解策略。
66.本发明提供一种基于儿童情绪识别的控制方法及系统,通过后排座椅的压力检测结合后排座椅上目标物的温度检测,判断后排座椅是否有儿童,并在有儿童是触发中控锁落锁,车窗开度上升,保证儿童安全;根据后排儿童的声音特征值和温度值,确定儿童情绪状态,并通过智能座舱系统调节儿童情绪,既能实现儿童情绪的识别,也能实现儿童情绪的缓解,不需要额外布置后排摄像头,成本较低,且不涉及用户隐私;且mp5系统无需提升硬件,只需要利用车内本身的后排语音模块和儿童遗留检测系统共同作用,即可实现低成本的儿童情绪检测和关怀;mp5将红外检测和语音生源定位、声音特征融合后,输出儿童情绪
和位置值,然后根据儿童情绪进行座舱内的氛围灯、在线节目、音效等系统控制,来转移儿童注意力,起到缓解儿童情绪的目的;通过儿童遗留检测系统、后排语音模块和mp5联动,在不同的场景下根据检测的权值进行结果评估,输出情绪结果,实现儿童情绪的识别和缓解。
附图说明
67.为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步描述,其中:
68.图1为本发明提供的基于儿童情绪识别的控制方法的实施例的流程图;
69.图2为本发明提供的基于儿童情绪识别的控制系统的实施例的结构框图。
具体实施方式
70.现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现,不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整,并且向本领域技术人员充分表达本公开的范围。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、材料的组分、数字表达式和数值应被解释为仅仅是示例性的,而不是作为限制。
71.本公开中使用的“第一”、“第二”:以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素,并不排除也涵盖其他要素的可能。“上”、“下”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
72.在本公开中,当描述到特定部件位于第一部件和第二部件之间时,在该特定部件与第一部件或第二部件之间可以存在居间部件,也可以不存在居间部件。当描述到特定部件连接其它部件时,该特定部件可以与所述其它部件直接连接而不具有居间部件,也可以不与所述其它部件直接连接而具有居间部件。
73.本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同,除非另外特别定义。还应当理解,在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
74.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,技术、方法和设备应当被视为说明书的一部分。
75.现有的中高配置的车辆都会预装儿童遗留检测系统,用于检测离车后是否有儿童或宠物留在车里,但是并没有充分利用在行车场景中。
76.如图1所示,本实施例提供的基于儿童情绪识别的控制方法在实际执行过程中,具体包括如下步骤:
77.步骤s1、对后排座椅压力进行检测,得到后排座椅压力值。
78.在本发明的基于儿童情绪识别的控制方法的一种实施方式中,所述步骤s1具体可以包括:
79.步骤s11、通过后排座椅压力传感器对后排座椅压力进行检测,得到后排座椅压力
值。
80.步骤s12、所述后排座椅压力传感器将检测的所述后排座椅压力值发送到车身控制器。
81.步骤s2、判断所述后排座椅压力值是否达到预设压力阈值,所述预设压力阈值用于表示儿童的体重限值。
82.具体地,通过所述车身控制器(bcm)判断所述后排座椅压力值是否达到预设压力阈值。在具体实现中,可以在后排的每个座椅下设置一个压力传感器,并且在车身控制器中预设3-6岁幼儿的体重区间。需要说明的是,本发明对儿童的体重限值不作具体限定。
83.步骤s3、若是,则检测后排座椅上的目标物的温度,以判断所述目标物是否为活体。
84.在本发明的基于儿童情绪识别的控制方法的一种实施方式中,所述步骤s3具体可以包括:
85.步骤s31、通过车身控制器判断车门是否处于关闭状态,且整车的ign电源是否处于上电状态。
86.步骤s32、若均为是,则通过儿童遗留检测系统检测后排座椅上的目标物的温度,得到目标温度值。
87.步骤s33、若所述目标温度值超过预设温度阈值,则确定所述目标物为活体。
88.其中,儿童遗留检测系统通过红外检测传感器检测后排座椅上的目标物的温度,并判断所述目标物是否为活体。
89.步骤s4、若是,则确定后排座椅有儿童,触发中控锁落锁且车窗开度上升至预设开度值。
90.在本发明的基于儿童情绪识别的控制方法的一种实施方式中,所述步骤s4具体可以包括:
91.步骤s41、在所述儿童遗留检测系统检测后排座椅上的所述目标物为活体后,所述儿童遗留检测系统向娱乐信息控制器(mp5)发送标志位。
92.步骤s42、所述娱乐信息控制器(mp5)向所述车身控制器发送所述标志位。
93.步骤s43、所述车身控制器响应于所述标志位,向中控锁和车窗发送工作指令,以触发中控锁落锁且车窗开度上升至预设值。
94.通过车身控制器可以触发中控锁落锁且车窗开度上升至预设值,确保儿童不会探出车外。车窗开度上升的预设值例如为70%、80%,本发明对此不作具体限定。
95.步骤s5、根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态。
96.在本发明的基于儿童情绪识别的控制方法的一种实施方式中,所述步骤s5具体可以包括:
97.步骤s51、通过后排语音模块实时检测后排儿童的声音特征值。
98.步骤s52、在所述语音模块检测到的儿童的声音特征值满足预设情绪不佳的特征值(即情绪不佳的特征值)时,儿童遗留检测系统实时检测后排儿童温度值。
99.其中,在语音模块的语音算法中预先训练有儿童情绪不佳的声音特征值,便于将实时检测的儿童声音特征值与儿童情绪不佳的声音特征值比对。
100.步骤s53、所述后排语音模块将检测的声音特征值发送到娱乐信息控制器,并且所
述儿童遗留检测系统将检测的后排儿童温度值发送到娱乐信息控制器。
101.步骤s54、所述娱乐信息控制器计算出当前后排儿童温度值与上一时刻的后排温度温度值的差值,得到温度差值。
102.步骤s55、所述娱乐信息控制器判断所述温度差值是否满足预设温度范围。
103.其中,预设温度范围例如为0.1℃-0.5℃,需要说明的是,本发明对预设温度范围不作具体限定。
104.步骤s56、若满足,则所述娱乐信息控制器对所述后排语音模块输入的声音特征值和所述儿童遗留检测系统输入的后排儿童温度值进行加权求和,并根据加权求和后的结果判断当前儿童的情绪状态。
105.本发明在一种实施方式中,声音特征值的权重为0.6,后排儿童温度值的权重为0.4,需要说明的是,本发明对声音特征值及后排儿童温度值的权重不作具体限定。
106.步骤s6、根据当前儿童的情绪状态,通过智能座舱系统对儿童情绪进行调节。
107.在本发明的基于儿童情绪识别的控制方法的一种实施方式中,所述步骤s6具体可以包括:
108.步骤s61、若当前儿童的情绪状态不佳,则通过声源定位模块对儿童所处位置进行定位,并将儿童定位信息发送到娱乐信息控制器。
109.步骤s62、所述娱乐信息控制器向座舱域控制器发出第一级情绪调节指令,以使所述座舱域控制器响应于所述第一级情绪调节指令,执行第一级情绪缓解策略,所述第一级情绪缓解策略包括:根据所述儿童定位信息调节音效场位置,并控制儿童类音频节目的声音输出端口从后排扬声器中输出,同时降低后排非儿童类音频节目的声音输出,且将车内氛围灯调节为颜和/或闪烁频率随音乐变化。
110.通过第一级情绪缓解策略可以吸引儿童注意力,便于缓解儿童情绪。优选地,车内氛围灯的颜和闪烁频率均随音乐变化。
111.步骤s63、在所述座舱域控制器执行所述第一级情绪缓解策略的时间满足第一预设时间范围后,返回根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态的步骤,并且在确定当前儿童的情绪状态的步骤中,增加声音特征值的权重,并降低后排儿童温度值的权重。
112.本发明在一种实施方式中,声音特征值的权重由0.6增加为0.7,后排儿童温度值的权重由0.4降低为0.3,需要说明的是,本发明对声音特征值及后排儿童温度值的权重调整策略不作具体限定。
113.步骤s64、若此时儿童的情绪状态仍不佳,则所述娱乐信息控制器向所述座舱域控制器发出第二级情绪调节指令,以使所述座舱域控制器响应于所述第二级情绪调节指令,执行第二级情绪缓解策略,所述第二级情绪缓解策略包括:将后排语音模块开启闲聊模式且语音发音人为儿童。
114.通过第二级情绪缓解策略可以更加吸引儿童注意力。
115.步骤s65、在所述座舱域控制器执行所述第二级情绪缓解策略的时间满足第二预设时间范围后,返回根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态的步骤(即返回步骤s5),并且在确定当前儿童的情绪状态的步骤中,增加声音特征值的权重,并降低后排儿童温度值的权重。
116.本发明在一种实施方式中,声音特征值的权重由0.7增加为0.8,后排儿童温度值的权重由0.3降低为0.2,需要说明的是,本发明对声音特征值及后排儿童温度值的权重调整策略不作具体限定。
117.步骤s66、若此时儿童的情绪状态仍不佳,则所述娱乐信息控制器向所述座舱域控制器发出第三级情绪调节指令,以使所述座舱域控制器响应于所述第三级情绪调节指令,执行第三级情绪缓解策略,所述第三级情绪缓解策略包括:自动开启后排中控屏,所述后排中控屏上显示虚拟的执行预设动作的卡通人物形象,所述预设动作包括发出声音并作出舞蹈动作。
118.本发明在一种实施方式中,虚拟形象可与儿童语音或手动互动。
119.步骤s67、在所述座舱域控制器执行所述第三级情绪缓解策略的过程中,每隔第三预设时间,则返回根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态的步骤(即返回步骤s5)。
120.步骤s68、若此时儿童的情绪状态得到缓解,则所述座舱域控制器控制虚拟形象退出舞蹈动作,关闭后排中控屏,且提示即将开启音乐模式,返回所述第一级情绪缓解策略。
121.通过步骤s68,可避免儿童因长时间看中控屏而导致视力疲劳。
122.本发明实施例提供的基于儿童情绪识别的控制方法,通过后排座椅的压力检测结合后排座椅上目标物的温度检测,判断后排座椅是否有儿童,并在有儿童是触发中控锁落锁,车窗开度上升,保证儿童安全;根据后排儿童的声音特征值和温度值,确定儿童情绪状态,并通过智能座舱系统调节儿童情绪,既能实现儿童情绪的识别,也能实现儿童情绪的缓解,不需要额外布置后排摄像头,成本较低,且不涉及用户隐私;且mp5系统无需提升硬件,只需要利用车内本身的后排语音模块和儿童遗留检测系统共同作用,即可实现低成本的儿童情绪检测和关怀;mp5将红外检测和语音生源定位、声音特征融合后,输出儿童情绪和位置值,然后根据儿童情绪进行座舱内的氛围灯、在线节目、音效等系统控制,来转移儿童注意力,起到缓解儿童情绪的目的;通过儿童遗留检测系统、后排语音模块和mp5联动,在不同的场景下根据检测的权值进行结果评估,输出情绪结果,实现儿童情绪的识别和缓解。
123.相应地,如图2所示,本发明还提供一种基于儿童情绪识别的控制系统,包括:后排座椅压力传感器1、车身控制器2、儿童遗留检测系统5、智能座舱系统3和娱乐信息控制器4,所述娱乐信息控制器4分别与所述车身控制器2、所述儿童遗留检测系统5和所述智能座舱系统3连接,所述车身控制器2还与所述后排座椅压力传感器1连接,其中:
124.所述后排座椅压力传感器1用于对后排座椅压力进行检测,得到后排座椅压力值;
125.所述车身控制器2用于判断所述后排座椅压力值是否达到预设压力阈值,所述预设压力阈值用于表示儿童的体重限值;
126.所述儿童遗留检测系统5用于在所述车身控制器2判断所述后排座椅压力值达到预设压力阈值的情况下,检测后排座椅上的目标物的温度,以判断所述目标物是否为活体;
127.所述车身控制器2还用于在所述目标物为活体的情况下,确定后排座椅有儿童,并触发中控锁落锁且车窗开度上升至预设开度值;
128.所述娱乐信息控制器4用于根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态;
129.所述智能座舱系统3用于根据当前儿童的情绪状态对儿童情绪进行调节。
130.其中,所述车身控制器2具体用于:判断车门是否处于关闭状态,且整车的ign电源是否处于上电状态;
131.所述儿童遗留检测系统5具体用于:在车门处于关闭状态,且整车的ign电源处于上电状态的情况下,检测后排座椅上的目标物的温度,得到目标温度值,并在所述目标温度值超过预设温度阈值的情况下,确定所述目标物为活体,并在所述目标物为活体后,向娱乐信息控制器4发送标志位;
132.所述娱乐信息控制器4还用于:向所述车身控制器2发送所述标志位;
133.所述车身控制器2还用于:响应于所述标志位,向中控锁和车窗发送工作指令,以触发中控锁落锁且车窗开度上升至预设值。
134.进一步地,所述基于儿童情绪识别的控制系统还包括后排语音模块6,与所述娱乐信息控制器4连接,用于实时检测后排儿童的声音特征值,并将检测的声音特征值发送到娱乐信息控制器4;
135.所述儿童遗留检测系统5还用于:在所述语音模块检测到的儿童的声音特征值满足预设情绪不佳的特征值的情况下,实时检测后排儿童温度值,并将检测的后排儿童温度值发送到所述娱乐信息控制器4;
136.所述娱乐信息控制器4还用于:计算出当前后排儿童温度值与上一时刻的后排温度温度值的差值,得到温度差值,并判断所述温度差值是否满足预设温度范围,并在所述温度差值满足预设温度范围的情况下,对所述后排语音模块6输入的声音特征值和所述儿童遗留检测系统5输入的后排儿童温度值进行加权求和,并根据加权求和后的结果判断当前儿童的情绪状态,
137.所述智能座舱系统3包括座舱域控制器和与所述座舱域控制器连接的声源定位模块、音效场、后排扬声器、车内氛围灯、后排语音模块6和后排中控屏,其中:
138.所述声源定位模块具体用于在当前儿童的情绪状态不佳的情况下,对儿童所处位置进行定位,并将儿童定位信息发送到娱乐信息控制器4;
139.所述娱乐信息控制器4还用于向座舱域控制器发出第一级情绪调节指令;
140.所述座舱域控制器具体用于:响应于所述第一级情绪调节指令,执行第一级情绪缓解策略,所述第一级情绪缓解策略包括:根据所述儿童定位信息调节音效场位置,并控制儿童类音频节目的声音输出端口从后排扬声器中输出,同时降低后排非儿童类音频节目的声音输出,且将车内氛围灯调节为颜和/或闪烁频率随音乐变化;
141.所述娱乐信息控制器4还用于:在执行第一级情绪缓解策略后儿童的情绪状态仍不佳的情况下,向所述座舱域控制器发出第二级情绪调节指令;
142.所述座舱域控制器还用于:响应于所述第二级情绪调节指令,执行第二级情绪缓解策略,所述第二级情绪缓解策略包括:将后排语音模块6开启闲聊模式且语音发音人为儿童;
143.所述娱乐信息控制器4还用于:在执行第二级情绪缓解策略后儿童的情绪状态仍不佳的情况下,向所述座舱域控制器发出第三级情绪调节指令;
144.所述座舱域控制器还用于:响应于所述第三级情绪调节指令,执行第三级情绪缓解策略,所述第三级情绪缓解策略包括:自动开启后排中控屏,所述后排中控屏上显示虚拟的执行预设动作的卡通人物形象,所述预设动作包括发出声音并作出舞蹈动作;
145.所述座舱域控制器还用于:在儿童的情绪状态得到缓解后,控制虚拟形象退出舞蹈动作,关闭后排中控屏,且提示即将开启音乐模式,返回所述第一级情绪缓解策略。
146.本发明实施例提供的基于儿童情绪识别的控制系统,通过后排座椅的压力检测结合后排座椅上目标物的温度检测,判断后排座椅是否有儿童,并在有儿童是触发中控锁落锁,车窗开度上升,保证儿童安全;根据后排儿童的声音特征值和温度值,确定儿童情绪状态,并通过智能座舱系统调节儿童情绪,既能实现儿童情绪的识别,也能实现儿童情绪的缓解,不需要额外布置后排摄像头,成本较低,且不涉及用户隐私;且mp5系统无需提升硬件,只需要利用车内本身的后排语音模块和儿童遗留检测系统共同作用,即可实现低成本的儿童情绪检测和关怀;mp5将红外检测和语音生源定位、声音特征融合后,输出儿童情绪和位置值,然后根据儿童情绪进行座舱内的氛围灯、在线节目、音效等系统控制,来转移儿童注意力,起到缓解儿童情绪的目的;通过儿童遗留检测系统、后排语音模块和mp5联动,在不同的场景下根据检测的权值进行结果评估,输出情绪结果,实现儿童情绪的识别和缓解。
147.至此,已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
148.虽然已经通过示例对本公开的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本公开的范围。本领域的技术人员应该理解,可在不脱离本公开的范围和精神的情况下,对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。

技术特征:


1.一种基于儿童情绪识别的控制方法,其特征在于,包括:对后排座椅压力进行检测,得到后排座椅压力值;判断所述后排座椅压力值是否达到预设压力阈值,所述预设压力阈值用于表示儿童的体重限值;若是,则检测后排座椅上的目标物的温度,以判断所述目标物是否为活体;若是,则确定后排座椅有儿童,触发中控锁落锁且车窗开度上升至预设开度值;根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态;根据当前儿童的情绪状态,通过智能座舱系统对儿童情绪进行调节。2.根据权利要求1所述的基于儿童情绪识别的控制方法,其特征在于,所述对后排座椅压力进行检测,具体包括:通过后排座椅压力传感器对后排座椅压力进行检测,得到后排座椅压力值;所述后排座椅压力传感器将检测的所述后排座椅压力值发送到车身控制器。3.根据权利要求2所述的基于儿童情绪识别的控制方法,其特征在于,所述判断所述后排座椅压力值是否达到预设压力阈值,具体包括:通过所述车身控制器判断所述后排座椅压力值是否达到预设压力阈值。4.根据权利要求1所述的基于儿童情绪识别的控制方法,其特征在于,在判断所述后排座椅压力值达到预设压力阈值的情况下,所述检测后排座椅上的目标物的温度,以判断所述目标物是否为活体,具体包括:通过车身控制器判断车门是否处于关闭状态,且整车的ign电源是否处于上电状态;若均为是,则通过儿童遗留检测系统检测后排座椅上的目标物的温度,得到目标温度值;若所述目标温度值超过预设温度阈值,则确定所述目标物为活体。5.根据权利要求4所述的基于儿童情绪识别的控制方法,其特征在于,所述触发中控锁落锁且车窗开度上升至预设开度值,具体包括:在所述儿童遗留检测系统检测后排座椅上的所述目标物为活体后,所述儿童遗留检测系统向娱乐信息控制器发送标志位;所述娱乐信息控制器向所述车身控制器发送所述标志位;所述车身控制器响应于所述标志位,向中控锁和车窗发送工作指令,以触发中控锁落锁且车窗开度上升至预设值。6.根据权利要求1所述的基于儿童情绪识别的控制方法,其特征在于,所述根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态,具体包括:通过后排语音模块实时检测后排儿童的声音特征值;在所述语音模块检测到的儿童的声音特征值满足预设情绪不佳的特征值时,儿童遗留检测系统实时检测后排儿童温度值;所述后排语音模块将检测的声音特征值发送到娱乐信息控制器,并且所述儿童遗留检测系统将检测的后排儿童温度值发送到娱乐信息控制器;所述娱乐信息控制器计算出当前后排儿童温度值与上一时刻的后排温度温度值的差值,得到温度差值;所述娱乐信息控制器判断所述温度差值是否满足预设温度范围;
若满足,则所述娱乐信息控制器对所述后排语音模块输入的声音特征值和所述儿童遗留检测系统输入的后排儿童温度值进行加权求和,并根据加权求和后的结果判断当前儿童的情绪状态。7.根据权利要求6所述的基于儿童情绪识别的控制方法,其特征在于,所述根据当前儿童的情绪状态,通过智能座舱系统对儿童情绪进行调节,具体包括:若当前儿童的情绪状态不佳,则通过声源定位模块对儿童所处位置进行定位,并将儿童定位信息发送到娱乐信息控制器;所述娱乐信息控制器向座舱域控制器发出第一级情绪调节指令,以使所述座舱域控制器响应于所述第一级情绪调节指令,执行第一级情绪缓解策略,所述第一级情绪缓解策略包括:根据所述儿童定位信息调节音效场位置,并控制儿童类音频节目的声音输出端口从后排扬声器中输出,同时降低后排非儿童类音频节目的声音输出,且将车内氛围灯调节为颜和/或闪烁频率随音乐变化;在所述座舱域控制器执行所述第一级情绪缓解策略的时间满足第一预设时间范围后,返回根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态的步骤,并且在确定当前儿童的情绪状态的步骤中,增加声音特征值的权重,并降低后排儿童温度值的权重;若此时儿童的情绪状态仍不佳,则所述娱乐信息控制器向所述座舱域控制器发出第二级情绪调节指令,以使所述座舱域控制器响应于所述第二级情绪调节指令,执行第二级情绪缓解策略,所述第二级情绪缓解策略包括:将后排语音模块开启闲聊模式且语音发音人为儿童;在所述座舱域控制器执行所述第二级情绪缓解策略的时间满足第二预设时间范围后,返回根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态的步骤;若此时儿童的情绪状态仍不佳,则所述娱乐信息控制器向所述座舱域控制器发出第三级情绪调节指令,以使所述座舱域控制器响应于所述第三级情绪调节指令,执行第三级情绪缓解策略,所述第三级情绪缓解策略包括:自动开启后排中控屏,所述后排中控屏上显示虚拟的执行预设动作的卡通人物形象,所述预设动作包括发出声音并作出舞蹈动作;在所述座舱域控制器执行所述第三级情绪缓解策略的过程中,每隔第三预设时间,则返回根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态的步骤;若此时儿童的情绪状态得到缓解,则所述座舱域控制器控制虚拟形象退出舞蹈动作,关闭后排中控屏,且提示即将开启音乐模式,返回所述第一级情绪缓解策略。8.一种基于儿童情绪识别的控制系统,其特征在于,包括:后排座椅压力传感器、车身控制器、儿童遗留检测系统、智能座舱系统和娱乐信息控制器,所述娱乐信息控制器分别与所述车身控制器、所述儿童遗留检测系统和所述智能座舱系统连接,所述车身控制器还与所述后排座椅压力传感器连接,其中:所述后排座椅压力传感器用于对后排座椅压力进行检测,得到后排座椅压力值;所述车身控制器用于判断所述后排座椅压力值是否达到预设压力阈值,所述预设压力阈值用于表示儿童的体重限值;所述儿童遗留检测系统用于在所述车身控制器判断所述后排座椅压力值达到预设压力阈值的情况下,检测后排座椅上的目标物的温度,以判断所述目标物是否为活体;所述车身控制器还用于在所述目标物为活体的情况下,确定后排座椅有儿童,并触发
中控锁落锁且车窗开度上升至预设开度值;所述娱乐信息控制器用于根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态;所述智能座舱系统用于根据当前儿童的情绪状态对儿童情绪进行调节。9.根据权利要求8所述的基于儿童情绪识别的控制系统,其特征在于,所述车身控制器具体用于:判断车门是否处于关闭状态,且整车的ign电源是否处于上电状态;所述儿童遗留检测系统具体用于:在车门处于关闭状态,且整车的ign电源处于上电状态的情况下,检测后排座椅上的目标物的温度,得到目标温度值,并在所述目标温度值超过预设温度阈值的情况下,确定所述目标物为活体,并在所述目标物为活体后,向娱乐信息控制器发送标志位;所述娱乐信息控制器还用于:向所述车身控制器发送所述标志位;所述车身控制器还用于:响应于所述标志位,向中控锁和车窗发送工作指令,以触发中控锁落锁且车窗开度上升至预设值。10.根据权利要求9所述的基于儿童情绪识别的控制系统,其特征在于,所述基于儿童情绪识别的控制系统还包括后排语音模块,与所述娱乐信息控制器连接,用于实时检测后排儿童的声音特征值,并将检测的声音特征值发送到娱乐信息控制器;所述儿童遗留检测系统还用于:在所述语音模块检测到的儿童的声音特征值满足预设情绪不佳的特征值的情况下,实时检测后排儿童温度值,并将检测的后排儿童温度值发送到所述娱乐信息控制器;所述娱乐信息控制器还用于:计算出当前后排儿童温度值与上一时刻的后排温度温度值的差值,得到温度差值,并判断所述温度差值是否满足预设温度范围,并在所述温度差值满足预设温度范围的情况下,对所述后排语音模块输入的声音特征值和所述儿童遗留检测系统输入的后排儿童温度值进行加权求和,并根据加权求和后的结果判断当前儿童的情绪状态,所述智能座舱系统包括座舱域控制器和与所述座舱域控制器连接的声源定位模块、音效场、后排扬声器、车内氛围灯、后排语音模块和后排中控屏,其中:所述声源定位模块具体用于在当前儿童的情绪状态不佳的情况下,对儿童所处位置进行定位,并将儿童定位信息发送到娱乐信息控制器;所述娱乐信息控制器还用于向座舱域控制器发出第一级情绪调节指令;所述座舱域控制器具体用于:响应于所述第一级情绪调节指令,执行第一级情绪缓解策略,所述第一级情绪缓解策略包括:根据所述儿童定位信息调节音效场位置,并控制儿童类音频节目的声音输出端口从后排扬声器中输出,同时降低后排非儿童类音频节目的声音输出,且将车内氛围灯调节为颜和/或闪烁频率随音乐变化;所述娱乐信息控制器还用于:在执行第一级情绪缓解策略后儿童的情绪状态仍不佳的情况下,向所述座舱域控制器发出第二级情绪调节指令;所述座舱域控制器还用于:响应于所述第二级情绪调节指令,执行第二级情绪缓解策略,所述第二级情绪缓解策略包括:将后排语音模块开启闲聊模式且语音发音人为儿童;所述娱乐信息控制器还用于:在执行第二级情绪缓解策略后儿童的情绪状态仍不佳的情况下,向所述座舱域控制器发出第三级情绪调节指令;
所述座舱域控制器还用于:响应于所述第三级情绪调节指令,执行第三级情绪缓解策略,所述第三级情绪缓解策略包括:自动开启后排中控屏,所述后排中控屏上显示虚拟的执行预设动作的卡通人物形象,所述预设动作包括发出声音并作出舞蹈动作;所述座舱域控制器还用于:在儿童的情绪状态得到缓解后,控制虚拟形象退出舞蹈动作,关闭后排中控屏,且提示即将开启音乐模式,返回所述第一级情绪缓解策略。

技术总结


本发明公开了一种基于儿童情绪识别的控制方法及系统,所述方法包括:对后排座椅压力进行检测,得到后排座椅压力值;判断后排座椅压力值是否达到预设压力阈值;若是,则检测后排座椅上的目标物的温度,以判断目标物是否为活体;若是,则确定后排座椅有儿童,触发中控锁落锁且车窗开度上升至预设开度值;根据后排儿童的声音特征值和温度值,确定当前儿童的情绪状态;根据当前儿童的情绪状态,通过智能座舱系统对儿童情绪进行调节。本发明的基于儿童情绪识别的控制方法及系统,能够实现儿童情绪识别和缓解,不需要额外布置后排摄像头,成本较低,且不涉及用户隐私;且无需提升硬件,只需要利用车内现有系统,即可实现低成本的儿童情绪检测和关怀。检测和关怀。检测和关怀。


技术研发人员:

胡燕娇 王点墨 吴雅玲 陈桃花 阚瑞 张雨婷

受保护的技术使用者:

安徽江淮汽车集团股份有限公司

技术研发日:

2022.08.31

技术公布日:

2022/11/15

本文发布于:2024-09-22 10:27:14,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/3/15326.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:所述   后排   儿童   情绪
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议