情绪的识别方法、装置、计算机设备及存储介质与流程

1.本发明涉及情绪识别技术领域，尤其涉及一种情绪的识别方法、装置、计算机设备及存储介质。

背景技术：

2.当前情绪识别技术主要依赖人工智能技术领域中的机器学习技术，并且常见的情绪识别技术基于计算机视觉、自然语言处理和语音技术方面的深度学习技术。深度学习技术是当前机器学习技术中的一个具有突破性的方向。
3.当前的情绪识别系统多通过识别人的面部表情、声音和谈话内容来判断待识别人的情绪，也有一些方案是通过脑电波，皮电信号等生理信号来分析人的情绪情感。但一般是基于文本类的6大情绪识别(愤怒、惊讶、沮丧、快乐、恐惧和悲伤)，以此保证较高的情绪识别的准确率。
4.但是，上述方式可以识别出的情绪种类较少，在ai对话中，只使用6种情绪配置对话策略，会使机器人的应对策略较为僵化，不利于使用ai机器人实现对存在心理困扰的人进行心理疏导和初步心理干预。
5.因此，亟需一种可以识别出更多情绪的方案，以此提高在对话中更细致的体会到用户当前情绪的状态，以帮助重度心理困扰人。这对缓解重度心理困扰人可能不愿意与真人交流，甚至有可能有极端行为的情况，有重大意义。

技术实现要素：

6.本发明的主要目的在于提供一种情绪的识别方法、装置、计算机设备及存储介质，可以解决现有技术中的缺少可以识别出更多情绪的方案。
7.为实现上述目的，本发明第一方面提供一种情绪的识别方法，所述方法包括：
8.获取待识别的用户的语音数据以及文本数据，所述文本数据为对所述语音数据进行语音识别得到的；
9.将所述语音数据输入至语音情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第一情绪集合，以及将所述文本数据输入至文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第二情绪集合，所述情绪集合包括情绪标签与可信度的对应关系；
10.根据所述第一情绪集合与第二情绪集合中的可信度，以及预设的情绪概率阈值，确定所述用户的第三情绪集合，所述第三情绪集合包括第一可信度情绪集合以及第二可信度情绪集合；
11.利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定所述用户的目标情绪集合，所述情绪相关概率图用于反映n种细粒度的情绪标签之间的情绪相关概率，所述情绪相关概率用于反映一个情绪在另一个情绪存在时也存在的概率，所述对立情绪表用于反映n种细粒度的情绪标签中的每一种情绪标签对应的无关情绪，
所述无关情绪是指在一个情绪存在时必然不存在的情绪。
12.在一种可行实现方式中，所述第一可信度情绪集合中的可信度均大于所述第二可信度情绪集合中的可信度，则所述根据所述第一情绪集合与第二情绪集合中的的可信度、以及预设的情绪概率阈值，确定所述用户的第三情绪集合，包括：
13.将所述第一情绪集合中可信度大于等于第一情绪概率阈值的第一情绪标签，确定为第一高概率情绪子集；
14.将所述第二情绪集合中可信度概率大于等于第二情绪概率阈值的第二情绪标签，确定为第二高概率情绪子集；
15.根据所述第一高概率情绪子集以及所述第二高概率情绪子集，确定所述第一可信度情绪集合。
16.在一种可行实现方式中，所述方法还包括：
17.将所述第一情绪集合中可信度概率大于等于第三情绪概率阈值且小于等于第一情绪概率阈值的第一情绪标签，确定为第一低概率情绪子集，所述第一情绪概率阈值大于所述第三情绪概率阈值；
18.将所述第二情绪集合中可信度概率大于等于第四情绪概率阈值且小于等于第二情绪概率阈值的第二情绪标签，确定为第二低概率情绪子集，所述第二情绪概率阈值大于所述第四情绪概率阈值；
19.利用所述第一低概率情绪子集及第二低概率情绪子集，得到所述第二可信度情绪集合。
20.在一种可行实现方式中，所述利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定所述用户的目标情绪集合，包括：
21.利用对立情绪表确定所述第一可信度情绪集合中是否存在对立情绪；
22.当所述第一可信度情绪集合中存在对立情绪，则确定所述对立情绪之间的可信度差值；
23.若存在所述可信度差值大于等于预设的可信度差值阈值的第一对立情绪，则将所述第一对立情绪中的低可信度概率的情绪标签从所述第一可信度情绪集合中删除，更新所述第一可信度情绪集合；
24.若存在所述可信度差值小于预设的可信度差值阈值的第二对立情绪，则利用情绪相关概率图以及所述第一可信度情绪集合中的第一最高可信度情绪标签，确定所述第二对立情绪中是否存在所述第一最高可信度情绪标签的相关情绪；
25.若所述第二对立情绪中存在任一情绪标签为所述第一最高可信度情绪标签的相关情绪，则将所述第二对立情绪中的除相关情绪以外的情绪标签从所述第一可信度情绪集合中删除，更新所述第一可信度情绪集合；若第二对立情绪中的情绪标签不存在所述第一最高可信度情绪标签的相关情绪，则将第二对立情绪中除第二最高可信度情绪标签以外的情绪标签从所述第一可信度情绪集合中删除，更新所述第一可信度情绪集合；
26.当所述第一可信度情绪集合中不存在对立情绪，则将所述第一可信度情绪集合中所述最高可信度的情绪标签以外的情绪标签删除，更新所述第一可信度情绪集合；
27.利用第二可信度情绪集合、更新后的第一可信度情绪集合以及情绪相关概率图，确定目标情绪集合。
28.在一种可行实现方式中，所述利用第二可信度情绪集合、更新后的第一可信度情绪集合以及情绪相关概率图，确定目标情绪集合，包括：
29.利用所述情绪相关概率图确定所述第二可信度情绪集合中的第一情绪标签与所述更新后的第一可信度情绪集合的第二情绪标签是否为相关情绪；
30.当所述第一情绪标签与第二情绪标签是相关情绪，则在所述情绪相关概率图中查第二情绪标签对应的第一情绪标签的情绪相关概率；
31.若所述情绪相关概率与所述更新后的第一可信度情绪集合中的第二情绪标签的可信度之间的乘积大于等于预设的相关概率阈值，则保留所述第二可信度情绪集合中的第一情绪标签；
32.若所述情绪相关概率与所述更新后的第一可信度情绪集合中的第二情绪标签的可信度之间的乘积小于预设的相关概率阈值，或者当所述第一情绪标签与第二情绪标签为无关情绪，则从第二可信度情绪集合中删除所述第一情绪标签，更新所述第二可信度情绪集合；
33.将更新后的第二可信度情绪集合以及更新后的第一可信度情绪集合的并集作为目标情绪集合。
34.在一种可行实现方式中，所述利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定所述用户的目标情绪集合，之前还包括：
35.获取训练样本数据集，所述训练样本数据集包括若干条用于训练的情绪样本数据，每个所述情绪样本数据对应一个情绪标签集合，每个情绪标签集合包括多种情绪标签；
36.统计包括第n个情绪标签的目标情绪标签集合，以及所述目标情绪标签集合的第一集合个数，n属于n种细粒度的情绪标签，所述n取值1至n；
37.对于每种第三情绪标签，统计所有目标情绪标签集合中包括所述第三情绪标签的第二集合个数，所述第三情绪标签为除所述第n个情绪标签以外的任意一种细粒度的情绪标签；
38.将所述第一集合个数以及第二集合个数的比值，作为第三情绪标签的情绪与第n个情绪标签的情绪相关概率，得到各个第三情绪标签与第n个情绪标签的情绪相关概率；
39.将所述情绪相关概率大于预设的相关概率阈值的第三情绪标签，作为第n个情绪标签的相关情绪；
40.利用每种细粒度的情绪标签的相关情绪以及所述相关情绪的情绪相关概率生成所述情绪相关概率图。
41.在一种可行实现方式中，所述n为40，则所述将所述语音数据输入至语音情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第一情绪集合，以及将所述文本数据输入至文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第二情绪集合，包括：
42.利用所述语音情绪识别模型的语音特征转换算法将所述语音数据转换为特征向量；将所述特征向量输入至所述语音情绪识别模型的cnn模型进行语音特征提取，确定目标语音特征；
43.基于所述文本情绪识别模型的bert迁移算法以及情感类数据，对所述文本数据进行文本特征提取，得到所述文本数据的目标文本特征；
44.将所述目标语音特征以及所述目标文本特征分别输入至激活函数为sigmoid的全连接层进行40种细粒度的情绪标签的二分类处理，输出所述用户的第一情绪集合以及第二情绪集合。
45.为实现上述目的，本发明第二方面提供一种情绪的识别装置，所述装置包括：
46.数据获取模块：用于获取待识别的用户的语音数据以及文本数据，所述文本数据为对所述语音数据进行语音识别得到的；
47.情绪识别模块：用于将所述语音数据输入至语音情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第一情绪集合，以及将所述文本数据输入至文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第二情绪集合，所述情绪集合包括情绪标签与可信度的对应关系；
48.情绪筛选模块：用于根据所述第一情绪集合与第二情绪集合中的可信度，以及预设的情绪概率阈值，确定所述用户的第三情绪集合，所述第三情绪集合包括第一可信度情绪集合以及第二可信度情绪集合；
49.情绪确定模块：用于利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定所述用户的目标情绪集合，所述情绪相关概率图用于反映n种细粒度的情绪标签之间的情绪相关概率，所述情绪相关概率用于反映一个情绪在另一个情绪存在时也存在的概率，所述对立情绪表用于反映n种细粒度的情绪标签中的每一种情绪标签对应的无关情绪，所述无关情绪是指在一个情绪存在时必然不存在的情绪。
50.为实现上述目的，本发明第三方面提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如第一方面及任一可行实现方式所示步骤。
51.为实现上述目的，本发明第四方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面及任一可行实现方式所示步骤。
52.采用本发明实施例，具有如下有益效果：
53.本发明提供一种情绪的识别方法，方法包括：获取待识别的用户的语音数据以及文本数据，文本数据为对语音数据进行语音识别得到的；将语音数据输入至语音情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出用户的第一情绪集合，以及将文本数据输入至文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出用户的第二情绪集合，情绪集合包括情绪标签与可信度的对应关系；根据第一情绪集合与第二情绪集合中的可信度，以及预设的情绪概率阈值，确定用户的第三情绪集合，第三情绪集合包括第一可信度情绪集合以及第二可信度情绪集合；利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定用户的目标情绪集合，情绪相关概率图用于反映n种细粒度的情绪标签之间的情绪相关概率，情绪相关概率用于反映一个情绪在另一个情绪存在时也存在的概率，对立情绪表用于反映n种细粒度的情绪标签中的每一种情绪标签对应的无关情绪，无关情绪是指在一个情绪存在时必然不存在的情绪。通过上述方法，可以实现n种细粒度情绪的识别，提高情绪类别的丰富度，并且通过情绪相关概率图以及对立情绪表得到目标情绪集合，明确用户真实情绪，较之直接输出情绪识别结果，可提高情绪识别的准确度。
附图说明
54.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
55.其中：
56.图1为本发明实施例中一种情绪的识别方法的流程图；
57.图2为本发明实施例中一种情绪的识别方法的另一流程图；
58.图3为本发明实施例中一种情绪的识别装置的结构框图；
59.图4为本发明实施例中计算机设备的结构框图。
具体实施方式
60.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
61.请参阅图1，图1为本发明实施例中一种情绪的识别方法的流程图，如图1所示方法可以应用于服务器，也可以应用于终端，下面以应用于终端进行说明，其中如图1所示方法包括如下步骤：
62.101、获取待识别的用户的语音数据以及文本数据；
63.其中，文本数据为对语音数据进行语音识别得到的。
64.需要说明的是，终端包括但不限于台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。服务器可以用独立的服务器或者是多个服务器组成的服务器集来实现。当该方法应用于服务器，则服务器通过网络连接与终端建立通讯，其中，应用于终端，则终端直接通过终端上的语音采集设备进行语音采集，得到待识别的用户的语音数据，其中，语音采集设备包括但不限于麦克风。进一步的，对采集到的语音数据进行语音识别(automatic speech recognition，asr)，将语音数据转换为文本数据，通过语音数据以及文本数据两个维度进行用户的情绪识别。其中，语音识别可以通过asr转换语音数据得到。
65.102、将所述语音数据输入至语音情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第一情绪集合，以及将所述文本数据输入至文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第二情绪集合；
66.进一步的，将待识别的语音数据以及文本数据分贝输入至情绪识别模型，其中，语音数据输入至语音情绪识别模型，文本数据输入至文本情绪识别模型，同时进行两种数据的情绪识别处理，确定语音及文本中可能存在情绪，具体的，将语音数据输入至语音情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出用户的第一情绪集合，以及将文本数据输入至文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出用户的第二情绪集合，需要说明的是，第一第二仅用于区分，不对技术特征造成具体限定。其中，情绪集合包括情绪标签与可信度的对应关系，情绪标签包括但不限于包括喜、怒、哀、乐等等。可信度
为语音数据或文本数据中存在这种情绪标签的概率。细粒度可以反映反映对象划分的程度，应用于上述情绪识别模型中，可以理解为情绪识别模型中的情绪标签加以细分，从而得到更科学合理的情绪识别模型，进而输出多种情绪标签，提高用户情绪识别的丰富度。示例性的，在本实施例中，可以划分出40种情绪，故n可以取值为40，则步骤102可以为进行40种细粒度的情绪标签的二分类处理。其中，40种细粒度包括的情绪共分为3大类，11中类，26小类。
67.进一步的，语音情绪识别模型包括但不限于深度学习模型(cnn)，文本情绪识别模型包括但不限于自然语言处理(nlp)模型。通过情绪识别模型对每一种情绪标签进行遍历，确定语音数据以及文本情绪中存在每一种情绪标签的概率。
68.103、根据所述第一情绪集合与第二情绪集合中的可信度，以及预设的情绪概率阈值，确定所述用户的第三情绪集合；
69.需要说明的是，经上述步骤102可以得到语音数据以及文本数据各自对应的情绪集合，得到语音数据以及文本情绪中存在每一种情绪标签的可信度，进一步的，可以通过语音数据或文本数据中存在这种情绪标签的可信度以及预设的情绪概率阈值，确定第三情绪集合，该第三情绪集合可以理解为通过预设的情绪概率阈值对第一情绪集合与第二情绪集合的可信度进行筛选后得到，进一步的，第三情绪集合包括第一可信度情绪集合以及第二可信度情绪集合，其中，第一可信度情绪集合以及第二可信度情绪集合可以通过预设的情绪概率阈值进行划分得到的。
70.104、利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定所述用户的目标情绪集合；
71.在得到上述第三情绪集合后，便可以通过第三情绪集合中的第一可信度情绪集合、第二可信度情绪集合进一步确定用户的目标情绪集合，得到最终的情绪识别结果。具体的，利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定用户的目标情绪集合。其中，情绪相关概率图用于反映n种细粒度的情绪标签之间的情绪相关概率，情绪相关概率用于反映一个情绪在另一个情绪存在时也存在的概率，对立情绪表用于反映n种细粒度的情绪标签中的每一种情绪标签对应的无关情绪，无关情绪是指在一个情绪存在时必然不存在的情绪。
72.示例性的，情绪相关概率图由n种细粒度的情绪标签中每一种情绪标签与相关情绪及情绪相关概率y。比如n种细粒度的情绪标签中包括：{情绪1、情绪2、情绪3、情绪4、情绪5、
…
、情绪40}，则情绪相关概率图包括情绪1对应的相关情绪：情绪2(y＝90％)及情绪3(y＝80％)；情绪2对应的相关情绪：情绪3(y＝65％)及情绪40(y＝50％)；情绪3对应的相关情绪：情绪5(y＝70％)及情绪8(y＝65％)，
……
情绪40对应的相关情绪：情绪29(y＝70％)及情绪27(y＝65％)。进一步的，对立情绪可以理解为难过与开心、放松与紧张等等。
73.本发明提供一种用户情绪的识别方法，方法包括：获取待识别的用户的语音数据以及文本数据，文本数据为对语音数据进行语音识别得到的；将语音数据输入至语音情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出用户的第一情绪集合，以及将文本数据输入至文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出用户的第二情绪集合，情绪集合包括情绪标签与可信度的对应关系；根据第一情绪集合与第二情绪集合中的可信度，以及预设的情绪概率阈值，确定用户的第三情绪集合，第三情绪集合包括第
一可信度情绪集合以及第二可信度情绪集合；利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定用户的目标情绪集合，情绪相关概率图用于反映n种细粒度的情绪标签之间的情绪相关概率，情绪相关概率用于反映一个情绪在另一个情绪存在时也存在的概率，对立情绪表用于反映n种细粒度的情绪标签中的每一种情绪标签对应的无关情绪，无关情绪是指在一个情绪存在时必然不存在的情绪。通过上述方法，可以实现n种细粒度情绪的识别，提高情绪类别的丰富度，并且通过情绪相关概率图以及对立情绪表得到目标情绪集合，明确用户真实情绪，较之直接输出情绪识别结果，可提高情绪识别的准确度。
74.请参阅图2，图2为本发明实施例中一种情绪的识别方法的另一流程图，如图2所示方法包括如下步骤：
75.201、获取待识别的用户的语音数据以及文本数据；
76.202、将所述语音数据输入至语音情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第一情绪集合，以及将所述文本数据输入至文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第二情绪集合；
77.需要说明的是，步骤201及202与图1所示步骤101及102的内容相似，为避免重复，此处不作赘述，具体可参考前述图1所示步骤101及102的内容。
78.在一种可行实现方式中，n可以取值40，则步骤202，包括步骤a1-a3：
79.a1、利用所述语音情绪识别模型的语音特征转换算法将所述语音数据转换为特征向量；将所述特征向量输入至所述语音情绪识别模型的cnn模型进行语音特征提取，确定目标语音特征；
80.可以理解的是，语音数据输入至语音情绪识别模型之后，可以利用语音特征转换算法将语音数据转换为可以进行采集的特征向量，进而由卷积神经网络模型(convolutional neural network，cnn)进行语音特征提取，确定目标语音特征，其中，目标语音特征包括但不限于音高、音强、音长、音等反映语音情感的特征。
81.a2、基于所述文本情绪识别模型的bert迁移算法以及情感类数据，对所述文本数据进行文本特征提取，得到所述文本数据的目标文本特征；
82.可以理解的是，文本数据输入至文本情绪识别模型之后，可以利用bert迁移算法以及情感类数据对文本数据进行特征提取，得到文本数据的目标文本特征，其中，目标文本特征包括但不限于语义、实体以及实体之间的依存关系等可以反映文本情感的特征。具体的，可以文本数据使用基于bert的迁移算法，使用情感类数据进行二次训练后，确定目标文本特征。
83.a3、将所述目标语音特征以及所述目标文本特征分别输入至激活函数为sigmoid的全连接层进行40种细粒度的情绪标签的二分类处理，输出所述用户的第一情绪集合以及第二情绪集合。
84.需要说明的是，得到目标语音特征以及目标文本特征之后，便可以通过目标语音特征以及目标文本特征进行情绪识别，具体的，将目标语音特征以及目标文本特征分别输入至激活函数为sigmoid的全连接层进行40种细粒度的情绪标签的二分类处理，输出用户的第一情绪集合以及第二情绪集合。
85.203、根据所述第一情绪集合与第二情绪集合中的可信度，以及预设的情绪概率阈
值，确定所述用户的第三情绪集合；
86.需要说明的是，步骤203与图1所示步骤103的内容相似，为避免重复，此处不作赘述，具体可参考前述图1所示步骤103的内容.
87.在一种可行实现方式中，第一可信度集合为可信度较高的语音数据以及文本数据的情绪标签所在集合，第二可信度集合为可信度较低的语音数据以及文本数据的情绪标签所在集合，因此，第一可信度情绪集合中的可信度均大于第二可信度情绪集合中的可信度，则步骤203可以包括下述步骤b1-b3来确定第一可信度情绪集合，以及c1-c3来确定第二可信度情绪集合，具体的：
88.b1、将所述第一情绪集合中可信度大于等于第一情绪概率阈值的第一情绪标签，确定为第一高概率情绪子集；
89.b2、将所述第二情绪集合中可信度概率大于等于第二情绪概率阈值的第二情绪标签，确定为第二高概率情绪子集；
90.b3、根据所述第一高概率情绪子集以及所述第二高概率情绪子集，确定所述第一可信度情绪集合；
91.其中，通过设置第一情绪概率阈值以及第二情绪概率阈值来对第一情绪集合以及第一情绪集合进行筛选，得到第一情绪集合的第一高概率情绪子集以及第二情绪集合的第二高概率情绪子集，第一高概率情绪子集与第二高概率情绪子集，便为第一可信度情绪集合。示例性的，第一情绪概率阈值以及第二情绪概率阈值可以相同也可以不同，可根据实际需要进行设置，在此不做限定。
92.c1、将所述第一情绪集合中可信度概率大于等于第三情绪概率阈值且小于等于第一情绪概率阈值的第一情绪标签，确定为第一低概率情绪子集；
93.其中，所述第一情绪概率阈值大于所述第三情绪概率阈值；
94.c2、将所述第二情绪集合中可信度概率大于等于第四情绪概率阈值且小于等于第二情绪概率阈值的第二情绪标签，确定为第二低概率情绪子集；
95.其中，所述第二情绪概率阈值大于所述第四情绪概率阈值；
96.c3、利用所述第一低概率情绪子集及第二低概率情绪子集，得到所述第二可信度情绪集合。
97.其中，通过设置第三情绪概率阈值以及第四情绪概率阈值来对第一情绪集合以及第一情绪集合进行再一次筛选，得到第一情绪集合的第一低概率情绪子集以及第二情绪集合的第二低概率情绪子集，第一低概率情绪子集与第二低概率情绪子集，便为第二可信度情绪集合。示例性的，第三情绪概率阈值以及第四情绪概率阈值可以相同也可以不同，可根据实际需要进行设置，在此不做限定。但是，第一情绪概率阈值大于第三情绪概率阈值，第二情绪概率阈值大于第四情绪概率阈值。
98.示例性的，语音数据使用logfbank算法转换为可采集的特征向量，使用cnn模型进行特征提取，通过使用sigmoid激活函数全连接层，让语音数据对40个细粒度情绪标签进行二分类。设置两个阈值a、b(其中a》b)，输出概率大于a的生成标签列表lista(第一高概率情绪子集)，输出概率在a、b之间的生成标签列表listb(第一低概率情绪子集)，小于b的标签则舍弃。
99.文本数据使用基于bert的迁移算法，使用情感类数据进行二次训练后，连接使用
sigmoid激活函数的全连接层。让文本数据对40个细粒度情绪标签进行二分类。设置两个阈值c、d(其中c》d)，输出概率大于c的生成标签列表listc(第二高概率情绪子集)，输出概率在c、d之间的生成标签列表listd(第二低概率情绪子集)，小于d的标签则舍弃。
100.在一种可行实现方式中，通过概率得到两个情绪集合之后，可以分别对两个集合中的情绪标签进行取舍，以进一步明确用户的真实情绪，则利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定用户的目标情绪集合，可以包括步骤204-2010，以此对第一可信度情绪集合也即高概率情绪集合中的情绪标签进行筛选，具体可以参考下述说明。
101.204、利用对立情绪表确定所述第一可信度情绪集合中是否存在对立情绪；
102.其中，对立情绪表可以由心理咨询师等专业人士提供，表中的内容为对40个细粒度情绪分别提供对立关系，如：开心
‑‑
》伤心、痛苦以及烦躁等。表示开心不会和后面的情绪(伤心、痛苦以及烦躁)同时出现。进一步的，利用对立情绪表确定第一可信度情绪集合中是否存在对立情绪。如果存在对立情绪则执行步骤205，如果不存在对立情绪则执行步骤209。
103.205、当所述第一可信度情绪集合中存在对立情绪，则确定所述对立情绪之间的可信度差值；
104.进一步的，当第一可信度情绪集合中存在对立情绪，则可以通过对立情绪之间的可信度差值确定对立情绪之间的取舍问题。当可信度差值大于等于预设的可信度差值阈值则执行步骤206，可信度差值小于预设的可信度差值阈值则执行207。可以理解的是，对立情绪可以一个或多个，根据不同的情绪识别结果可以得到不同的对立情绪的检测结果。
105.206、若存在所述可信度差值大于等于预设的可信度差值阈值的第一对立情绪，则将所述第一对立情绪中的低可信度概率的情绪标签从所述第一可信度情绪集合中删除，更新所述第一可信度情绪集合；
106.其中，通过预设的可信度差值阈值与可信度差值的关系有不同的处理方式来更新第一可信度情绪集合，比如通过大小比较的结果进行不同处理逻辑，其中，如果对立情绪中存在可信度差值大于等于预设的可信度差值阈值的第一对立情绪，那么可以将第一对立情绪中的低可信度概率的情绪标签从第一可信度情绪集合中删除，更新第一可信度情绪集合，保留第一对立情绪中的高可信度概率的的情绪标签，可以理解的是，高可信度概率以及低可信度概率是基于对立情绪中的情绪标签的可信度的大小关系确定的。
107.207、若存在所述可信度差值小于预设的可信度差值阈值的第二对立情绪，则利用情绪相关概率图以及所述第一可信度情绪集合中的第一最高可信度情绪标签，确定所述第二对立情绪中是否存在所述第一最高可信度情绪标签的相关情绪；
108.进一步的，如果对立情绪中存在可信度差值小于预设的可信度差值阈值的第二对立情绪，那么就可以通过另一个处理逻辑来更新第一可信度情绪集合，因此，若存在可信度差值小于预设的可信度差值阈值的第二对立情绪，则利用情绪相关概率图以及第一可信度情绪集合中的第一最高可信度情绪标签，确定对立情绪中是否存在该第一最高可信度情绪标签的相关情绪，通过第一最高可信度情绪标签对第二对立情绪进行取舍，该第一最高可信度情绪标签为第一可信度情绪集合中所有的标签的可信度中最高的。
109.208、若所述第二对立情绪中存在任一情绪标签为所述第一最高可信度情绪标签的相关情绪，则将所述第二对立情绪中的除相关情绪以外的情绪标签从所述第一可信度情
绪集合中删除，更新所述第一可信度情绪集合；若第二对立情绪中的情绪标签不存在所述第一最高可信度情绪标签的相关情绪，则将第二对立情绪中除第二最高可信度情绪标签以外的情绪标签从所述第一可信度情绪集合中删除，更新所述第一可信度情绪集合；
110.具体的，若所述第二对立情绪中存在任一情绪标签为第一最高可信度情绪标签的相关情绪，则将第二对立情绪中的除相关情绪以外的情绪标签从第一可信度情绪集合中删除，更新第一可信度情绪集合，也即保留相关情绪，删除无关情绪。
111.例如，第二对立情绪包括情绪标签1与情绪标签2的情绪对立，其中，情绪标签2的情绪是第一最高可信度情绪标签的相关情绪，那么便从第一可信度情绪集合中删除情绪标签1，继续保留情绪标签2。反之，情绪标签1的情绪是第一最高可信度情绪标签的相关情绪，那么便从第一可信度情绪集合中删除情绪标签2，继续保留情绪标签1。
112.进一步的，若第二对立情绪中的情绪标签不存在第一最高可信度情绪标签的相关情绪，也即第二对立情绪中的情绪标签与第一最高可信度情绪标签均无关，则将第二对立情绪中除第二最高可信度情绪标签以外的情绪标签从第一可信度情绪集合中删除，更新所述第一可信度情绪集合，其中，第二最高可信度情绪标签为第二对立情绪中的最高可信度对应的情绪标签。可以理解的是，虽然第二对立情绪中没有第一最高可信度情绪标签的相关情绪，一个原因在于本实施例中的情绪相关概率图仅保留较为相关的情绪，因此其也可能是用户的真实情绪，为了提高识别准确度，需要保留该第二对立情绪中第二最高可信度情绪标签的情绪标签，保证目标情绪集合的准确度。
113.例如：例如第二对立情绪包括情绪标签1与情绪标签2的情绪对立，其中，情绪标签1以及2的情绪都不是第一最高可信度情绪标签的相关情绪，而情绪标签1的可信度《情绪标签2的可信度，那么便从第一可信度情绪集合中删除情绪标签1，继续保留情绪标签2。反之，如果情绪标签1的可信度》情绪标签2的可信度，那么便从第一可信度情绪集合中删除情绪标签2，继续保留情绪标签1。
114.209、当所述第一可信度情绪集合中不存在对立情绪，则将所述第一可信度情绪集合中所述最高可信度的情绪标签以外的情绪标签删除，更新所述第一可信度情绪集合；
115.需要说明的是，不存在对立情绪说明的情绪均不对立，情感较为接近，因此，可以仅保留最高的可信度的情绪标签来更新第一可信度情绪集合。
116.2010、利用第二可信度情绪集合、更新后的第一可信度情绪集合以及情绪相关概率图，确定目标情绪集合。
117.需要说明的是，在本实施例中，得到更新后的第一可信度情绪集合并可以进一步的，更新第二可信度情绪集合，也即对第可信度的情绪集合进行筛选，具体的，可以通过更新后的第一可信度情绪集合与情绪相关概率图，来对第二可信度情绪集合进行筛选，确定用户最终的情绪集合。在之前生成细粒度标签时，算法将每个标签都作为独立的标签来考虑。但实际上，细粒度的情绪是存在相关关联的。一种情绪的出现，会同时影响到其他情绪出现的概率。通过n-gram的方法，从训练数据集中建立细粒度情绪相关概率图谱。(例如使用2-gram方法表示[难过、自责]两个情绪，即计算难过出现时，自责出现的概率；自责出现时，难过出现的概率)。
[0118]
在一种可行实现方式中，在步骤2010之前，需要预先设置情绪相关概率图，也即，步骤2010之前，还包括：
[0119]
d1、获取训练样本数据集，所述训练样本数据集包括若干条用于训练的情绪样本数据；
[0120]
在本实施例中，在进行语音情绪识别模型的训练以及文本情绪识别模型的训练时，会用到大量用于训练的情绪样本数据，若干的情绪样本数据构成训练样本数据集。其中，每个情绪样本数据对应一个情绪标签集合，每个情绪标签集合包括多种情绪标签。
[0121]
d2、统计包括第n个情绪标签的目标情绪标签集合，以及所述目标情绪标签集合的第一集合个数；
[0122]
需要说明的是，n属于n种细粒度的情绪标签，n取值1至n；n的取值范围可以根据情绪标签的总个数确定，若为40细粒度，则n的最大取值为40，最小取值为1。
[0123]
进一步的，统计包括第n个情绪标签的目标情绪标签集合，也即在多个情绪样本数据中确定，情绪样本数据的情绪标签集合中存在第n个情绪标签的目标情绪标签集合。并确定目标情绪标签集合的第一集合个数。
[0124]
d3、对于每种第三情绪标签，统计所有目标情绪标签集合中包括所述第三情绪标签的第二集合个数；
[0125]
进一步的，统计目标情绪标签集合中除第n个情绪标签以外的，其他的各个情绪标签出现的次数，也即目标情绪标签集合中，第三情绪标签为除第n个情绪标签以外的任意一种细粒度的情绪标签。
[0126]
d4、将所述第一集合个数以及第二集合个数的比值，作为第三情绪标签的情绪与第n个情绪标签的情绪相关概率，得到各个第三情绪标签与第n个情绪标签的情绪相关概率；
[0127]
最后，将第一集合个数(第n个情绪标签出现的总的集合个数)以及第二集合个数(第n个情绪标签与任一个除第n个情绪标签以外的情绪标签得总个数)之间的比值作为第n个情绪标签与其他情绪标签的占比，得到各个第三情绪标签与第n个情绪标签的情绪相关概率。
[0128]
d5、将所述情绪相关概率大于预设的相关概率阈值的第三情绪标签，作为第n个情绪标签的相关情绪；
[0129]
进一步的，可以通过情绪相关概率进行每种情绪的相关情绪的筛选，将大于预设的相关概率阈值的第三情绪标签，作为第n个情绪标签的相关情绪。
[0130]
d6、利用每种细粒度的情绪标签的相关情绪以及所述相关情绪的情绪相关概率生成所述情绪相关概率图。
[0131]
可以理解的是，最后情绪相关概率图由所有的情绪与相关情绪以及情绪与相关情绪概率构成。
[0132]
示例性的，准备10000条已标注的样本数据，样本数据由语音、文本和标注的情绪标签组成，语音数据可以为wav文件，每条文本数据和标签则表示如下：
[0133]
·
000001.wav
‑‑
前几天吵架骂了男友，说话的内容很过分，有点人身攻击他了。
‑‑
[后悔、自责、担忧]
[0134]
·
000002.wav
‑‑
云霄飞车真好玩，我下次还要去玩。
‑‑
[开心、激动、兴奋]
[0135]
·
000003.wav
‑‑
我不应该这么粗心，弄坏了小明的铅笔。
‑‑
[自责、愧疚、难过]
[0136]
统计10000条数据中每个细粒度标签和其他标签的出现概率关系生成概率图：
[0137]
·
后悔：自责60％，担忧45％。——》表示后悔出现时，自责和担忧出现的概率；
[0138]
·
开心：兴奋70％，激动50％。——》表示开心出现时，兴奋和激动出现的概率；
[0139]
·
自责：愧疚90％，难过60％。——》表示自责出现时，愧疚和难过出现的概率。对40个细粒度情绪做这种统计，得到每个情绪相关性最高的2个情绪。
[0140]
可以理解的是，可以通过预设的相关概率阈值来确定最终的情绪相关性最高情绪，也可以通过将相关情绪概率由高到低排列得到排名在前n个的情绪，比如，前2个。
[0141]
下面对上述步骤204-2010举例说明：1.1用a集合表示文本数据生成的第二情绪标签集合，a0到a39表示40个情绪，则文本情绪识别模型的输出为：
[0142]
a＝{a0‑‑
》91％，a1‑‑
》65％，a2‑‑
》53％，a3‑‑
》42％，a4‑‑
》75％.....a
39
‑‑
》0％}；
[0143]
1.2取概率大于50％的情绪，则a＝{a0‑‑
》91％，a4‑‑
》75％，a2‑‑
》53％}。
[0144]
2.1用b集合表示语音数据生成的第一情绪标签集合，a0到a
39
表示40个情绪，则语音情绪识别模型的输出为：
[0145]
b＝{a0‑‑
》20％，a1‑‑
》71％，a2‑‑
》62％，a3‑‑
》71％，a4‑‑
》35％.....a
39
‑‑
》0％}；
[0146]
2.2取概率大于50％的情绪，则b＝{a3‑‑
》71％，a1‑‑
》71％，a2‑‑
》62％}。
[0147]
3.设c为融合模型最终的输出概率标签，该开始为空。
[0148]
4.取概率大于70％的概率(第一可信度情绪集合)加入c：c＝{a0，a1，a3，a4}。
[0149]
5.根据对立情绪表判断a0，a1，a3，a4是否存在对立情绪有不同的处理方式：。
[0150]
5.1首先将c中情绪按照可信度排序c＝{a0‑‑
》91％，a4‑‑
》75％，a1‑‑
》71％,a3‑‑
》71％}。
[0151]
6.对立检测，先查a0，判断a1、a2、a3是不是它的对立情绪。
[0152]
7.设a3是a0的对立，因为概率差大于15％直接舍弃a3，此时c＝{a0,a4,a1}。
[0153]
8.再查a4，判断a1是不是它的对立情绪。如果是，因为概率差比较小，则判断a4和a1在情绪相关概率图中，谁是a0的相关情绪。如果a1相关，a4不相关，则舍弃a4。c＝{a0,a1}。如果a1和a4都和a0不相关，则取概率更高的a4，c＝{a0,a4}。
[0154]
最后，利用第二可信度情绪集合、更新后的第一可信度情绪集合以及情绪相关概率图，确定目标情绪集合。
[0155]
在一种可行实现方式中，得到更新后的第一可信度情绪集合之后，可以继续对第二可信度情绪集合进行更新，具体可以包括步骤e1-e5，以此对第二可信度情绪集合也即低概率情绪集合中的情绪标签进行筛选，具体可以参考下述说明。
[0156]
也即步骤2010可以包括e1-e2：
[0157]
e1、利用所述情绪相关概率图确定所述第二可信度情绪集合中的第一情绪标签与所述更新后的第一可信度情绪集合的第二情绪标签是否为相关情绪；
[0158]
需要说明的是，可以利用更新后的第一可信度情绪集合来更新第二可信度情绪集合，比如通过判断两个集合中是否存在相关情绪，具体的，利用情绪相关概率图确定第二可信度情绪集合中的第一情绪标签与更新后的第一可信度情绪集合的第二情绪标签是否为相关情绪。其中，第一情绪标签为第二可信度情绪集合中任一个情绪标签，第二情绪标签为更新后的第一可信度情绪集合中任一个情绪标签。通过情绪相关概率图确定是否是相关情绪，若当第一情绪标签与第二情绪标签是相关情绪，则执行步骤e2；当第一情绪标签与第二情绪标签为无关情绪，则执行步骤e5。
[0159]
e2、当所述第一情绪标签与第二情绪标签是相关情绪，则在所述情绪相关概率图中查第二情绪标签对应的第一情绪标签的情绪相关概率；
[0160]
需要说明的是，如果第一情绪标签与第二情绪标签是相关情绪，并可以利用情绪相关概率图得到更新后的第一可信度情绪集合的第二情绪标签对应的相关情绪及其对应的情绪相关概率，进而可以在情绪相关概率图中查第二情绪标签对应的第一情绪标签的情绪相关概率。比如，后悔(第二情绪标签)：自责60％，担忧45％。而第一情绪标签为自责，则第二情绪标签对应的第一情绪标签的情绪相关概率为60％。
[0161]
e3、若所述情绪相关概率与所述更新后的第一可信度情绪集合中的第二情绪标签的可信度之间的乘积大于等于预设的相关概率阈值，则保留所述第二可信度情绪集合中的第一情绪标签；
[0162]
进一步的，得到第二情绪标签对应的第一情绪标签的情绪相关概率之后，便可以进一步确定两个情绪标签在本次情绪识别中的相关度。该相关度可以通过可信度与情绪相关概率的乘积确定，相关度与乘积的结果成正比，乘积越大相关度越高。具体的，将情绪识别模型识别的第二情绪标签的可信度与统计的第一情绪标签的情绪相关概率相乘。如果乘积大于等于预设的相关概率阈值，表明相关度超过阈值范围，该第二可信度情绪集合中的第一情绪标签为真实的相关情绪，故保留第二可信度情绪集合中的第一情绪标签。反之，若情绪相关概率与更新后的第一可信度情绪集合中的第二情绪标签的可信度之间的乘积小于预设的相关概率阈值，则执行步骤e4。
[0163]
e4、若所述情绪相关概率与所述更新后的第一可信度情绪集合中的第二情绪标签的可信度之间的乘积小于预设的相关概率阈值，或者当所述第一情绪标签与第二情绪标签为无关情绪，则从第二可信度情绪集合中删除所述第一情绪标签，更新所述第二可信度情绪集合；
[0164]
e5、将更新后的第二可信度情绪集合以及更新后的第一可信度情绪集合的并集作为目标情绪集合。
[0165]
其中，若情绪相关概率与更新后的第一可信度情绪集合中的第二情绪标签的可信度之间的乘积小于预设的相关概率阈值，说明此次情绪识别中，二者不是真的相关，故从第二可信度情绪集合中删除第一情绪标签，更新第二可信度情绪集合。可以理解的是，情绪相关概率图中第二情绪标签的相关情绪没有第一第二可信度情绪集合，也即第一情绪标签与第二情绪标签为无关情绪，故从第二可信度情绪集合中删除第一情绪标签，更新第二可信度情绪集合。最后，将更新后的第二可信度情绪集合以及更新后的第一可信度情绪集合取并集，得到最后的目标情绪集合。
[0166]
继续以上述为例，其中，更新后的第一可信度情绪集合为c＝{a0，a4}，取概率大于50％小于等于70％的情绪a2，判断a0，a4是否a2的相关情绪，通过计算概率乘积。如果a0的可信度*a2的情绪相关概率的乘积大于25％，则认为a2是语句的情绪。此时c＝{a0，a2，a4}。
[0167]
本发明提供一种用户情绪的识别方法，方法包括：获取待识别的用户的语音数据以及文本数据，文本数据为对语音数据进行语音识别得到的；将语音数据以及文本数据分别输入至语音情绪识别模型以及文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出用户的第一情绪集合以及第二情绪集合，情绪集合包括情绪标签与可信度的对应关系；根据第一情绪集合与第二情绪集合中的可信度，以及预设的情绪概率阈值，确定包括
第一可信度情绪集合以及第二可信度情绪集合的第三情绪集合；其中，第一可信度情绪集合为高可信度情绪集合以及第二可信度情绪集合为低可信度情绪集合，通过先对高可信度情绪集合级进行情绪的筛选，利用更新后的第一可信度情绪集合对第二可信度情绪集合进行筛选，并且情绪相关概率图以及对立情绪表作为判断参考，确定用户的目标情绪集合，使得在进行n种细粒度的情绪识别时，也可以得到较为准确的情绪识别结果，使得目标情绪集合的确定，准确度更高。通过上述方法，不仅可以实现n种细粒度情绪的识别，提高情绪类别的丰富度，并且通过情绪相关概率图以及对立情绪表进行第一可信度情绪集合的更新，并且利用更新后的第一可信度情绪集合对第二可信度情绪集合进行更新，得到最终的目标情绪集合，明确用户真实情绪，有效提高情绪识别准确度。
[0168]
请参阅图3，图3为本发明实施例中一种情绪的识别装置的结构框图，如图3所示装置包括：
[0169]
数据获取模块301：用于获取待识别的用户的语音数据以及文本数据，所述文本数据为对所述语音数据进行语音识别得到的；
[0170]
情绪识别模块302：用于将所述语音数据输入至语音情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第一情绪集合，以及将所述文本数据输入至文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第二情绪集合，所述情绪集合包括情绪标签与可信度的对应关系；
[0171]
情绪筛选模块303：用于根据所述第一情绪集合与第二情绪集合中的可信度，以及预设的情绪概率阈值，确定所述用户的第三情绪集合，所述第三情绪集合包括第一可信度情绪集合以及第二可信度情绪集合；
[0172]
情绪确定模块304：用于利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定所述用户的目标情绪集合，所述情绪相关概率图用于反映n种细粒度的情绪标签之间的情绪相关概率，所述情绪相关概率用于反映一个情绪在另一个情绪存在时也存在的概率，所述对立情绪表用于反映n种细粒度的情绪标签中的每一种情绪标签对应的无关情绪，所述无关情绪是指在一个情绪存在时必然不存在的情绪。
[0173]
本发明提供一种用户情绪的识别装置，装置包括：数据获取模块：用于获取待识别的用户的语音数据以及文本数据，文本数据为对语音数据进行语音识别得到的；情绪识别模块：用于将语音数据输入至语音情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出用户的第一情绪集合，以及将文本数据输入至文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出用户的第二情绪集合，情绪集合包括情绪标签与可信度的对应关系；情绪筛选模块：用于根据第一情绪集合与第二情绪集合中的可信度，以及预设的情绪概率阈值，确定用户的第三情绪集合，第三情绪集合包括第一可信度情绪集合以及第二可信度情绪集合；情绪确定模块：用于利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定用户的目标情绪集合，情绪相关概率图用于反映n种细粒度的情绪标签之间的情绪相关概率，情绪相关概率用于反映一个情绪在另一个情绪存在时也存在的概率，对立情绪表用于反映n种细粒度的情绪标签中的每一种情绪标签对应的无关情绪，无关情绪是指在一个情绪存在时必然不存在的情绪。通过上述方式，可以实现n种细粒度情绪的识别，提高情绪类别的丰富度，并且通过情绪相关概率图以及对立情绪表得到目标情绪集合，明确用户真实情绪，较之直接输出情绪识别结果，可提高情绪识别的准确
度。
[0174]
图4示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0175]
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如图1或图2所示方法的步骤。
[0176]
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如图1或图2所示方法的步骤。
[0177]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0178]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0179]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：

1.一种情绪的识别方法，其特征在于，所述方法包括：获取待识别的用户的语音数据以及文本数据，所述文本数据为对所述语音数据进行语音识别得到的；将所述语音数据输入至语音情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第一情绪集合，以及将所述文本数据输入至文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第二情绪集合，所述情绪集合包括情绪标签与可信度的对应关系；根据所述第一情绪集合与第二情绪集合中的可信度，以及预设的情绪概率阈值，确定所述用户的第三情绪集合，所述第三情绪集合包括第一可信度情绪集合以及第二可信度情绪集合；利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定所述用户的目标情绪集合，所述情绪相关概率图用于反映n种细粒度的情绪标签之间的情绪相关概率，所述情绪相关概率用于反映一个情绪在另一个情绪存在时也存在的概率，所述对立情绪表用于反映n种细粒度的情绪标签中的每一种情绪标签对应的无关情绪，所述无关情绪是指在一个情绪存在时必然不存在的情绪。2.根据权利要求1所述方法，其特征在于，所述第一可信度情绪集合中的可信度均大于所述第二可信度情绪集合中的可信度，则所述根据所述第一情绪集合与第二情绪集合中的的可信度、以及预设的情绪概率阈值，确定所述用户的第三情绪集合，包括：将所述第一情绪集合中可信度大于等于第一情绪概率阈值的第一情绪标签，确定为第一高概率情绪子集；将所述第二情绪集合中可信度概率大于等于第二情绪概率阈值的第二情绪标签，确定为第二高概率情绪子集；根据所述第一高概率情绪子集以及所述第二高概率情绪子集，确定所述第一可信度情绪集合。3.根据权利要求2所述方法，其特征在于，所述方法还包括：将所述第一情绪集合中可信度概率大于等于第三情绪概率阈值且小于等于第一情绪概率阈值的第一情绪标签，确定为第一低概率情绪子集，所述第一情绪概率阈值大于所述第三情绪概率阈值；将所述第二情绪集合中可信度概率大于等于第四情绪概率阈值且小于等于第二情绪概率阈值的第二情绪标签，确定为第二低概率情绪子集，所述第二情绪概率阈值大于所述第四情绪概率阈值；利用所述第一低概率情绪子集及第二低概率情绪子集，得到所述第二可信度情绪集合。4.根据权利要求1所述方法，其特征在于，所述利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定所述用户的目标情绪集合，包括：利用对立情绪表确定所述第一可信度情绪集合中是否存在对立情绪；当所述第一可信度情绪集合中存在对立情绪，则确定所述对立情绪之间的可信度差值；若存在所述可信度差值大于等于预设的可信度差值阈值的第一对立情绪，则将所述第
一对立情绪中的低可信度概率的情绪标签从所述第一可信度情绪集合中删除，更新所述第一可信度情绪集合；若存在所述可信度差值小于预设的可信度差值阈值的第二对立情绪，则利用情绪相关概率图以及所述第一可信度情绪集合中的第一最高可信度情绪标签，确定所述第二对立情绪中是否存在所述第一最高可信度情绪标签的相关情绪；若所述第二对立情绪中存在任一情绪标签为所述第一最高可信度情绪标签的相关情绪，则将所述第二对立情绪中的除相关情绪以外的情绪标签从所述第一可信度情绪集合中删除，更新所述第一可信度情绪集合；若第二对立情绪中的情绪标签不存在所述第一最高可信度情绪标签的相关情绪，则将第二对立情绪中除第二最高可信度情绪标签以外的情绪标签从所述第一可信度情绪集合中删除，更新所述第一可信度情绪集合；当所述第一可信度情绪集合中不存在对立情绪，则将所述第一可信度情绪集合中所述最高可信度的情绪标签以外的情绪标签删除，更新所述第一可信度情绪集合；利用第二可信度情绪集合、更新后的第一可信度情绪集合以及情绪相关概率图，确定目标情绪集合。5.根据权利要求4所述方法，其特征在于，所述利用第二可信度情绪集合、更新后的第一可信度情绪集合以及情绪相关概率图，确定目标情绪集合，包括：利用所述情绪相关概率图确定所述第二可信度情绪集合中的第一情绪标签与所述更新后的第一可信度情绪集合的第二情绪标签是否为相关情绪；当所述第一情绪标签与第二情绪标签是相关情绪，则在所述情绪相关概率图中查第二情绪标签对应的第一情绪标签的情绪相关概率；若所述情绪相关概率与所述更新后的第一可信度情绪集合中的第二情绪标签的可信度之间的乘积大于等于预设的相关概率阈值，则保留所述第二可信度情绪集合中的第一情绪标签；若所述情绪相关概率与所述更新后的第一可信度情绪集合中的第二情绪标签的可信度之间的乘积小于预设的相关概率阈值，或者当所述第一情绪标签与第二情绪标签为无关情绪，则从第二可信度情绪集合中删除所述第一情绪标签，更新所述第二可信度情绪集合；将更新后的第二可信度情绪集合以及更新后的第一可信度情绪集合的并集作为目标情绪集合。6.根据权利要求1所方法，其特征在于，所述利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定所述用户的目标情绪集合，之前还包括：获取训练样本数据集，所述训练样本数据集包括若干条用于训练的情绪样本数据，每个所述情绪样本数据对应一个情绪标签集合，每个情绪标签集合包括多种情绪标签；统计包括第n个情绪标签的目标情绪标签集合，以及所述目标情绪标签集合的第一集合个数，n属于n种细粒度的情绪标签，所述n取值1至n；对于每种第三情绪标签，统计所有目标情绪标签集合中包括所述第三情绪标签的第二集合个数，所述第三情绪标签为除所述第n个情绪标签以外的任意一种细粒度的情绪标签；将所述第一集合个数以及第二集合个数的比值，作为第三情绪标签的情绪与第n个情绪标签的情绪相关概率，得到各个第三情绪标签与第n个情绪标签的情绪相关概率；将所述情绪相关概率大于预设的相关概率阈值的第三情绪标签，作为第n个情绪标签
的相关情绪；利用每种细粒度的情绪标签的相关情绪以及所述相关情绪的情绪相关概率生成所述情绪相关概率图。7.根据权利要求1所述方法，其特征在于，所述n为40，则所述将所述语音数据输入至语音情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第一情绪集合，以及将所述文本数据输入至文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第二情绪集合，包括：利用所述语音情绪识别模型的语音特征转换算法将所述语音数据转换为特征向量；将所述特征向量输入至所述语音情绪识别模型的cnn模型进行语音特征提取，确定目标语音特征；基于所述文本情绪识别模型的bert迁移算法以及情感类数据，对所述文本数据进行文本特征提取，得到所述文本数据的目标文本特征；将所述目标语音特征以及所述目标文本特征分别输入至激活函数为sigmoid的全连接层进行40种细粒度的情绪标签的二分类处理，输出所述用户的第一情绪集合以及第二情绪集合。8.一种情绪的识别装置，其特征在于，所述装置包括：数据获取模块：用于获取待识别的用户的语音数据以及文本数据，所述文本数据为对所述语音数据进行语音识别得到的；情绪识别模块：用于将所述语音数据输入至语音情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第一情绪集合，以及将所述文本数据输入至文本情绪识别模型进行n种细粒度的情绪标签的二分类处理，输出所述用户的第二情绪集合，所述情绪集合包括情绪标签与可信度的对应关系；情绪筛选模块：用于根据所述第一情绪集合与第二情绪集合中的可信度，以及预设的情绪概率阈值，确定所述用户的第三情绪集合，所述第三情绪集合包括第一可信度情绪集合以及第二可信度情绪集合；情绪确定模块：用于利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定所述用户的目标情绪集合，所述情绪相关概率图用于反映n种细粒度的情绪标签之间的情绪相关概率，所述情绪相关概率用于反映一个情绪在另一个情绪存在时也存在的概率，所述对立情绪表用于反映n种细粒度的情绪标签中的每一种情绪标签对应的无关情绪，所述无关情绪是指在一个情绪存在时必然不存在的情绪。9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

技术总结

本发明实施例公开了一种情绪的识别方法、装置、计算机设备及存储介质，方法包括：获取待识别的用户的语音数据以及文本数据；分别对语音数据以及文本数据进行N种细粒度情绪标签的二分类处理，输出用户的第一情绪集合以及第二情绪集合；根据预设的情绪概率阈值以及第一情绪集合与第二情绪集合中的可信度，确定用户的第三情绪集合；利用第一可信度情绪集合、第二可信度情绪集合、情绪相关概率图以及对立情绪表，确定用户的目标情绪集合。通过上述方法，可以实现N种细粒度情绪的识别，提高情绪类别的丰富度，并且通过情绪相关概率图以及对立情绪表得到目标情绪集合，明确用户真实情绪，较之直接输出情绪识别结果，可提高情绪识别的准确度。度。度。