(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910089045.3
(22)申请日 2019.01.30
(71)申请人 北京入思技术有限公司
地址 100083 北京市海淀区清路甲18号中
关村东升科技园学院园东配楼2层224
室(东升地区)
(72)发明人 王春雷 尉迟学彪 毛鹏轩
(51)Int.Cl.
G06F 16/33(2019.01)
G06F 16/35(2019.01)
G06F 16/36(2019.01)
(54)发明名称一种跨模态情感知识图谱构建方法及装置(57)摘要本发明提供一种跨模态情感知识图谱构建方法及装置，所述方法包括：接收用户跨模态情感数据；提取所述跨模态情感数据中每种模态情感数据的情感特征值；根据所述情感特征值生成情感共现矩阵；根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个 不同的情感倾向子集；最后构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组，并将该三元组结构作为跨模态情感知识图谱。从而为情感知识图谱的跨模态应用场景提供更为有价值的
参考。权利要求书1页 说明书5页 附图2页CN 111506697 A 2020.08.07
C N 111506697
A
1.一种跨模态情感知识图谱构建方法，其特征在于，所述方法包括：
步骤S101：接收用户跨模态情感数据；
步骤S102：提取所述跨模态情感数据中每种模态情感数据的情感特征值；
步骤S103：根据所述情感特征值生成情感共现矩阵；
步骤S104：根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；以及
步骤S105：构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。
2.如权利要求1所述的跨模态情感知识图谱构建方法，其特征在于，所述步骤S103中所述情感共现矩阵中的元素用以指示所述元素所在的行对应的第一模态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。
3.如权利要求1所述的跨模态情感知识图谱构建方法，其特征在于，所述步骤S104中所述情感倾向聚类算法为概率潜在语义分析算法。
4.一种跨模态情感知识图谱构建装置，其特征在于，所述装置包括：
情感数据接收模块，用于接收用户跨模态情感数据；
情感特征提取模块，用于提取所述跨模态情感数据中每种模态情感数据的情感特征值；
情感共现矩阵生成模块，用于根据所述情感特征值生成情感共现矩阵；
情感倾向划分模块，用于根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；以及
知识图谱生成模块，用于构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。
5.如权利要求4所述的跨模态情感知识图谱构建装置，其特征在于，所述情感共现矩阵生成模块中所述情感共现矩阵中的元素用以指示所述元素所在的行对应的第一模态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。
6.如权利要求4所述的跨模态情感知识图谱构建装置，其特征在于，所述情感倾向划分模块中所述情感倾向聚类算法为概率潜在语义分析算法。
权 利 要 求 书1/1页CN 111506697 A
一种跨模态情感知识图谱构建方法及装置
技术领域
[0001]本发明涉及情感计算技术领域，具体涉及一种跨模态情感知识图谱构建方法及装置。
背景技术
[0002]情感计算技术在人工智能研究特别是人机交互应用领域具有至关重要的作用。随着5G通信、虚拟现实、车联网等先进技术的普及，信息交流及人机交互形态也从文字、图像、音频、视频等单一模态逐步过渡到相互融合的多种媒体形态。因此，跨模态情感计算成为近年来情感计算的研究热点。
[0003]传统的情感知识图谱构建过程中，不能将来自异构跨模态情感特征有效关联，因此以单一模态情感特征为核心所构建的情感知识图谱是一个个孤立的抽取图谱，无法真正反映跨模态数据中的情感知识。为了形成一个真正的跨模态情感知识图谱，则需要将这些情感知关联和集成在一起，从而有效支撑跨模态情感计算过程。因此，有必要提出一种新的情感知识图谱构建方法及装置。
发明内容
[0004]针对现有技术的不足，本发明提出一种跨模态情感知识图谱构建方法，所述方法包括：步骤S101，接收用户跨模态情感数据；步骤S102，提取所述跨模态情感数据中每种模态情感数据的情感特征值；步骤S103，根据所述情感特征值生成情感共现矩阵；步骤S104，根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；以及步骤S105，构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。
[0005]示例性地，所述步骤S103中所述情感共现矩阵中的元素用以指示所述元素所在的行对应的第一模
态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。示例性地，所述步骤S104中所述情感倾向聚类算法为概率潜在语义分析算法。[0006]另一方面，本发明还提供一种跨模态情感知识图谱构建装置，所述装置包括：情感数据接收模块，用于接收用户跨模态情感数据；情感特征提取模块，用于提取所述跨模态情感数据中每种模态情感数据的情感特征值；情感共现矩阵生成模块，用于根据所述情感特征值生成情感共现矩阵；情感倾向划分模块，用于根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；以及知识图谱生成模块，用于构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。
[0007]示例性地，所述情感共现矩阵生成模块中所述情感共现矩阵中的元素用以指示所述元素所在的行对应的第一模态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。示例性地，所述情感倾向划分模块中所述情感倾向聚类算法为概率
潜在语义分析算法。
[0008]本发明提供的跨模态情感知识图谱构建方法及装置能够将来自异构跨模态情感特征进行有效关联和划分，从而实现跨模态情感知识图谱的构建，为跨模态情感计算的应用场景提供更为有价值的参考。
附图说明
[0009]本发明的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施例及其描述，用来解释本发明的原理。
[0010]附图中：
[0011]图1示出了根据本发明的实施例的一种跨模态情感知识图谱构建方法100的流程图；
[0012]图2示出了根据本发明的实施例的一种跨模态情感知识图谱构建装置200的结构框图。
具体实施方式
[0013]在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。
[0014]为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。
[0015]本实施例提供的跨模态情感知识图谱构建方法具体可以应用于跨模态情感知识图谱的构建，可以通过跨模态情感知识图谱构建装置来执行，该跨模态情感知识图谱构建装置可以为服务器。如图1所示，本实施例提供的跨模态情感知识图谱构建方法100包括如下步骤：
[0016]步骤S101：接收用户跨模态情感数据。例如，通过摄像装置录制用户的面部表情情感数据，同时通过录音装置录制用户的语音情感数据。示例性地，本步骤中用户的面部表情情感数据可以通过普通的基于可见光的彩或灰度摄像装置进行采集，所述摄像装置例如普通摄像头、网络摄像头、手机的前置摄像头等；本步骤中用户的语音情感数据可以通过普通的录音装置进行采集，所述录音装置例如普通的录音笔、麦克风、手机话筒等。[0017]步骤S102：提取所述跨模态情感数据中每种模态情感数据的情感特征值。示例性地，提取面部表情情感数据的情感特征值可以通过检测并标记面部区域关键点，计算所述面部区域各关键点的位置与面部区域关键点平均位置的距离，并针对面部区域各关键点提取加速段测试特征，从而最终得到面部表情情感特征值的方式进行提取；提取语音情感数据的情感特征值则可以通过基于平均幅度差法的基频特征提取方式进行提取。
[0018]步骤S103：根据所述情感特征值生成情感共现矩阵。示例性的，情感共现矩阵中的
元素用以指示所述元素所在的行对应的第一模态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。假设所提取的第一模态情感特征值集合为U＝{u1，u2，…，u M}，第二模态情感特征值集合为D＝{d1，d2，…，d N}，则两者所构建的M×N阶情感共现矩阵UD：
[0019]UD＝[w(u m,d n)]M×N；
[0020]其中，w(u m,d n)为第一模态情感特征值u m与第二模态情感特征值d n的同时出现的次数。
[0021]步骤S104：根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集。示例性的，情感倾向聚类算法具体可以为潜在语义分析(L a t e n t Sema nticAna lysis，简称LSA)算法或概率潜在语义分析(Pro ba bility La tent SemanticAnalysis，简称PLSA)算法等。
[0022]步骤S105，构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。
[0023]在本实施例中，优选地，聚类算法为概率潜在语义分析(PLSA)算法。根据概率潜在语义分析算法对情感共现矩阵进行聚类，将情感共现矩阵中第一模态情感特征值集合U和第二模态情感特征值集合D同时划分到多个不同的情感倾向子集的实现方式具体如下：[0024]定义情感倾向类别集合Z＝{z1，z2，…，z c}，情感倾向的类别数量c可以根据U和D的大小情况以及实际应用场景来设置，并可以根据聚类的质量来选择一个最佳值。具体的，高质量的情感倾向类别划分应使相同类别内的情感特征共现程度最高，而不同类别间的情感特征共现程度最低。为了对情感倾向类别划分的质量进行量化评估，对于每个情感倾向类别k，计算该类别的独立程度C k：
[0025]C k＝C ki/C ko；
[0026]其中C ki表示类别k内部的第一模态情感特征值集合和第二模态情感特征值集合间的共现程度，C ko表示类别k与其他类别间的共现程度。
[0027]
[0028]
[0029]其中，U k和D k分别代表情感倾向类别k中的第一模态情感特征值集合和第二模态情感特征值集合。
[0030]则对于一个被划分为情感倾向类别总数为c的情感特征值集合，其总体分类质量C C可以表示为：
[0031]
[0032]由此，对于不同的列别数量c，可以选择一个能够使C C值达到最优的作为情感倾向类别的最终数量。
[0033]从第一模态情感特征值集合U中选择一个情感特征值u i，概率为Pr(u i)，为情感特征值u i分配一个情感倾向类别z k，概率为Pr(z k|u i)，从第二模态情感特征值集合D中选取一
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议