(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202111562165.4
(22)申请日 2021.12.17
(71)申请人 清华大学
地址 100084 北京市海淀区双清路30号清
华大学
(72)发明人 张勇 李昕航 李欣 李超 王霞
盛明
(74)专利代理机构 北京路浩知识产权代理有限
公司 11002
代理人 邢大鑫
(51)Int.Cl.
G06F 16/36(2019.01)
G06K 9/62(2022.01)
G06N 5/02(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称基于知识蒸馏的知识图谱对齐方法、装置及设备(57)摘要本发明提供一种基于知识蒸馏的知识图谱对齐方法、装置及设备，方法通过获取待对齐知识图谱集合，所述待对齐知识图谱集合包括至少两个不同的待对齐知识图谱，每个所述待对齐知识图谱中包括至少一个实体；输入所述待对齐知识图谱集合至知识图谱对齐模型，将不同的所述待对齐知识图谱中的相同实体进行对齐；其中，所述知识图谱对齐模型是基于知识图谱样本和预先确定的所述知识图谱样本中的实体标签进行训练后得到的，通过 基于知识图谱对齐模型来进行实体对齐，与单纯的学习知识嵌入或邻域共识相比，在对齐过程中，知识图谱对齐模型由于结合具体的实体，能够更好地利用到关系语义信息，
从而更好地实现实体对齐。权利要求书2页 说明书10页 附图2页CN 114328952 A 2022.04.12
C N 114328952
A
1.一种基于知识蒸馏的知识图谱对齐方法，其特征在于，包括：
获取待对齐知识图谱集合，所述待对齐知识图谱集合包括至少两个不同的待对齐知识图谱，每个所述待对齐知识图谱中包括至少一个实体；
输入所述待对齐知识图谱集合至知识图谱对齐模型，将不同的所述待对齐知识图谱中的相同实体进行对齐；其中，所述知识图谱对齐模型是基于知识图谱样本和预先确定的所述知识图谱样本中的实体标签进行训练后得到的。
2.根据权利要求1所述的基于知识蒸馏的知识图谱对齐方法，其特征在于，所述知识图谱对齐模型包括输入层、中间层和输出层；
对应的，所述输入所述待对齐知识图谱集合至知识图谱对齐模型，将不同的所述待对齐知识图谱中的相同实体进行对齐，包括：
通过所述输入层将所述待对齐知识图谱集合输入至所述中间层；
通过所述中间层将所述待对齐知识图谱集合中不同的所述待对齐知识图谱中的相同实体进行对齐，得到对齐的结果；
通过所述输出层将对齐后的结果进行输出。
3.根据权利要求2所述的基于知识蒸馏的知识图谱对齐方法，其特征在于，所述中间层包括门控图卷积网络、知识嵌入网络、邻域共识网络和关系知识蒸馏网络； 所述知识图谱对齐模型的训练过程，包括：
通过所述门控图卷积网络将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示；
基于所述向量表示，通过所述知识嵌入网络学习每个所述图结构信息中实体和关系的嵌入表示，得到教师网络；
基于所述向量表示，通过所述邻域共识网络学习每个所述图结构信息中实体的嵌入表示，得到学生网络；
通过所述关系知识蒸馏网络将所述教师网络中关系的嵌入表示迁移至所述学生网路中实体的嵌入表示，得到知识图谱对齐模型。
4.根据权利要求3所述的基于知识蒸馏的知识图谱对齐方法，其特征在于，所述通过所述门控图卷积网络将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示，包括：
识别所述待对齐知识图谱中的实体特征矩阵；
基于前向传播和门控机制将所述实体特征矩阵中的实体信息进行传递，以将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示。
5.根据权利要求3所述的基于知识蒸馏的知识图谱对齐方法，其特征在于，所述基于所述向量表示，通过所述知识嵌入网络学习每个所述图结构信息中实体和关系的嵌入表示，得到教师网络，包括：
基于所述向量表示，对所述图结构信息中的三元组进行正则化处理，得到评分函数；
根据所述评分函数和所述图结构信息中实体和关系的嵌入表示，得到知识嵌入损失函数作为教师网络。
6.根据权利要求3所述的基于知识蒸馏的知识图谱对齐方法，其特征在于，所述基于所述向量表示，通过所述邻域共识网络学习每个所述图结构信息中实体的嵌入表示，得到学
生网络，包括：
基于所述向量表示，计算不同的图结构信息中相同的实体与实体之间的相似度度量；
根据所述相似度度量和所述图结构信息中实体的嵌入表示，得到邻域共识损失函数作为学生网络。
7.根据权利要求6所述的基于知识蒸馏的知识图谱对齐方法，其特征在于，所述通过所述关系知识蒸馏网络将所述教师网络中关系的嵌入表示迁移至所述学生网路中实体的嵌入表示，得到知识图谱对齐模型，包括：
分别采集所述教师网络中的实体样本和所述学生网络中的实体样本；
利用能量函数计算所述教师网络中的实体样本与所述学生网络中的实体样本之间的距离度量；
根据所述距离度量，得到蒸馏损失函数；
调整所述蒸馏损失函数和所述邻域共识损失函数在训练中的权重，得到目标损失函数作为知识图谱对齐模型。
8.根据权利要求7所述的基于知识蒸馏的知识图谱对齐方法，其特征在于，所述根据所述距离度量，得到蒸馏损失函数，包括：
对所述距离度量进行分段；
基于所述分段后的结果利用分段函数得到蒸馏损失函数。
9.一种基于知识蒸馏的知识图谱对齐装置，其特征在于，包括：
获取模块，用于获取待对齐知识图谱集合，所述待对齐知识图谱集合至少包括两个不同的待对齐知识图谱，每个所述待对齐知识图谱中包括至少一个实体；
对齐模块，用于输入所述待对齐知识图谱集合至知识图谱对齐模型，将不同的所述待对齐知识图谱中的相同实体进行对齐；其中，所述知识图谱对齐模型是基于知识图谱样本和预先确定的所述知识图谱样本中的实体标签进行训练后得到的。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述基于知识蒸馏的知识图谱对齐方法的步骤。
基于知识蒸馏的知识图谱对齐方法、装置及设备
技术领域
[0001]本发明涉及知识图谱技术领域，尤其涉及一种基于知识蒸馏的知识图谱对齐方法、装置及设备。
背景技术
[0002]在知识图谱领域，实体对齐是一项基本的任务。已有的采用嵌入式模型的方法，通常是首先学习知识图谱的嵌入表示，然后通过度量实体嵌入表示之间的相似性来进行实体的对齐。
[0003]然而，由于学习知识嵌入与邻域共识两种方法的目标不同所造成的过拟合问题，已有的方法不能很好地利用关系语义信息。
发明内容
[0004]本发明提供一种基于知识蒸馏的知识图谱对齐方法、装置及设备，用以解决现有技术中知识图谱对齐存在过拟合的缺陷，实现能够很好的利用关系语义信息进行对齐，解决过拟合的缺陷。
[0005]本发明提供一种基于知识蒸馏的知识图谱对齐方法，包括：
[0006]获取待对齐知识图谱集合，所述待对齐知识图谱集合包括至少两个不同的待对齐知识图谱，每个所述待对齐知识图谱中包括至少一个实体；
[0007]输入所述待对齐知识图谱集合至知识图谱对齐模型，将不同的所述待对齐知识图谱中的相同实体进行对齐；其中，所述知识图谱对齐模型是基于知识图谱样本和预先确定的所述知识图谱样本中的实体标签进行训练后得到的。
[0008]根据本发明提供的一种基于知识蒸馏的知识图谱对齐方法，所述知识图谱对齐模型包括输入层、中间层和输出层；
[0009]对应的，所述输入所述待对齐知识图谱集合至知识图谱对齐模型，将不同的所述待对齐知识图谱中的相同实体进行对齐，包括：
[0010]通过所述输入层将所述待对齐知识图谱集合输入至所述中间层；
[0011]通过所述中间层将所述待对齐知识图谱集合中不同的所述待对齐知识图谱中的相同实体进行对齐，得到对齐的结果；
[0012]通过所述输出层将对齐后的结果进行输出。
[0013]根据本发明提供的一种基于知识蒸馏的知识图谱对齐方法，所述中间层包括门控图卷积网络、知识嵌入网络、邻域共识网络和关系知识蒸馏网络；
[0014]所述知识图谱对齐模型的训练过程，包括：
[0015]通过所述门控图卷积网络将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示；
[0016]基于所述向量表示，通过所述知识嵌入网络学习每个所述图结构信息中实体和关系的嵌入表示，得到教师网络；
[0017]基于所述向量表示，通过所述邻域共识网络学习每个所述图结构信息中实体的嵌入表示，得到学生网络；
[0018]通过所述关系知识蒸馏网络将所述教师网络中关系的嵌入表示迁移至所述学生网路中实体的嵌入表示，得到知识图谱对齐模型。
[0019]根据本发明提供的一种基于知识蒸馏的知识图谱对齐方法，所述通过所述门控图卷积网络将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示，包括：[0020]识别所述待对齐知识图谱中的实体特征矩阵；
[0021]基于前向传播和门控机制将所述实体特征矩阵中的实体信息进行传递，以将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示。
[0022]根据本发明提供的一种基于知识蒸馏的知识图谱对齐方法，所述基于所述向量表示，通过所述知识嵌入网络学习每个所述图结构信息中实体和关系的嵌入表示，得到教师网络，包括：
[0023]基于所述向量表示，对所述图结构信息中的三元组进行正则化处理，得到评分函数；
[0024]根据所述评分函数和所述图结构信息中实体和关系的嵌入表示，得到知识嵌入损失函数作为教师网络。
[0025]根据本发明提供的一种基于知识蒸馏的知识图谱对齐方法，所述基于所述向量表示，通过所述邻域共识网络学习每个所述图结构信息中实体的嵌入表示，得到学生网络，包括：
[0026]基于所述向量表示，计算不同的图结构信息中相同的实体与实体之间的相似度度量；
[0027]根据所述相似度度量和所述图结构信息中实体的嵌入表示，得到邻域共识损失函数作为学生网络。
[0028]根据本发明提供的一种基于知识蒸馏的知识图谱对齐方法，所述通过所述关系知识蒸馏网络将所述教师网络中关系的嵌入表示迁移至所述学生网路中实体的嵌入表示，得到知识图谱对齐模型，包括：
[0029]分别采集所述教师网络中的实体样本和所述学生网络中的实体样本；
[0030]利用能量函数计算所述教师网络中的实体样本与所述学生网络中的实体样本之间的距离度量；
[0031]根据所述距离度量，得到蒸馏损失函数；
[0032]调整所述蒸馏损失函数和所述邻域共识损失函数在训练中的权重，得到目标损失函数作为知识图谱对齐模型。
[0033]根据本发明提供的一种基于知识蒸馏的知识图谱对齐方法，所述根据所述距离度量，得到蒸馏损失函数，包括：
[0034]对所述距离度量进行分段；
[0035]基于所述分段后的结果利用分段函数得到蒸馏损失函数。
[0036]本发明还提供一种基于知识蒸馏的知识图谱对齐装置，包括：
[0037]获取模块，用于获取待对齐知识图谱集合，所述待对齐知识图谱集合至少包括两个不同的待对齐知识图谱，每个所述待对齐知识图谱中包括至少一个实体；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议