一种新闻事件脉络关系检测方法及装置与流程



1.本技术涉及自然语言处理技术领域,尤其涉及一种新闻事件脉络关系检测方法及装置。


背景技术:



2.随着信息技术的快速发展,各类新闻事件层出不穷,而多个新闻事件之间存在脉络关系,例如新闻事件之间的相关关系、因果关系、时序关系以及连带关系等,检测新闻事件之间是否具有脉络关系有利于对新闻事件进行分析和判断。
3.现有技术中,新闻事件脉络关系检测的方法为:首先,基于字符和词语级别对新闻事件进行分词;然后,进行字符和词语的频率统计,以字符和词语同时出现的频率与重复程度作为脉络关系检测的匹配标准;最后,对新闻事件的文本相似度进行计算,从而根据新闻事件的相似度来判断新闻事件之间是否具有脉络关系。
4.然而,在上述新闻事件脉络关系检测的方法中,由于字符和词语是相互独立的,在进行新闻事件脉络关系检测的过程中,未考虑到字符和词语的本身语义含义,也未考虑到句子之间、词语之间的语义关系,缺少对新闻事件之间信息交互的表示,容易出现检测错误的情况,导致新闻事件脉络关系检测结果的准确性较低。


技术实现要素:



5.有鉴于此,本技术实施例提供了一种新闻事件脉络关系检测方法及装置,旨在提高新闻事件脉络关系检测结果的准确性。
6.第一方面,本技术实施例提供了一种新闻事件脉络关系检测方法,所述方法包括:
7.将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件;
8.通过脉络关系检测模型对所述拼接新闻事件进行检测,获得所述第一新闻事件和所述第二新闻事件之间的第一脉络关系检测结果;所述脉络关系检测模型是根据多个新闻事件样本中各个已标注的两个新闻事件样本和所述两个新闻事件样本之间的脉络关系标签训练预设检测网络得到的。
9.可选地,所述脉络关系检测模型包括嵌入层、编码层、解码层和输出层;
10.所述通过脉络关系检测模型对所述拼接新闻事件进行检测,获得所述第一新闻事件和所述第二新闻事件之间的第一脉络关系检测结果,包括:
11.通过所述嵌入层对所述拼接新闻事件进行转换,获得嵌入序列;
12.通过所述编码层对所述嵌入序列进行编码,获得脉络关系表示序列;
13.通过所述解码层对所述脉络关系表示序列进行解码,获得脉络关系检测序列;
14.通过所述输出层对所述脉络关系检测序列进行归一化处理,获得所述第一脉络关系检测结果。
15.可选地,所述嵌入层包括标识嵌入层、分区层和注意力遮蔽层;
16.所述通过所述嵌入层对所述拼接新闻事件进行转换,获得嵌入序列,包括:
17.通过所述标识嵌入层对所述拼接新闻事件中的字符进行标识转换,获得标识信息;
18.通过所述分区层对所述拼接新闻事件中的所述第一新闻事件和所述第二新闻事件进行分区标记,获得分区位置信息;
19.通过所述注意力遮蔽层对所述拼接新闻事件进行注意力标记,获得注意力位置信息;
20.对所述标识信息、所述分区位置信息和所述注意力位置信息进行叠加,获得所述嵌入序列。
21.可选地,所述脉络关系检测模型的训练步骤,包括:
22.获取所述多个新闻事件样本和所述多个新闻事件样本中各个已标注的两个新闻事件样本之间的脉络关系标签;
23.将所述两个新闻事件样本进行拼接,获得拼接新闻事件样本;
24.通过所述预设检测网络对所述拼接新闻事件样本进行检测,获得所述两个新闻事件样本之间的第二脉络关系检测结果。
25.根据所述第二脉络关系检测结果、所述脉络关系标签和所述预设检测网络的损失函数,训练所述预设检测网络的参数;
26.将训练完成的所述预设检测网络确定为所述脉络关系检测模型。
27.可选地,所述脉络关系检测模型具体为n个脉络关系检测模型,所述n个脉络关系检测模型的训练步骤,包括:
28.将所述多个新闻事件样本平均分成m份新闻事件样本,m≥2;
29.将所述m份新闻事件样本中每份新闻事件样本分别作为验证集,将所述m份新闻事件样本中除所述验证集之外的剩余m-1份新闻事件样本作为所述验证集对应的训练集,确定m个训练集和m个训练集对应的m个验证集;
30.根据所述m个训练集中各个已标注的两个新闻事件样本和所述两个新闻事件样本之间的脉络关系标签,分别训练n个所述预设检测网络,获得训练完成的n个所述预设检测网络,n>2,n为奇数;
31.根据所述m个验证集分别验证所述训练完成的n个所述预设检测网络,获得n个所述脉络关系检测模型。
32.可选地,所述通过脉络关系检测模型对所述拼接新闻事件进行检测,获得所述第一新闻事件和所述第二新闻事件之间的第一脉络关系检测结果,包括:
33.通过n个脉络关系检测模型对所述拼接新闻事件分别进行检测,获得所述第一新闻事件和所述第二新闻事件之间的n个第三脉络关系检测结果;
34.对所述n个第三脉络关系检测结果进行投票表决,获得所述第一脉络关系检测结果。
35.可选地,在所述将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件之前,所述方法还包括:
36.对所述第一新闻事件和所述第二新闻事件分别进行预处理,获得预处理后的第一新闻事件和预处理后的第二新闻事件;
37.所述将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件,包括:
38.将所述预处理后的第一新闻事件和所述预处理后的第二新闻事件进行拼接,获得所述拼接新闻事件。
39.可选地,所述对所述第一新闻事件和所述第二新闻事件分别进行预处理,获得预处理后的第一新闻事件和预处理后的第二新闻事件,包括:
40.对所述第一新闻事件和所述第二新闻事件分别进行分词处理,获得多个第一新闻分词和多个第二新闻分词;
41.对所述多个第一新闻分词和所述多个第二新闻分词分别进行去停用词处理,获得所述预处理后的第一新闻事件和预处理后的第二新闻事件。
42.第二方面,本技术实施例提供了一种新闻事件脉络关系检测装置,所述装置包括:
43.拼接模块,用于将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件;
44.检测模块,用于通过脉络关系检测模型对所述拼接新闻事件进行检测,获得所述第一新闻事件和所述第二新闻事件之间的第一脉络关系检测结果;所述脉络关系检测模型是根据多个新闻事件样本中各个已标注的两个新闻事件样本和所述两个新闻事件样本之间的脉络关系标签训练预设检测网络得到的。
45.第三方面,本技术实施例提供了一种新闻事件脉络关系检测设备,所述设备包括:
46.存储器,用于存储计算机程序;
47.处理器,用于执行所述计算机程序,以使所述设备执行前述第一方面所述的新闻事件脉络关系检测方法。
48.第四方面,本技术实施例提供了一种计算机存储介质,所述计算机可读存储介质上存储有计算机程序,当所述计算机程序被运行时,运行所述计算机程序的设备实现前述第一方面所述的新闻事件脉络关系检测方法。
49.相较于现有技术,本技术实施例具有以下有益效果:
50.本技术实施例提供了一种新闻事件脉络关系检测方法,将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件;通过脉络关系检测模型对拼接新闻事件进行检测,获得第一新闻事件和第二新闻事件之间的第一脉络关系检测结果;脉络关系检测模型是根据多个新闻事件样本中各个已标注的两个新闻事件样本和两个新闻事件样本之间的脉络关系标签训练预设检测网络得到的。可见,该方法将第一新闻事件和第二新闻事件进行拼接得到拼接新闻事件,再对拼接新闻事件进行脉络关系的检测,既利用了新闻事件本身的语义信息,又利用了新闻事件之间的交互信息,能够更加准确地检测新闻事件之间的脉络关系,从而提高新闻事件脉络关系检测结果的准确性。
附图说明
51.为更清楚地说明本实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
52.图1为本技术实施例提供的一种新闻事件脉络关系检测方法的应用场景;
53.图2为本技术实施例提供的一种新闻事件脉络关系检测方法的流程图;
54.图3为本技术实施例提供的一种n个脉络关系检测模型的训练方法的流程图;
55.图4为本技术实施例提供的一种新闻事件脉络关系检测装置的结构示意图。
具体实施方式
56.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
57.目前,现有技术中新闻事件脉络关系检测方法为,首先,基于字符和词语级别对新闻事件进行分词;然后,进行字符和词语的频率统计,以字符和词语同时出现的频率与重复程度作为脉络关系检测的匹配标准;最后,对新闻事件的文本相似度进行计算,从而根据新闻事件的相似度来判断新闻事件之间是否具有脉络关系。然而,在上述新闻事件脉络关系检测的方法中,由于字符和词语是相互独立的,在进行脉络关系检测的过程中,未考虑到字符和词语的本身语义含义,也未考虑到句子之间、词语之间的语义关系,缺少对新闻事件之间信息交互的表示,容易出现检测错误的情况,导致新闻事件脉络关系检测结果的准确性较低。
58.基于此,为了解决上述问题,提高新闻事件脉络关系检测结果的准确性,本技术实施例提供了一种新闻事件脉络关系检测方法及装置,在该方法中,将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件;通过脉络关系检测模型对拼接新闻事件进行检测,获得第一新闻事件和第二新闻事件之间的第一脉络关系检测结果;脉络关系检测模型是根据多个新闻事件样本中各个已标注的两个新闻事件样本和两个新闻事件样本之间的脉络关系标签训练预设检测网络得到的。可见,该方法将第一新闻事件和第二新闻事件进行拼接得到拼接新闻事件,再对拼接新闻事件进行脉络关系的检测,既利用了新闻事件本身的语义信息,又利用了新闻事件之间的交互信息,能够更加准确地检测新闻事件之间的脉络关系,从而提高新闻事件脉络关系检测结果的准确性。
59.举例来说,本技术实施例的场景之一,可以是应用到如图1所示的场景中。该场景包括数据库101和服务器102,其中,数据库101包括第一新闻事件和第二新闻事件,服务器102采用本技术实施例提供的实施方式,从数据库101获取第一新闻事件和第二新闻事件。
60.首先,在上述应用场景中,虽然将本技术实施例提供的实施方式的动作描述由服务器102执行;但是,本技术实施例在执行主体方面不受限制,只要执行了本技术实施例提供的实施方式所公开的动作即可。
61.其次,上述场景仅是本技术实施例提供的一个场景示例,本技术实施例并不限于此场景。
62.下面结合附图,通过实施例来详细说明本技术实施例中新闻事件脉络关系检测方法及装置的具体实现方式。
63.参见图2,该图为本技术实施例提供的一种新闻事件脉络关系检测方法的流程图,结合图2所示,具体可以包括:
64.s201:将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件。
65.将需要进行脉络关系检测的第一新闻事件和第二新闻事件进行拼接,得到一个拼接新闻事件,以便后续对第一新闻事件和第二新闻事件之间的脉络关系进行检测。
66.举例来说,对第一新闻事件和第二新闻事件进行拼接得到的拼接新闻事件可以表示为,“[cls][第一新闻事件][sep][第二新闻事件][sep]”,其中,“cls”代表拼接新闻事件文本的首位,“sep”代表用来分隔第一新闻事件和第二新闻事件的标记。当然,也可以采用其他方式,并不影响本技术实施例的实现。
[0067]
另外,新闻事件的文本可能存在文本过长的问题,或者文本中有一些无意义的词,所以,在将第一新闻事件和第二新闻事件进行拼接之前,可以对第一新闻事件和第二新闻事件分别进行预处理。因此,在本技术可选实施例中,方法还可以包括s1:对第一新闻事件和第二新闻事件分别进行预处理,获得预处理后的第一新闻事件和预处理后的第二新闻事件。相应地,s201具体可以包括:将预处理后的第一新闻事件和预处理后的第二新闻事件进行拼接,获得拼接新闻事件。其中,对第一新闻事件和第二新闻事件分别进行预处理后再进行拼接,可以一定程度上放大第一新闻事件和第二新闻事件的语义特征,去除一些非重点文本,以便后续步骤中对第一新闻事件和第二新闻事件之间的脉络关系进行检测,进一步提高新闻事件脉络关系检测结果的准确性。
[0068]
其中,本技术实施例可不具体限定第一新闻事件和第二新闻事件的预处理过程,为了便于理解,下面结合一种可能的实施方式进行说明。
[0069]
在一种可能的实施方式中,可以先对第一新闻事件和第二新闻事件进行分词处理,得到第一新闻事件对应的第一新闻分词,以及第二新闻事件对应的第二新闻分词。在对第一新闻事件和第二新闻事件进行分词处理的基础上,再对第一新闻分词和第二新闻分词分别进行去停用词处理,得到剔除无意义信息后的第一新闻事件和第二新闻事件,基于此,得到预处理后的第一新闻事件和预处理后的第二新闻事件。因此,s1具体可以包括:对第一新闻事件和第二新闻事件分别进行分词处理,获得多个第一新闻分词和多个第二新闻分词;对多个第一新闻分词和多个第二新闻分词分别进行去停用词处理,获得预处理后的第一新闻事件和预处理后的第二新闻事件。
[0070]
举例来说,在对第一新闻事件和第二新闻事件进行分词处理时,可以采用jieba分词工具、hanlp分词工具或者foolnltk分词工具等。当然,也可以采用其他中文分词工具,并不影响本技术实施例的实现。在对第一新闻分词和第二新闻分词进行去停用词处理时,可以采用哈工大停用词表、百度停用词表、或者中文停用词表等,对第一新闻分词和第二新闻分词中与所采用的停用词表对应的停用词进行遍历剔除,以便得到预处理后的第一新闻事件和预处理后的第二新闻事件。当然,也可以采用其他停用词表,并不影响本技术实施例的实现。
[0071]
s202:通过脉络关系检测模型对拼接新闻事件进行检测,获得第一新闻事件和第二新闻事件之间的第一脉络关系检测结果;脉络关系检测模型是根据多个新闻事件样本中各个已标注的两个新闻事件样本和两个新闻事件样本之间的脉络关系标签训练预设检测网络得到的。
[0072]
将第一新闻事件和第二新闻事件拼接得到的拼接新闻事件输入至脉络关系检测模型,对第一新闻事件和第二新闻事件之间的脉络关系进行检测,得到第一新闻事件和第二新闻事件之间的第一脉络关系检测结果。其中,通过对多个新闻事件样本中各个已标注脉络关系标签的两个新闻事件样本,以及两个新闻事件样本之间的脉络关系标签对预设检测网络进行训练,得到脉络关系检测模型。
[0073]
在本技术实施例中,可不具体限定脉络关系检测模型的结构,为了便于理解,下面结合一种可能的实施方式进行说明。
[0074]
在一种可能的实施方式中,脉络关系检测模型的结构具体可以包括嵌入层、编码层、解码层和输出层。可以先通过嵌入层将第一新闻事件和第二新闻事件拼接得到的拼接新闻事件进行转换,得到拼接新闻事件对应的嵌入序列,以便通过脉络关系检测模型对嵌入序列进行检测;再通过编码层对嵌入序列进行编码,得到带有语义和新闻事件之间脉络关系表示的脉络关系表示序列;然后,通过解码层对脉络关系表示序列进行解码,得到包含脉络关系检测结果信息的脉络关系检测序列;最后,通过输出层进一步对脉络关系检测序列进行归一化处理,得到第一脉络关系检测结果,以便输出第一新闻事件和第二新闻事件之间的脉络关系检测结果。
[0075]
因此,步骤s202具体可以包括:通过嵌入层对拼接新闻事件进行转换,获得嵌入序列;通过编码层对嵌入序列进行编码,获得脉络关系表示序列;通过解码层对脉络关系表示序列进行解码,获得脉络关系检测序列;通过输出层对脉络关系检测序列进行归一化处理,获得第一脉络关系检测结果。
[0076]
举例来说,编码层可以基于transformer的双向编码器进行编码,得到带有第一新闻事件语义、第二新闻事件语义以及第一新闻事件和第二新闻事件之间脉络关系表示的脉络关系表示序列;解码层可以基于全连接神经网络进行解码,将脉络关系表示序列压缩到包含脉络关系检测结果信息的脉络关系检测序列。当然,以上所述也可以采用其他方式,并不影响本技术实施例的实现。
[0077]
其中,本技术实施例可不具体限定嵌入层的结构,为了便于理解,下面结合一种可能的实施方式进行说明。
[0078]
在一种可能的实施方式中,嵌入层的结构具体可以包括标识嵌入层、分区层和注意力遮蔽层。可以先通过标识嵌入层对拼接新闻事件中的字符进行标识转换,得到拼接新闻事件中每一个字符对应的标识信息;再通过分区层对拼接新闻事件中的第一新闻事件和第二新闻事件进行分区标记,得到第一新闻事件和第二新闻事件分别对应的不同分区位置信息;然后,通过注意力遮蔽层对拼接新闻事件进行注意力标记,得到拼接新闻事件对应的注意力位置信息;最后,将拼接新闻事件对应的标识信息、分区位置信息和注意力位置信息进行相同位置的叠加,得到嵌入序列,以便通过脉络关系检测模型对嵌入序列进行检测。
[0079]
因此,通过嵌入层对拼接新闻事件进行转换,获得嵌入序列,具体可以包括:通过标识嵌入层对拼接新闻事件中的字符进行标识转换,获得标识信息;通过分区层对拼接新闻事件中的第一新闻事件和第二新闻事件进行分区标记,获得分区位置信息;通过注意力遮蔽层对拼接新闻事件进行注意力标记,获得注意力位置信息;对标识信息、分区位置信息和注意力位置信息进行叠加,获得嵌入序列。
[0080]
举例来说,标识嵌入层可以基于bert模型的字符表,对拼接新闻事件中的每一个字符转换为对应的标识,从而得到标识信息;分区层可以对拼接新闻事件中第一新闻事件的每一个字符标记为0,对拼接新闻事件中第二新闻事件的每一个字符标记为1,实现对第一新闻事件和第二新闻事件的分层,得到分区位置信息;注意力遮蔽层可以只对拼接新闻事件对应的位置标记为1,其余位置标记为0,得到注意力位置信息。当然,以上所述也可以采用其他方式,并不影响本技术实施例的实现。
[0081]
在本技术实施例中,可不具体限定脉络关系检测模型的训练过程,为了便于理解,下面结合一种可能的实施方式进行说明。
[0082]
在一种可能的实施方式中,可以先获取多个新闻事件样本,以及多个新闻事件样本中各个已标注的两个新闻事件样本之间的脉络关系标签;再将每个已标注脉络关系标签的两个新闻事件进行拼接,得到拼接新闻事件;再通过预设检测网络对拼接新闻事件进行检测,获得每个已标注脉络关系标签的两个新闻事件之间的第二脉络关系检测结果;然后,根据每个已标注脉络关系标签的两个新闻事件之间的第二脉络关系检测结果、每个已标注的两个新闻事件之间的脉络关系标签和预设检测网络的损失函数,对预设检测网络的参数进行训练,将训练完成的预设检测网络的参数进行保存;最后,将训练完成的预设检测网络确定为脉络关系检测模型。
[0083]
因此,脉络关系检测模型具体可以通过如下步骤训练:获取多个新闻事件样本和多个新闻事件样本中各个已标注的两个新闻事件样本之间的脉络关系标签;将两个新闻事件样本进行拼接,获得拼接新闻事件样本;通过预设检测网络对拼接新闻事件样本进行检测,获得两个新闻事件样本之间的第二脉络关系检测结果;根据第二脉络关系检测结果、脉络关系标签和预设检测网络的损失函数,训练预设检测网络的参数;将训练完成的预设检测网络确定为脉络关系检测模型。
[0084]
在本技术实施例中,脉络关系检测模型具体可以为n个脉络关系检测模型,可不具体限定n个脉络关系检测模型的训练过程,为了便于理解,下面结合一种可能的实施方式进行说明。技术详情请参见下文所做的介绍。
[0085]
相应地,在一种可能的实施方式中,可以通过得到的n个脉络关系检测模型分别对拼接新闻事件进行检测,得到与n个脉络关系检测模型分别对应的n个第三脉络关系检测结果,再对n个第三脉络关系检测结果进行投票表决,获得第一脉络关系检测结果。因此,步骤s202具体可以包括:通过n个脉络关系检测模型对拼接新闻事件分别进行检测,获得第一新闻事件和第二新闻事件之间的n个第三脉络关系检测结果,对n个第三脉络关系检测结果进行投票表决,获得第一脉络关系检测结果。
[0086]
基于上述s201-s202的相关内容可知,本技术实施例中,将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件;通过脉络关系检测模型对拼接新闻事件进行检测,获得第一新闻事件和第二新闻事件之间的第一脉络关系检测结果;脉络关系检测模型是根据多个新闻事件样本中各个已标注的两个新闻事件样本和两个新闻事件样本之间的脉络关系标签训练预设检测网络得到的。通过该方法将第一新闻事件和第二新闻事件进行拼接得到拼接新闻事件,再对拼接新闻事件进行脉络关系的检测,既利用了新闻事件本身的语义信息,又利用了新闻事件之间的交互信息,能够更加准确地检测新闻事件之间的脉络关系,从而提高新闻事件脉络关系检测结果的准确性。
[0087]
参见图3,该图为本技术实施例提供的一种n个脉络关系检测模型的训练方法的流程图,结合图3所示,具体可以包括:
[0088]
s301:将多个新闻事件样本平均分成m份新闻事件样本,m≥2。
[0089]
举例来说,可以将获取的多个新闻事件样本平均分成6份新闻事件样本。当然,也可以平均分成其他份,并不影响本技术实施例的实现。
[0090]
s302:将m份新闻事件样本中每份新闻事件样本分别作为验证集,将m份新闻事件
样本中除验证集之外的剩余m-1份新闻事件样本作为验证集对应的训练集,确定m个训练集和m个训练集对应的m个验证集。
[0091]
举例来说,可以在将多个新闻事件样本平均分为6份新闻事件样本之后,将每份新闻事件样本都分别作为验证集,再将6份新闻事件样本中除验证集这1份之外的剩余5份新闻事件样本作为验证集对应的训练集,基于此,可以确定6个训练集和6个训练集对应的6个验证集。当然,m也可以是其他值,并不影响本技术实施例的实现。
[0092]
s303:根据m个训练集中各个已标注的两个新闻事件样本和两个新闻事件样本之间的脉络关系标签,分别训练n个预设检测网络,获得训练完成的n个预设检测网络,n>2,n为奇数。
[0093]
举例来说,可以在确定6个训练集和6个训练集对应的6个验证集之后,利用6个训练集中各个已标注的两个新闻事件样本和两个新闻事件样本之间的脉络关系标签,分别训练5个预设检测网络,每个预设检测网络根据6个训练集分别训练6次,获得训练完成的5个预设检测网络。当然,n也可以是其他值,并不影响本技术实施例的实现。
[0094]
其中,预设检测网络的个数为奇数,以便后续对n个脉络关系检测模型得到的第一新闻事件和第二新闻事件之间的n个第三脉络关系检测结果进行投票表决,获得第一脉络关系检测结果。
[0095]
举例来说,5个预设检测网络可以分别采用5个不同的预训练模型,具体包括bert模型、electra模型、ernie模型、albert模型和roberta模型。当然,也可以是其他预设检测网络,并不影响本技术实施例的实现。
[0096]
s304:根据m个验证集分别验证训练完成的n个预设检测网络,获得n个脉络关系检测模型。
[0097]
举例来说,可以根据上述步骤得到的与6个训练集对应的6个验证集,分别验证训练完成的5个预设检测网络,每个预设检测网络分别根据6个验证集验证6次,并将每个验证好的预设检测网络的与6个验证集对应的预设检测网络参数保存为fold1-fold6,得到5个脉络关系检测模型。以便后续通过5个脉络关系检测模型对拼接新闻事件进行检测时,每个脉络关系检测模型利用上述保存的6个模型参数fold1-fold6分别对拼接新闻事件进行检测,得到6个脉络关系检测结果;然后,可以将每个脉络关系检测模型对应的6个脉络关系检测结果进行平均,得到5个脉络关系检测模型的5个第三脉络关系检测结果。当然,也可以采用其他方式,并不影响本技术实施例的实现。
[0098]
基于上述s301-s304的相关内容可知,本技术实施例中,如此对n个脉络关系检测模型进行训练,既根据一个语料库中的多个新闻事件样本生成m个不同的训练语料,使得预设训练网络摆脱对需要利用大规模语料库进行训练的依赖;又对n个初始参数不同的预设检测网络进行训练得到n个脉络关系检测模型,使得根据得到的n个第三脉络关系检测结果进一步得到第一新闻事件和第二新闻事件之间更加准确的脉络关系检测结果,进一步提高新闻事件脉络关系检测结果的准确性。
[0099]
以上为本技术实施例提供的新闻事件脉络关系检测方法的一些具体实现方式,基于此,本技术还提供了对应的装置。下面将从功能模块化的角度对本技术实施例提供的装置进行介绍。
[0100]
参见图4,该图为本技术实施例提供的一种新闻事件脉络关系检测装置400的结构
示意图,该装置400可以包括:
[0101]
拼接模块401,用于将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件;
[0102]
检测模块402,用于通过脉络关系检测模型对拼接新闻事件进行检测,获得第一新闻事件和第二新闻事件之间的第一脉络关系检测结果;脉络关系检测模型是根据多个新闻事件样本中各个已标注的两个新闻事件样本和两个新闻事件样本之间的脉络关系标签训练预设检测网络得到的。
[0103]
在本技术实施例中,通过拼接模块401和检测模块402这两个模块的配合,将第一新闻事件和第二新闻事件进行拼接得到拼接新闻事件,再对拼接新闻事件进行脉络关系的检测,既利用了新闻事件本身的语义信息,又利用了新闻事件之间的交互信息,能够更加准确地检测新闻事件之间的脉络关系,从而提高新闻事件脉络关系检测结果的准确性。
[0104]
作为一种实施方式,检测模块402中的脉络关系检测模型,具体可以包括嵌入层、编码层、解码层和输出层;
[0105]
相应地,检测模块402,具体可以包括:
[0106]
转换单元,用于通过嵌入层对拼接新闻事件进行转换,获得嵌入序列;
[0107]
编码单元,用于通过编码层对嵌入序列进行编码,获得脉络关系表示序列;
[0108]
解码单元,用于通过解码层对脉络关系表示序列进行解码,获得脉络关系检测序列;
[0109]
归一化单元,用于通过输出层对脉络关系检测序列进行归一化处理,获得第一脉络关系检测结果。
[0110]
作为一种实施方式,检测模块402中脉络关系检测模型的嵌入层,具体可以包括标识嵌入层、分区层和注意力遮蔽层;
[0111]
相应地,转换单元,具体可以用于:
[0112]
通过标识嵌入层对拼接新闻事件中的字符进行标识转换,获得标识信息;
[0113]
通过分区层对拼接新闻事件中的第一新闻事件和第二新闻事件进行分区标记,获得分区位置信息;
[0114]
通过注意力遮蔽层对拼接新闻事件进行注意力标记,获得注意力位置信息;
[0115]
对标识信息、分区位置信息和注意力位置信息进行叠加,获得嵌入序列。
[0116]
作为一种实施方式,检测模块402中的脉络关系检测模型具体可以通过如下单元训练:
[0117]
获取单元,用于获取多个新闻事件样本和多个新闻事件样本中各个已标注的两个新闻事件样本之间的脉络关系标签;
[0118]
拼接单元,用于将两个新闻事件样本进行拼接,获得拼接新闻事件样本;
[0119]
第一检测单元,用于通过预设检测网络对拼接新闻事件样本进行检测,获得两个新闻事件样本之间的第二脉络关系检测结果。
[0120]
第一训练单元,用于根据第二脉络关系检测结果、脉络关系标签和预设检测网络的损失函数,训练预设检测网络的参数;
[0121]
第一确定单元,用于将训练完成的预设检测网络确定为脉络关系检测模型。
[0122]
作为一种实施方式,检测模块402中的脉络关系检测模型具体为n个脉络关系检测
模型,n个脉络关系检测模型具体可以通过如下单元训练:
[0123]
均分单元,用于将多个新闻事件样本平均分成m份新闻事件样本,m≥2;
[0124]
第二确定单元,用于将m份新闻事件样本中每份新闻事件样本分别作为验证集,将m份新闻事件样本中除验证集之外的剩余m-1份新闻事件样本作为验证集对应的训练集,确定m个训练集和m个训练集对应的m个验证集;
[0125]
第二训练单元,用于根据m个训练集中各个已标注的两个新闻事件样本和两个新闻事件样本之间的脉络关系标签,分别训练n个预设检测网络,获得训练完成的n个预设检测网络,n>2,n为奇数;
[0126]
获得单元,用于根据m个验证集分别验证训练完成的n个预设检测网络,获得n个脉络关系检测模型。
[0127]
作为一种实施方式,检测模块402,具体可以包括:
[0128]
第二检测单元,通过n个脉络关系检测模型对拼接新闻事件分别进行检测,获得第一新闻事件和第二新闻事件之间的n个第三脉络关系检测结果;
[0129]
投票表决单元,对n个第三脉络关系检测结果进行投票表决,获得第一脉络关系检测结果。
[0130]
作为一种实施方式,该新闻事件脉络关系检测装置,还可以包括:
[0131]
预处理模块,用于对第一新闻事件和第二新闻事件分别进行预处理,获得预处理后的第一新闻事件和预处理后的第二新闻事件;
[0132]
相应地,拼接模块401,具体可以用于:
[0133]
将预处理后的第一新闻事件和预处理后的第二新闻事件进行拼接,获得拼接新闻事件。
[0134]
作为一种实施方式,预处理模块,具体可以包括:
[0135]
分词单元,用于对第一新闻事件和第二新闻事件分别进行分词处理,获得多个第一新闻分词和多个第二新闻分词;
[0136]
去停用词单元,用于对多个第一新闻分词和多个第二新闻分词分别进行去停用词处理,获得预处理后的第一新闻事件和预处理后的第二新闻事件。
[0137]
本技术实施例还提供了对应的设备以及计算机存储介质,用于实现本技术实施例提供的方案。
[0138]
其中,所述设备包括存储器和处理器,所述存储器用于存储指令或代码,所述处理器用于执行所述指令或代码,以使所述设备执行本技术任一实施例所述的新闻事件脉络关系检测方法。
[0139]
所述计算机存储介质中存储有代码,当所述代码被运行时,运行所述代码的设备实现本技术任一实施例所述的新闻事件脉络关系检测方法。
[0140]
本技术实施例中提到的“第一”、“第二”(若存在)等名称中的“第一”、“第二”只是用来做名字标识,并不代表顺序上的第一、第二。
[0141]
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解,本技术的技术方案可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如只读存储器(英文:read-only memory,rom)/ram、磁碟、光盘等,包括若干指令用以
使得一台计算机设备(可以是个人计算机,服务器,或者诸如路由器等网络通信设备)执行本技术各个实施例或者实施例的某些部分所述的方法。
[0142]
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元提示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
[0143]
以上所述,仅为本技术的一种具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应该以权利要求的保护范围为准。

技术特征:


1.一种新闻事件脉络关系检测方法,其特征在于,所述方法包括:将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件;通过脉络关系检测模型对所述拼接新闻事件进行检测,获得所述第一新闻事件和所述第二新闻事件之间的第一脉络关系检测结果;所述脉络关系检测模型是根据多个新闻事件样本中各个已标注的两个新闻事件样本和所述两个新闻事件样本之间的脉络关系标签训练预设检测网络得到的。2.根据权利要求1所述的方法,其特征在于,所述脉络关系检测模型包括嵌入层、编码层、解码层和输出层;所述通过脉络关系检测模型对所述拼接新闻事件进行检测,获得所述第一新闻事件和所述第二新闻事件之间的第一脉络关系检测结果,包括:通过所述嵌入层对所述拼接新闻事件进行转换,获得嵌入序列;通过所述编码层对所述嵌入序列进行编码,获得脉络关系表示序列;通过所述解码层对所述脉络关系表示序列进行解码,获得第一脉络关系检测序列;通过所述输出层对所述第一脉络关系检测序列进行归一化处理,获得所述第一脉络关系检测结果。3.根据权利要求2所述的方法,其特征在于,所述嵌入层包括标识嵌入层、分区层和注意力遮蔽层;所述通过所述嵌入层对所述拼接新闻事件进行转换,获得嵌入序列,包括:通过所述标识嵌入层对所述拼接新闻事件中的字符进行标识转换,获得标识信息;通过所述分区层对所述拼接新闻事件中的所述第一新闻事件和所述第二新闻事件进行分区标记,获得分区位置信息;通过所述注意力遮蔽层对所述拼接新闻事件进行注意力标记,获得注意力位置信息;对所述标识信息、所述分区位置信息和所述注意力位置信息进行叠加,获得所述嵌入序列。4.根据权利要求1所述的方法,其特征在于,所述脉络关系检测模型的训练步骤,包括:获取所述多个新闻事件样本和所述多个新闻事件样本中各个已标注的两个新闻事件样本之间的脉络关系标签;将所述两个新闻事件样本进行拼接,获得拼接新闻事件样本;通过所述预设检测网络对所述拼接新闻事件样本进行检测,获得所述两个新闻事件样本之间的第二脉络关系检测结果。根据所述第二脉络关系检测结果、所述脉络关系标签和所述预设检测网络的损失函数,训练所述预设检测网络的参数;将训练完成的所述预设检测网络确定为所述脉络关系检测模型。5.根据权利要求1所述的方法,其特征在于,所述脉络关系检测模型具体为n个脉络关系检测模型,所述n个脉络关系检测模型的训练步骤,包括:将所述多个新闻事件样本平均分成m份新闻事件样本,m≥2;将所述m份新闻事件样本中每份新闻事件样本分别作为验证集,将所述m份新闻事件样本中除所述验证集之外的剩余m-1份新闻事件样本作为所述验证集对应的训练集,确定m个训练集和m个训练集对应的m个验证集;
根据所述m个训练集中各个已标注的两个新闻事件样本和所述两个新闻事件样本之间的脉络关系标签,分别训练n个所述预设检测网络,获得训练完成的n个所述预设检测网络,n>2,n为奇数;根据所述m个验证集分别验证所述训练完成的n个所述预设检测网络,获得n个所述脉络关系检测模型。6.根据权利要求5所述的方法,其特征在于,所述通过脉络关系检测模型对所述拼接新闻事件进行检测,获得所述第一新闻事件和所述第二新闻事件之间的第一脉络关系检测结果,包括:通过n个脉络关系检测模型对所述拼接新闻事件分别进行检测,获得所述第一新闻事件和所述第二新闻事件之间的n个第三脉络关系检测结果;对所述n个第三脉络关系检测结果进行投票表决,获得所述第一脉络关系检测结果。7.根据权利要求1所述的方法,其特征在于,在所述将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件之前,所述方法还包括:对所述第一新闻事件和所述第二新闻事件分别进行预处理,获得预处理后的第一新闻事件和预处理后的第二新闻事件;所述将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件,包括:将所述预处理后的第一新闻事件和所述预处理后的第二新闻事件进行拼接,获得所述拼接新闻事件。8.根据权利要求7所述的方法,其特征在于,所述对所述第一新闻事件和所述第二新闻事件分别进行预处理,获得预处理后的第一新闻事件和预处理后的第二新闻事件,包括:对所述第一新闻事件和所述第二新闻事件分别进行分词处理,获得多个第一新闻分词和多个第二新闻分词;对所述多个第一新闻分词和所述多个第二新闻分词分别进行去停用词处理,获得所述预处理后的第一新闻事件和预处理后的第二新闻事件。9.一种新闻事件脉络关系检测装置,其特征在于,所述装置包括:拼接模块,用于将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件;检测模块,用于通过脉络关系检测模型对所述拼接新闻事件进行检测,获得所述第一新闻事件和所述第二新闻事件之间的第一脉络关系检测结果;所述脉络关系检测模型是根据多个新闻事件样本中各个已标注的两个新闻事件样本和所述两个新闻事件样本之间的脉络关系标签训练预设检测网络得到的。10.一种新闻事件脉络关系检测设备,其特征在于,所述设备包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序,以使所述设备执行如权利要求1至8任一项所述的新闻事件脉络关系检测方法的步骤。

技术总结


本申请公开了一种新闻事件脉络关系检测方法及装置,在该方法中,将第一新闻事件和第二新闻事件进行拼接,获得拼接新闻事件;通过脉络关系检测模型对拼接新闻事件进行检测,获得第一新闻事件和第二新闻事件之间的第一脉络关系检测结果;脉络关系检测模型是根据多个新闻事件样本中各个已标注的两个新闻事件样本和两个新闻事件样本之间的脉络关系标签训练预设检测网络得到的。可见,该方法既利用了新闻事件本身的语义信息,又利用了新闻事件之间的交互信息,能够更加准确地检测新闻事件之间的脉络关系,从而提高新闻事件脉络关系检测结果的准确性。结果的准确性。结果的准确性。


技术研发人员:

黄明彤

受保护的技术使用者:

太保科技有限公司

技术研发日:

2022.10.09

技术公布日:

2022/12/23

本文发布于:2024-09-20 13:35:28,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/2/46987.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:事件   新闻   脉络   所述
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议