一种基于图神经网络和强化学习的事实验证方法

1.本发明涉及一种基于图神经网络和强化学习的事实验证方法，该方法可用于验证陈述语句是否符合表格型数据中蕴含的事实，属于互联网和人工智能技术领域。

背景技术：

2.随着互联网技术的迅速发展，人们可以通过电脑、手机等智能设备更加便捷地接触到来自各式网络媒体平台的信息。然而，网络信息的发布缺少质量管理机制，使得网络信息混乱、繁杂，存在安全隐患，将阻碍用户获得正确的网络资源。因此，人们需要某种技术对信息内容进行检测，从而预先过滤掉虚假信息。
3.表格型数据事实验证任务旨在验证一个陈述和表格型数据蕴含的事实是否相符。现有工作主要通过逻辑形式解析一个陈述语句，然后利用图神经网络对解析后的陈述表示进行处理。或者设计一个表格感知的预训练语言模型对“陈述-表格”对进行处理。然而，基于解析陈述的方法构建的图神经网络考虑的特征较少，且只能在每个图推理步骤中被动地聚合邻居节点的信息。而基于表格感知的预训练模型难以满足事实验证任务多跳推理的特性，因此检测效果不佳。为了提高表格型数据事实检测的性能，本发明深入挖掘“陈述-文本”对的图结构特征，提出一个基于图神经网络的和强化学习的事实验证框架(reinforced evidence reasoning framework with graphneural network，rerg)，该框架模拟了人类推理过程中在每个步骤专注于某些词的行为。具体地，基于预训练模型roberta，rerg首先利用一个基于transformer的图神经网络表示多粒度特征；然后，设计一个监控节点，在每个图神经网络层上通过强化学习的奖励反馈将监控节点与一些潜在的关键节点连接起来。通过这种方式，rerg可以利用监控节点来预测陈述文本的标签，通过多层图神经网络聚合关键信息。此外，在注意力机制之后增加的二次更新方式，能够增强图神经网络各层的信息聚合能力。

技术实现要素：

4.为了解决现有技术中存在的问题与不足，本发明提出一种基于图神经网络和强化学习的事实验证方法，该方法利用一个能够在推理过程中选择潜在的关键证据的事实验证框架，并通过多粒度特征获得更好的“陈述-表格”对的特征，从而提高事实验证的效果和所选词的可解释性。本发明改进了图神经网络，在计算每个图神经网络层的注意力权值之后，进行二次信息聚合。
5.为了实现上述目的，本发明的技术方案如下：一种基于图神经网络和强化学习的事实验证方法，包括如下步骤：
6.步骤1：获取表格文本表示，“陈述-表格”对作为输入，利用由multinli语料库增强的roberta学习其向量表示；
7.步骤2：图构建及节点初始化，本步骤的目的是根据提取陈述语句和目标表格之间的行、列、数字和单词的共现关系，以及陈述的句法依赖结构树，为图神经网络层提供用于
学习的结构图。随后，利用双向lstm(bilstm)和多层感知机(mlp)完成节点的初始化。
8.步骤3：应用基于transformer的图神经网络对图进行编码，首先，通过图神经网络将不同类型的边编码为独立的向量，然后通过将节点信息和边的信息引入自注意力机制来改进原始的图神经网络，利用改进后的自注意力机制对节点信息进行聚合来完成节点信息的更新和图数据的编码；
9.步骤4：强化学习驱动的节点选择。该步骤在图中引入一个监控节点，根据强化学习的奖励反馈，在每个图神经网络层上选择合适的有效证据节点。通过对多个图神经网络层的信息聚合，监控节点可以捕获各种潜在的关键证据，进行最终验证；
10.步骤5：二次更新及模型的训练与测试。为了消除图节点邻居数分布不均匀对节点信息聚合的影响，该步骤引入了一个融合层来增强信息聚合，首先利用sigmoid函数来自适应地为节点分配一个权重，然后计算邻居信息来促进信息聚合，最后将上一步得到的邻居信息与节点信息融合完成对节点信息的二次更新。模型用相关的表来预测条件陈述上的标签分布，并最小化交叉熵损失来训练，利用准确性和f1值指标对模型进行评价，检验模型的表现。
11.一种基于图神经网络和强化学习的事实验证方法，所述方法包括表格文本输入学习层、图构建层、基于transformer的图神经网络层、强化学习驱动的关键节点选择层、以及二次更新层。相对于现有技术，本发明的优点如下：
12.(1)本发明采用的基于图神经网络的强化证据推理框架rerg仅依赖语句和目标半结构化表格的语言和结构特征。
13.(2)本发明采用强化学习驱动的关键节点选择策略来引导每个图神经网络层的关键证据选择，并采用二次更新策略来增强邻居节点的信息聚合能力。
14.(3)本发明适应多种半结构化表格，所提出的图特征抽取方式可以提取包括数据库类型表格、键值对类型表格以及学术论文中包含的pdf格式的表格。
15.(4)本发明具备可更新性，所涉及的预训练模型和强化学习算法均可替换为更优的模型，比如deberta预训练模型和actor-critic算法。
附图说明
16.图1为本发明实施例的方法流程图。
17.图2为本发明实施例的整体模型图。
具体实施方式
18.为了加深对本发明的认识和理解，下面结合具体实施例，进一步阐明本发明。
19.实施例1：一种基于图神经网络和强化学习的事实验证方法，该方法首先获得表格的文本特征表示；接着，根据提取陈述语句和目标表格之间的行、列、数字和单词的共现关系，以及陈述的句法依赖结构树，为图神经网络构建用于学习的结构图。随后，利用bilstm和mlp来完成图节点的初始化；然后，通过图神经网络将不同类型的边编码为独立的向量，并通过将节点信息和边的信息引入自注意力机制来改进原始的图神经网络，利用改进后的自注意力机制对节点信息进行聚合来完成节点信息的更新和图数据的编码；接下来，在图中引入一个监控节点，根据强化学习的奖励反馈，在每个图神经网络层上选择合适的有效
证据节点。通过对多个图神经网络层的信息聚合，监控节点可以捕获各种潜在的关键证据，进行最终验证；最后，利用sigmoid函数来自适应地为节点分配一个权重，然后计算邻居信息来促进信息聚合，最后将上一步得到的邻居信息与节点信息融合完成对节点信息的二次更新。模型用相关的表来预测条件陈述上的标签分布，并最小化交叉熵损失来训练，利用准确性和f1值指标对模型进行评价，检验模型的表现。具体模型参见图2，详细实施步骤如下：
20.步骤1，获取表格文本表示。为了获得“陈述-表格”对的向量表示，该步骤首先将陈述语句和表格内容拼接，并在头部添加[cls]标识符；之后将长序列输入由multinli增强的roberta预训练语言模型中获得有意义的特征表示。获取每个token表示的计算公式如公式(1)所示。
[0021][0022]
其中，是样本xi的表示矩阵，d
model
表示每个token的维度，n表示第n每个“陈述-表格”序列的长度。
[0023]
步骤2，图构建及节点初始化。首先提取陈述语句和目标表格之间的行、列、数字和单词的共现关系，以及陈述的句法依赖结构树。具体地，给定一个陈述语句及其相关表格，结构图的构建规则如下：
[0024]
(1)行与列关系：同一行的单元格通常描述同一记录的不同属性，而同列的单元格反映不同记录的相同属性。对于键值表，每一行只有两个组成部分，即键和值。本发明定义了一个值关系来表示同一个值组件中的单词。
[0025]
(2)数值关系：由于在包含数字和日期的单元格中经常存在较大、较小或相等的数值关系，因此提取这些关系有利于这些单元格的数值推理。
[0026]
(3)单词共现关系：直观地说，在表中共存的相同单词及其相关语句对于验证表的正确性至关重要。例如，通过图2中语句的单词date，可以方便地在表中到相关的单元格，进一步验证语句中的日期。
[0027]
(4)语句关系：语法依赖树表示不同标记之间的语言关系，可以揭示语句词之间的依赖关系。
[0028]
(5)监控节点：由于该语句的图中存在一些不相关的节点，我们增加了一个监控node来选择一些可能的关键节点进行最终的验证，避免了池化所有节点来获得图表示。
[0029]
随后，提取的图不仅保留了语句和表的内部结构，而且还探索了节点之间的数值关系特征。当导出token表示ei时，下一步是获取图的节点级表示，因为一个图的节点可能包含多个token。为此，我们在token表示之上应用一个bilstm，然后使用一个mlp来得到每个节点的集成表示。
[0030]
步骤3，应用基于transformer的图神经网络对图进行编码。为了更好地利用某些节点具有多个关系的异构图，采用基于transformer的图神经网络对图数据进行编码，该数据能够将关系标签(即边的类型id)转换为可区分的向量。所有节点组成一个邻接矩阵αnn，其中n表示节点数量，每个元素a
ij
∈ann表示一个三元组＜nodei,nodej,edge
ij
＞,i≤n,j≤n。通过改进自注意力机制将边向量信息添加到计算query和key向量点积的过程中，实现相邻节点信息聚合。节点i和节点j之间的关系可以建模为：
[0031][0032]
其中，是参数矩阵，d'＝d
model
/n
head
是每一个注意力头的大小，第i个节点和第j个节点之间的边分别表示为向量与它们分别与自注意机制的key向量和value向量相关。
[0033]
然后，对于第i个节点，可以通过一个转换后的节点表示的加权和来聚合来自邻居节点的信息：
[0034][0035]
其中，node'i是更新后的nodei，是一个参数矩阵，α
ij
由在nodej上应用softmax函数后得到。当将多个头部自注意层连接起来时，可以将从独立参数空间中获得的向量信息进行融合，得到更深层次的表示。多头注意力数目为h＝d
model
/d'。
[0036]
步骤4，强化学习驱动的节点选择，由于不是所有的节点都有利于验证该陈述，因此必须在图中决定潜在的关键节点。类似于人类推理过程，模型需要在每一步关注部分关键证据。为此，我们在图中提出了一个监控节点并制定强化学习过程为监控节点选择有效证据节点，该强化学习的agent会在几个离散的时间步长上与环境进行交互。基于强化学习的节点选择以每个节点的表示和邻接矩阵作为每个状态的输入。然后，agent应用一个策略网络来采取操作，即确定是否选择了每个节点。奖励将从行动中获得，然后优化策略网络。在具体例子中，每个图推理层都是一个步骤，策略网络在每一步都对监控节点进行节点选择。以下对强化学习的环境设置做出说明：
[0037]
状态：在每个决策步骤t，状态是这两部分的连接：第t个图推理层中每个节点的表示当前邻接矩阵状态
[0038]
行为：对于每个节点nodei的行动是二进制的。表示监控节点与节点i连接有权值为1的边，表示所连边的权值的为0。每个时间步长t的行为结果用于更新邻接矩阵中监视节点的邻居。
[0039]
奖励：当遍历所有推理层时，奖励就会产生。由于在我们的框架中使用最后一个推理层进行验证，因此我们对当前批训练数据采用负交叉熵损失作为奖励r，以及惩罚项r
p
，以防止太多的节点被选择。r
p
的计算如公司(4)所示：
[0040][0041]
其中，λ是一个用于控制监视节点所连接的节点的比率的超参数。
[0042]
策略网络：我们建立了一个带有两个mlp的策略网络来支持监控节点的行为，然后再用一个softmax函数来将行为概率扩展到(0,1)区间。策略网络的结构如公式(5)、(6)所示：
[0043]
[0044][0045]
其中，w，b是策略网络中的参数。设置其中，w，b是策略网络中的参数。设置
[0046]
采用强化学习算法对策略网络进行优化，通过策略梯度算法对参数进行更新。具体优化策略如公式(7)所示：
[0047][0048]
其中，r(s,a)是状态-行为函数，θ是策略网络的参数，b是一批样本数，t是一个事件中的步数(即推理层数)，r(s
it
,a
it
)＝r
·rp
。参数θ在每一轮迭代后进行更新。
[0049]
总的来说，监视节点在每个图层上聚合潜在的关键节点信息。它可以被视为整体图的表示，因为它可以通过多层计算来聚合来自不同节点的各种信息。通过这种方式，监视器节点能够用于进行最终的验证，而不是汇集所有节点。
[0050]
步骤5，进行二次更新以及模型的训练与测试。为了消除图节点邻居数分布不均匀对节点信息聚合的影响，该步骤引入了一个融合层来增强信息聚合。具体来说，我们应用一个sigmoid函数来自适应地为节点j分配一个权重：
[0051]
βj＝sigmoid(manodej+b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0052]
其中，ma为可训练参数矩阵，b是偏置。然后我们计算邻居信息来促进信息聚合：
[0053][0054]
其中，node
″i是节点i的聚合信息，ci是节点i的邻居，me是一个转换矩阵。最后，将邻居信息与节点信息融合如下：
[0055]
nodei＝relu(mfnodei+node
″i+bf)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0056]
其中，mf是权值矩阵而bf是偏置向量。
[0057]
最后，我们用相关的表来预测条件陈述上的标签分布，并最小化交叉熵损失l来训练我们的模型。具体如下：
[0058]
p(y|si,ti)＝softmax(mcnode
monitor
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0059]
l＝crossentropy(q(y),p(y|si,ti))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0060]
上述两式中，表示用于分类的权重矩阵，n
label
表示相关数据集中的标签类别数，而q(y)表示真实标签的分布情况。我们利用准确性和f1值指标对模型进行测试与评价，检验模型的表现。
[0061]
基于相同的发明构思，本发明所述的一种基于图神经网络和强化学习的事实验证方法，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述的用于表格事实验证的基于图神经网络和强化学习的表格型数据事实验证方法。
[0062]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应理解实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术权利要求所限定的范围。

技术特征：

1.一种基于图神经网络和强化学习的事实验证方法，其特征在于，所述方法包括以下步骤：步骤1：获取表格文本表示；步骤2：图构建及节点初始化；步骤3：应用基于transformer的图神经网络对图进行编码；步骤4：由强化学习驱动的节点选择；步骤5：进行二次更新以及模型的训练与测试。2.根据权利要求1所述的一种基于图神经网络和强化学习的事实验证方法，其特征在于，步骤1：获取表格文本表示，具体如下：(1)该步骤首先将陈述语句和表格内容拼接，并在头部添加[cls]标识符；(2)之后将长序列输入由multinli语料库增强的预训练语言模型roberta中获得有意义的特征表示。3.根据权利要求1所述的一种基于图神经网络和强化学习的事实验证方法，其特征在于，步骤2：图构建及节点初始化，具体如下：(1)提取陈述语句和目标表格之间的行、列、数字和单词的共现关系，以及陈述的句法依赖结构树，(2)当得到步骤1的标记表示e
i
时，下一步是获取图的节点级表示，因为一个图的节点包含多个token，为此，在token表示之上应用一个bilstm模型，然后使用一个mlp层来得到每个节点的最终表示。4.根据权利要求1所述的一种基于图神经网络和强化学习的事实验证方法，其特征在于，步骤3：应用基于transformer的图神经网络对图进行编码，具体如下：(1)采用基于transformer的图神经网络对图数据进行编码，该数据能够将关系标签(即边的类型id)转换为可区分的向量；(2)通过改进自注意力机制将边向量信息添加到计算query和key向量点积的过程中，实现相邻节点信息聚合；(3)将多个头部自注意层连接起来，从独立参数空间中获得的向量信息进行融合，得到更深层次的表示。5.根据权利要求1所述的一种基于图神经网络和强化学习的事实验证方法，其特征在于，步骤4：由强化学习驱动的节点选择，具体如下：(1)在图中设计了一个监控节点并制定强化学习过程为监控节点选择有效的证据节点，该强化学习的agent会在几个离散的时间步中与环境进行交互，基于强化学习的节点选择以每个节点的表示和邻接矩阵作为每个状态的输入；(2)agent应用一个策略网络来采样操作，即确定是否选择了每个节点，奖励将从行动中获得，然后优化策略网络，在具体例子中，每个图推理层为一个步骤，策略网络在每个步骤中对监控节点进行节点选择；(3)采用强化学习算法对策略网络进行优化，通过策略梯度算法对参数进行更新。6.根据权利要求1所述的一种基于图神经网络和强化学习的事实验证方法，其特征在于，步骤5：进行二次更新以及模型的训练与测试，具体如下：(1)为了消除图节点的邻居数分布不均匀对节点信息聚合的影响，该步骤引入了一个
融合层来增强信息聚合；(2)应用一个sigmoid函数来自适应地为节点j分配一个权重；然后，计算邻居信息以促进信息聚合；最后，将邻居信息与节点信息融合；(3)最小化交叉熵损失l从而训练模型；(4)利用准确性和f1值指标对模型进行测试与评价，检验模型的性能。

技术总结

本发明公开了一种基于图神经网络和强化学习的事实验证方法，能够验证语料库中陈述语句和表格型数据中的事实是否相符，基于Transformer的图神经网络来模拟多步推理过程，步骤如下：首先，通过图神经网络将不同类型的边编码为独立的向量，并利用自注意力机制对提取的多粒度特征进行邻居信息聚合，然后，设计一个监控节点，根据强化学习的奖励反馈，在每个图神经网络层上选择合适的证据词，通过对多个图神经网络层的信息聚合，监控节点可捕获各种潜在的关键证据，进行最终验证。最后，为了更加有效地学习聚集的证据信息，本发明利用Transformer设计了能够更加充分利用表格中证据信息的多步推理框架，提高事实验证模型的准确性。确性。确性。