(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201911379313.1
(22)申请日 2019.12.27
(66)本国优先权数据
201911357589.X 2019.12.25 CN
(71)申请人 北京中科研究院
地址 100193 北京市海淀区西北旺东路10
号院5号楼
申请人 中国科学技术大学
(72)发明人 张勇东 毛震东 邓旭冉 赵博文
(74)专利代理机构 北京凯特来知识产权代理有
限公司 11260
代理人 郑立明 郑哲
(51)Int.Cl.
G06F 40/30(2020.01)
G06K 9/46(2006.01)
G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)G06Q 50/00(2012.01)
(54)发明名称
(57)摘要
本发明公开了一种基于多模态关系的网络
谣言检测方法，包括：获取网络平台上发布的待
检测的图像与相关的文本；通过预训练fasterR -
义向量的提取；通过注意力机制，捕捉视觉特征
向量与语义向量的重要程度，并实现图像与文本
之间跨模态关联，从而更新视觉特征向量与语义
向量；并且，对于视觉特征向量与语义向量，通过
更新视觉特征向量与语义向量；将两部分更新得
到的视觉特征向量与语义向量连接在一起，再通
过二分类器，获得待检测的信息为谣言与真实类
别的概率。该方法能够自动判断待检测信息是否
属于网络谣言，
且具有较高的检测准确度。权利要求书2页 说明书6页 附图1页CN 111079444 A 2020.04.28
C N 111079444
A
1.一种基于多模态关系的网络谣言检测方法，其特征在于，包括：
获取网络平台上发布的待检测的信息，包括图像以及相关的文本；
对于图像，通过预训练的fasterR-CNN模型提取出图像中包含不同类别物体的视觉特征向量；
对于文本，进行预处理后，通过门控循环单元进行语义向量的提取；
通过注意力机制，捕捉视觉特征向量与语义向量的重要程度，并实现图像与文本之间跨模态关联，从而更新视觉特征向量与语义向量；并且，基于更新后的视觉特征向量与语义向量，通过注意力机制各自建模内部动态信息的关系，从而再次更新视觉特征向量与语义向量；将再次更新得到的视觉特征向量与语义向量连接在一起，再通过一个二分类器，获得待检测的信息为谣言类别与真实类别的概率。
2.根据权利要求1所述的一种基于多模态关系的网络谣言检测方法，其特征在于，包含不同类别物体的视觉特征向量表示为V＝{v1,v2,…,v K}，其中，v i代表一个物体的视特征向量，K表示特征向量总数目，i＝1,2,…,K。
3.根据权利要求1所述的一种基于多模态关系的网络谣言检测方法，其特征在于，所述的相关的文本包括：待检测的信息所包含的文本、以及其他用户转发该待检测的信息时附带的文本。
4.根据权利要求2所述的一种基于多模态关系的网络谣言检测方法，其特征在于，对文本进行预处理包括：去除文本中的冗余信息，仅保留文字信息，再拼接为文本序列，拼接间隙使用分隔符作为标识；所述冗余信息至少包括如下信息的一种或多种：符号表情、特殊字符、统一资源定位符。
5.根据权利要求1所述的一种基于多模态关系的网络谣言检测方法，其特征在于，通过门控循环单元进行语义向量的提取之前，使用预训练的GLOVE进行词特征的向量化，将预处理后的文本表示为矩阵形式，再使用门控循环单元进行特征提取，从而得到语义向量。
6.根据权利要求1所述的一种基于多模态关系的网络谣言检测方法，其特征在于，所述通过注意力机制，捕捉视觉特征向量与语义向量的重要程度，并实现图像与文本之间跨模态关联，从而更新视觉特征向量与语义向量包括：
视觉特征向量与语义向量各自作为一个模态信息，通过注意力机制提取每一个(视觉特征向量，语义向量)对的重要程度，根据重要程度实现不同模态信息之间流动，以更新各模态信息，通过信息流动过程来实现图像与文本之间跨模态关联；操作过程如下：对视觉特征向量与语义向量分别进行线性变换，得到注意力机制所需的k值、q值与v 值，再通过向量内积获得模态间注意力权重：
其中，E表示语义向量，V表示视觉特征向量；k值、q值与v值是注意力机制里固有的变量，分别是键值、查询值与上下文向量；q V、k V表示视觉特征向量V的q、k值，q E、k E表示语义向量E的q、k值，dim代表向量维度；InterAtt E→V、InterAtt V→E依次表示语义向量到视觉特征矩
阵的注意力权重、视觉特征矩阵到语义向量的注意力权重；
之后根据注意力权重，利用其他模态信息更新本模态信息特征向量，实现信息在不同模态间流动：
V′＝Inter E→V×V
E′＝Inter V→E×E
其中，v E、v V分别表示语义向量E、视觉特征向量V的v值；
再将更新后的视觉特征向量V′和语义特征向量E′与最初的视觉特征向量V和语义向量E通过全连接层进行串联，得到视觉特征向量V*和语义特征向量E*。
7.根据权利要求6所述的一种基于多模态关系的网络谣言检测方法，其特征在于，所述基于更新后的视觉特征向量与语义向量，通过注意力机制各自建模内部动态信息的关系，从而再次更新视觉特征向量与语义向量包括：
对视觉特征向量V*与语义向量E*分别进行池化并仿射变换到与k值、q值与v值相同的维度，之后计算通道式条件门向量M V→E,M E→V将另一模态信息引入：
M V→E＝Sigmoid(Linear(V*pool))
M E→V＝Sigmoid(Linear(E*pool))
其中，Linear(V*pool)与Linear(E*pool)分别为的视觉特征向量V*与语义向量E*进行池化与仿射变换结果；Sigmoid表示Sigmoid函数；
两种通道式条件门向量对两种模态的k值与q值进行调制，k值与q值将通过在其他模态的通道式条件门进行激活或停用操作，更新后的k值与q值为：
上式中，表示更新后的视觉特征向量的q、k值，表示更新后的语义向量的q、k值；表示输入的视觉特征向量V*的q、k值，表示输入的语义向量E*的q、k值；
得到更新后的k值与q值后，利用注意力机制生成权重，并更新视觉特征向量与语义向量各自内部动态信息：
其中，IntraAtt V→V、IntraAtt E→E依次表示视觉特向量内部的注意力权重、语义向量内部的注意力权重，分别为视觉特征向量V*、语义向量E*的v值。
一种基于多模态关系的网络谣言检测方法
技术领域
[0001]本发明涉及网络空间安全技术领域，尤其涉及一种基于多模态关系的网络谣言检测方法。
背景技术
[0002]网络社会的崛起使得机遇与挑战并存，尤其是互联网接入的低准入门槛和信息传播的自由性严重影响了网络空间的稳定，网络谣言的肆意传播就是其中一个必须引起重视的问题。当今社交网络平台用
户早已破亿，活跃度极高，其传播面广、传播迅速、使用面广、不受时间空间限制和其放大镜特征将信息影响力成倍放大，尤其是一些敏感话题、焦点事件、热点问题、重大公共事件、突发事件一夕之间家喻户晓，或造成信任缺失、政府、企业形象受损、民怨沸腾，所以针对网络谣言的自动和迅速检测对网络空间安全具有重要意义。[0003]随着多媒体技术的发展，无论自媒体还是专业媒体都开始向基于图、文、短视频的多媒体新闻形式转变。多媒体内容承载着更加丰富与直观的信息，能够更好地描述新闻事件，且更易广泛传播。研究表明，带图片流量媒体的平均转发次数是纯文本的11倍。正因如此，虚假的新闻或谣言经常使用极具煽动性的图片来吸引和误导读者，从而快速且广泛地传播，这使得对视觉模态内容的检测已经成为应对网络谣言挑战的不容忽视的一部分。[0004]传统的基于视觉模态内容进行虚假内容检测的工作主要是利用传统的手工特征，如视觉清晰度、视觉相似度直方图、双重JPEG压缩痕迹等，这些手段往往对粗糙的图片篡改有很好的效果，但随着生成图片技术不断提高，这些方法在不能保证精度的同时也显著提高了资源成本要求。
[0005]近年来，随着神经网络和深度学习模型的快速发展，相应的检测技术应运而生并取得了巨大成功。在虚假信息检测中，也产生了同时利用文本和视觉莫泰信息来判别新闻的真实性的多模态检测方法。在现有工作中，具有代表性的包括：attRNN、EANN和MVAE。这些方法虽然在多模态形式的虚假信息检测中提供了启发式的思路，但仍有很大缺点。一是对于图像和文本两种信息的提取过程仍比较粗糙，尤其是图片的语义特征；二是在特征融合阶段往往都是将两种模态特征简单拼接，难以表达模态间的交互与关联。
发明内容
[0006]本发明的目的是提供一种基于多模态关系的网络谣言检测方法，能够自动判断待检测信息是否属于网络谣言，且具有较高的检测准确度。
[0007]本发明的目的是通过以下技术方案实现的：
[0008]一种基于多模态关系的网络谣言检测方法，包括：
[0009]获取网络平台上发布的待检测的信息，包括图像以及相关的文本；
[0010]对于图像，通过预训练的fasterR-CNN模型提取出图像中包含不同类别物体的视觉特征向量；
[0011]对于文本，进行预处理后，通过门控循环单元进行语义向量的提取；
[0012]通过注意力机制，捕捉视觉特征向量与语义向量的重要程度，并实现图像与文本之间跨模态关联，从而更新视觉特征向量与语义向量；并且，基于更新后的视觉特征向量与语义向量，通过注意力机制各自建模内部动态信息的关系，从而再次更新视觉特征向量与语义向量；将再次更新得到的视觉特征向量与语义向量连接在一起，再通过一个二分类器，获得待检测的信息为谣言类别与真实类别的概率。
[0013]由上述本发明提供的技术方案可以看出，使用多模态特征融合，同时考察文本信息和图像信息，具有更高的准确率；同时，区别于其他使用注意力机制的多模态方法，本方法同时兼顾了模态内的信息，使模型能整合更丰富的信息关系。该方法只需使用单条信息作为输入便可以获得精确的检测结果，可以在谣言传播初期迅速检测并处理。
附图说明
[0014]为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0015]图1为本发明实施例提供的一种基于多模态关系的网络谣言检测方法的模型结构示意图。
具体实施方式
[0016]下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0017]本发明提供了一种基于多模态关系的网络谣言检测方法。在特征提取阶段利用基于faster R-CNN
的目标检测模型提取图像特征，能够关注到图像中的具体目标和显著区域。在特征融合阶段，区别于以往的着眼于图像和文本间的关系，本发明对同一模态内的信息也应用了注意力机制，这样的好处是模态内的关联信息可以对模态间的信息起到补充作用。本发明提出的方法在WeiboRumorSet数据集上取得了很好的效果，可以发现传统方案使用单一模态难以区分的虚假信息案例。
[0018]如图1所示，为本发明实施例提供的一种基于多模态关系的网络谣言检测方法的模型结构示意图，其主要包括如下五个部分：
[0019]1、多模态数据获取。
[0020]本发明实施例中，获取网络平台上发布的待检测的信息，包括图像以及相关的文本。
[0021]示例性的，可以通过社交媒体平台来获取，例如，微博平台。
[0022]本发明实施例中，待检测的信息所包含的文本、以及其他用户转发该待检测的信息时附带的文本。例如，对于从微博平台上获取的微博信息，除了包含微博信息自身的文本还包含其他用户转发微博信息时附带的文本。
[0023]2、视觉特征的提取。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议