谣言检测文献阅读十一—Preventing rumor spread with deep learning

系列文章目录

1. 谣言检测文献阅读一—A Review on Rumour Prediction and Veracity Assessment in Online Social Network
2. 谣言检测文献阅读二—Earlier detection of rumors in online social networks using certainty‑factor‑based convolutional neural networks
3. 谣言检测文献阅读三—The Future of False Information Detection on Social Media:New Perspectives and Trends
4. 谣言检测文献阅读四—Reply-Aided Detection of Misinformation via Bayesian Deep Learning
5. 谣言检测文献阅读五—Leveraging the Implicit Structure within Social Media for Emergent Rumor Detection
6. 谣言检测文献阅读六—Tracing Fake-News Footprints: Characterizing Social Media Messages by How They Propagate
7. 谣言检测文献阅读七—EANN: Event Adversarial Neural Networks for Multi-Modal Fake News Detection
8. 谣言检测文献阅读八—Detecting breaking news rumors of emerging topics in social media
9. 谣言检测文献阅读九—人工智能视角下的在线社交网络虚假信息 检测、传播与控制研究综述
10. 谣言检测文献阅读十一—Preventing rumor spread with deep learning

前言

文章：Preventing rumor spread with deep learning
发表会议：Expert Systems with Applications（C 类）
时间：2022年2月

  现在自动谣言检测模型主要依赖于人群反应（Kim et al., 2018; Ruchansky et al., 2017）或相关文章（Popat et al., 2016, 2017）采取的立场（即支持或拒绝）一个给定的谣言，它可以在广泛传播给人群后被捕获。
   本文介绍了一种基于深度学习的模型，该模型可以帮助确定给定谣言在传播之前的真实性。为此，我们开发了一个事实检查模型，该模型仅使用以书面形式描述谣言的声明句作为输入。
  验证表明本文所提出的模型可以高精度地识别虚假谣言，从而表明仅使用声明的事实检查模型确实可以准确地检测虚假谣言。此外，我们进一步研究了在缺少数据集的情况下是否以及如何改进所提出的模型。为此，我们设计了分类事实检查模型，每个模型都使用某个类别（例如政治或体育）中的谣言声明进行学习。分类模型的评估表明存在性能下降的分类模型。最后，表明这些类别的性能下降可以通过转移学习得到改善，转移学习使用来自一个类别的预构建模型的参数作为模型的初始状态，以识别另一个类别中的虚假谣言。
   本研究的贡献总结如下：

• 仅使用声明的事实检查器： 本研究提出了一种基于深度学习的模型，该模型仅使用谣言声明，从而识别并防止虚假谣言传播开来。所提出的模型包括两个步骤：（i）声明嵌入和（ii）事实检查。对于声明嵌入，实现了 BERT 预训练模型以从声明中提取综合语言特征，然后将提取的特征输入到事实检查步骤以进行最终决策。我们基于收集到的数据集的评估表明，所提出的模型不仅提取了每个单词的含义，还提取了反映语言风格或声明中单词之间关系的复杂因素，从而改进了事实-检查性能。
• 不同类别的事实核查： ：假设缺乏一个数据集，其中只有一个类别中的声明可用，则针对单个类别（例如政治或娱乐）开发并评估了多个事实检查模型，揭示了政治、娱乐和商业中相对难以进行事实检查的谣言本研究还表明，迁移学习可以改善这些类别中模型性能下降的情况，迁移学习使用从一个类别中训练的模型参数作为另一个类别的模型初始状态。我们的分析表明，从一个类别中预训练的模型可以处理广泛的主题（例如，仿制品学-fauxtography），这是一个有用的来源，可以转移到其他类别（例如，娱乐）。

2、相关工作

2.1. 谣言传播分析

2.2. 事实检查模型

3. 方法论

3.1. 事实核查模型

3.1.1 整体架构

  所提出模型的目标是确定给定声明是真还是假。为此，我们提出了一个基于深度学习的模型，该模型由两个步骤组成：(i) 声明嵌入和 (ii) 事实检查，如图 1 所示。对于声明嵌入，我们首先调查和评估提取的各种模型语言特征，并决定使用 BERT 预训练模型，因为它可以从给定文本中提取综合特征（Devlin 等人，2019）。

图 1. 显示了所提出模型的整体架构。事实检查的过程包括两个步骤：（i）声明嵌入和（ii）事实检查。对于声明嵌入，使用了 BERT 预训练模型，该模型由多个双向变换层组成，每个变换层都采用了复杂的技术，包括层归一化、残差连接和多头注意力。然后在声明嵌入阶段提取的给定声明的嵌入在事实检查阶段被馈送到多个层中，以进行最终的真/假决策。
  然后，在事实检查阶段将从声明嵌入步骤中提取的声明特征向量馈送到多个层中，以进行最终的真/假决策。形式上，给定谣言声明$r$ 的预测值$y_r$计算如下。
  其中 $X$ 和 $\theta$ 分别是谣言声明集和要训练的参数集。

  所提出模型的另一个关键特征是采用迁移学习，这是一个在执行任务时获取知识并将其应用于执行相关任务的概念。特别是，用于揭穿特定类别（例如，政治）的模型的参数被转移并用作另一个类别（例如，娱乐）的新事实检查模型的初始参数。因此，可以通过迁移学习使用相对较少的索赔数据快速可靠地学习新类别的模型。

3.1.2. 声明嵌入

  所提出模型中使用的 BERT 层与原始模型相同，我们排除了对 BERT 层架构的详尽描述。与其他基于 BERT 的分类模型类似，最后一层 [CLS] 的唯一嵌入特征最终被转发到事实检查步骤。

3.1.3.事实核查

  事实检查步骤使用在上一步中生成的声明特征作为输入来确定给定声明是真还是假。为此，在此步骤中使用了单个 dropout 层和单个全连接层。特征首先通过 dropout 层，通过在正向和反向传播过程中随机丢弃一些隐藏单元来防止隐藏单元的共同适应。请注意， dropout 率 § 设置为 0.1。然后，dropout 层的输出通过全连接层进行最终决策。形式上，给定谣言声明 r 的输出计算如下。
  其中$F$和$E_r$分别代表全连接层和从上一步提取的声明特征
  为了获得所提出模型的最佳网络参数，应用了L2正则化。特别是，$\theta$是否满足以下表达式，也被确定。
  其中 D 和 y 表示谣言声明集和实际标签（即，1 和 0 分别表示虚假和真实声明），分别表示为 one-hot 编码向量。
3.1.4 迁移学习
  所提出模型的一个关键特征是采用迁移学习 (Pan & Yang, 2010) 为新类别中的谣言建立事实检查模型，这在缺少数据集的情况下很有用。也就是说，假设一个典型类别（例如，商业）的谣言可以与另一个类别（例如，金融）的谣言相关联，那么一个类别中的谣言声明训练的所有模型参数都可以转移和使用作为另一个类别的模型的初始状态，其要学习的声明数量不足。
图 3 显示了从类别 $C_i$到另一个类别$C_j$的迁移学习过程。类别$C_i$的谣言声称用于训练 $C_j$的事实检查模型的参数${\theta }_{C_i}$。为了建立模型来揭穿${\theta }_{C_j}$类别中的谣言声明，参数${\theta }_{C_i}$被转移并用作类别${\theta }_{C_j}$的模型的初始参数。类别$C_i$中的谣言声明，用于调整初始参数 ${\theta }_{C_i}$ ，最终得出类别$C_j$ 的事实检查模型的参数（记为 ${\theta }_{C_j}$）。

3.2.评估数据集

  我们从两个流行的事实核查网站 Snopes2 和 Politifact3 收集了谣言及其相应的说法

3.3 实验设置

  批量大小、序列长度、学习率和 epoch 计数分别设置为 32、128、1e-5 和 8。这些适用于所有模型，除了从“Fauxtography”到“Entertainment”的转移模型，其性能在表4中描述。我们只将模型的学习率更改为2e-5