机器学习入门-假新闻预测

1.设计内容
根据新闻数据，建立一个模型来准确地将一条新闻分类为 REAL 或 FAKE。

2.数据集
新闻数据集。该数据集的形状为 7796×4。第一列标识新闻，第二和第三列是标题和文本，第四列有标签，表示新闻是真实的还是假的
如图：

CSV（逗号分隔值）（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。通常都是纯文本文件。

3.设计要求：
（1）数据操作：
①使用数据集。获取数据的形状，并输出前五条数据。找出没有假新闻的文章和没有真新闻的文章（如果存在的话）。将数据集拆分为训练集和测试集。
②标签。根据新闻数据中的FAKE和REAL，对数据建立一个新的标签属性列。
③数据预处理。对句子进行分词，统计每个句子中的词频。根据分词和词频结果，以及标签建立训练数据。
（2）训练模型，训练两个模型用于假新闻检测。
（3）模型评估，在测试集上运行模型：
①输出混淆矩阵。
②计算精度、准确率、召回率。

模型原理

• 逻辑回归：通过给定的n组数据（训练集）来训练模型，并在训练结束后对给定的一组或多组数据（测试集）进行分类。其中每一组数据都是由p 个指标构成。将每个样本进行“打分”，然后设置一个阈值(概率)，大于该阈值为一个类别，反之另一类别。

• BernoulliNB 实现了用于多重伯努利分布数据的朴素贝叶斯训练和分类算法，即有多个特征，但每个特征 都假设是一个二元 (Bernoulli, boolean) 变量。 因此，这类算法要求样本以二元值特征向量表示；如果样本含有其他类型的数据， 一个 BernoulliNB 实例会将其二值化(取决于 binarize 参数)。
  

• PassiveAggressiveClassifier体现出了一种在线学习(online learning)的思想。样本是否分类正确 模型预测的可能性（程度/概率）是否贴近实际。 Passive Aggressive Algorithms算法根据以上的判断准则优化自己的模型：在样本分类正确 且 模型对可能性的预测准确（程度大于一）时；模型不做调整（这里体现出了被动） 在样本分类正确 ；但 模型对可能性的预测有失偏颇（不太准确）时，模型做出轻微的调整 。

• TF-IDF：自动提取关键词
  TF-IDF（Term Frequency-InversDocument Frequency）是一种常用于信息处理和数据挖掘的加权技术。该技术采用一种统计方法，根据字词的在文本中出现的次数和在整个语料中出现的文档频率来计算一个字词在整个语料中的重要程度。它的优点是能过滤掉一些常见的却无关紧要本的词语，同时保留影响整个文本的重要字词。
  一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章。
  TF-IDF应用
  （1）搜索引擎；（2）关键词提取；（3）文本相似性；（4）文本摘要

布袋模型
词袋是一篇文档中单词出现的文本表示，它包含两个信息：

1. 一个已知单词构成的字典

2. 一种已知单词出现的度量

它之所以称为词“袋”，是因为它只关心单词是否出现，而且关于文档中的单词的顺序和结构信息都忽略掉了。

概要设计
这个检测假新闻的python项目涉及假新闻和真新闻。

• 第一个模型使用用逻辑回归将分类问题转化为回归问题

• 第二个模型使用BernoulliNB实现了用于多重伯努利分布数据的朴素贝叶斯训练和分类算法,

为了更准确，初始化一个PassiveAggressiveClassifier（增量学习算法） 并拟合模型。

最后，精度分数和混淆矩阵告诉我们模