基于朴素贝叶斯预测芝加哥犯罪类型

目录

基于朴素贝叶斯预测芝加哥犯罪类型

1  朴素贝叶斯基本概念

   1.1概述

1.2模型

2  朴素贝叶斯的原理

2.1分类原理

2.2分类流程图

2.3算法原理

2.4算法优缺点

3  实验

3.1数据库选择

4  朴素贝叶斯实现

基于朴素贝叶斯预测芝加哥犯罪类型

1  朴素贝叶斯基本概念

   1.1概述

     朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法 [1]  。

最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。

1.2模型

多项式模型

该模型常用于文本分类，特征是单词，值是单词的出现次数。

在多项式模型中，设某文档d={t1,t2,...,tk}，ti(i=1,2,...,k)为在该文档d中出现的单词，允许重复。

则先验概率p(c) = 类c下单词总数 / 整个训练样本的单词总数

类条件概率 p(tk|c) = (类c下单词tk在各个文档出现的数量之和+1) / (类c下单词总数 + |V|)

V是训练样本中所有单词的集合(set，即每个单词有且仅能出现一次)，即该训练样本的词汇表。

在这里解释一下为何分子要加1，分母加|V|：

我们已知朴素贝叶斯的“朴素点”在于假设每个特征之间相互独立，在本例中就是任何单词之间相互