深入理解贝叶斯分类与朴素贝叶斯模型(Naive Bayes, NB):从基础到实战

2024-03-27 16:30

本文主要是介绍深入理解贝叶斯分类与朴素贝叶斯模型(Naive Bayes, NB):从基础到实战,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

贝叶斯分类

公式

决策规则

优点

贝叶斯分类器的例子——垃圾邮件问题

1. 特征(输入):

2. 类别:

3. 数据:

4. 模型训练:

注:类别先验概率

5. 模型预测:

朴素贝叶斯模型

模型定位&模型假设

模型算法

例子

sklearn朴素贝叶斯代码实现


贝叶斯分类

公式

在贝叶斯分类中,我们关注的是样本属于某个类别的概率。设x是输入特征向量,C_k是类别。根据贝叶斯公式,我们可以计算后验概率 P(C_k|x)

P(C_k|x) = \frac{P(x|C_k)P(C_k)}{P(x)}

其中,

  • P(C_k|x)是在给定输入 x 的条件下,属于类别C_k的概率。
  • P(x|C_k)是在给定类别C_k的条件下,输入 x 的概率(类别条件概率)。
  • P(C_k)是类别 C_k的先验概率。
  • P(x)是输入x的概率。

决策规则

选择具有最高后验概率P(C_k|x)的类别作为最终的分类结果。

优点

贝叶斯分类器的优点之一是它对小样本数据具有较好的鲁棒性,而且能够自然地处理多类别问题。然而,它的性能可能会受到输入特征之间的独立性假设的影响。在实际应用中,朴素贝叶斯分类器(Naive Bayes Classifier)是一种常见的贝叶斯分类器,其中假设特征之间是相互独立的。

贝叶斯分类器的例子——垃圾邮件问题

我反正看了上面那些个公式,不慎理解,虽然是数学专业的但是对于类别分布仍然有一些迷茫,所以这里举一个例子

假设我们要使用朴素贝叶斯分类器来判断一封电子邮件是否为垃圾邮件(Spam)或非垃圾邮件(Ham),我们可以使用以下特征:

1. 特征(输入):

  • x_1​: 邮件中包含词语 "money" 的概率。
  • x_2​: 邮件中包含词语 "free" 的概率。
  • x_3​: 邮件中包含词语 "meeting" 的概率。

2. 类别:

  • C_1​: 垃圾邮件(Spam)。
  • C_2​: 非垃圾邮件(Ham)。

3. 数据:

我们有一个已标记的训练数据集,其中包含一些垃圾邮件和非垃圾邮件。对于每封邮件,我们统计了x_1,x_2,x_3的取值。

4. 模型训练:

于每个类别C_k,我们计算先验概率 P(C_k)。对于每个特征x_i和类别C_k,我们计算类别条件概率 P(x_i|C_k)(这里的计算后面在朴素贝叶斯那里有详细说明)。

注:类别先验概率

类别的先验概率是指在没有任何观测数据的情况下,我们对每个类别的初始信念或概率。这个先验概率表示我们在了解任何具体数据之前对各个类别的预期信念。

数学上,假设有K个类别,类别的先验概率表示为P(C_k),其中k = 1,2,3,...,K

在实际问题中,我们可以通过观察训练数据集中每个类别的样本数量,来估计先验概率。具体而言,如果训练数据中类别C_k出现的次数为N_k,总样本数为 N,那么类别C_k的先验概率 P(C_k)可以估计为:

P(C_k) = \frac{N_k}{N}

在训练模型时,这些先验概率是模型的一部分,用于计算后验概率。在实际应用中,如果没有特定的先验知识,有时候也会使用均匀先验,即假设每个类别的先验概率相等。这意味着P(C_k)对于每个k都相等。

5. 模型预测:

对于一封新的邮件,我们计算它属于每个类别的后验概率P(C_k|x)。选择具有最高后验概率的类别作为最终的分类结果。

在朴素贝叶斯分类器中,特征之间的独立性假设是一个简化,但在实际应用中,该方法在垃圾邮件过滤等任务上表现良好。

朴素贝叶斯模型

模型定位&模型假设

贝叶斯模型属于生成式模型,它对样本的观测值和类别状态的联合分布p( \boldsymbol{x},y)进行建模。在实际应用中,联合分布转换成为类别的先验分布p(y)与类条件分布p( \boldsymbol{x}|y)乘积的形式:

p( \boldsymbol{x},y)=p(y)p( \boldsymbol{x}|y)

前者可以分别使用伯努利分布(二分类)和类别分布(多分类)建模先验概率,但是类条件分布p( \boldsymbol{x}|y)的估计一直是贝叶斯模型的难题。

注:在贝叶斯分类中,朴素贝叶斯模型通常涉及到计算后验概率,其中分母是用于归一化的。在实际计算中,我们通常只关注后验概率的相对大小,因此并不需要计算完整的分母。这种做法被称为"朴素",因为它简化了计算,假设特征之间是独立的,从而避免了计算联合概率分布的复杂性。

在文本分类任务中为例解决类条件分布p( \boldsymbol{x}|y)的估计的难题,需要对文本的类条件分布做进一步简化。一种通常的做法是忽略文本中的词序关系,假设各个特征词的位置都是可以互换的,即词袋模型(Bag Of Word,BOW)。基于这一假设类条件分布可以用多项式分布刻画。基于以上条件的贝叶斯模型,称为朴素贝叶斯模型(naive Bayes, NB),它的本质用混合的多项式分布刻画文本分布

朴素贝叶斯模型是一种简化的贝叶斯分类器,对观测向量\boldsymbol{x}和类别y的联合分布

p(x,y) = p(y)p(x|y)

进行建模。通常假设类别变量y(类别先验概率)服从伯努利分布(0-1分布)或分类分布(多分类问题),并根据实际任务对p(\boldsymbol{x}|y)(类别条件概率)进行合理假设。在图像分类任务中,常常将p(\boldsymbol{x}|y)假设为服从高斯分布,而在文本分类中任务中,p(\boldsymbol{x}|y)常见的分布假设有两种:多项分布模型和多变量伯努利分布模型。其中多变量伯努利分布假设只关心特征项是否出现,而不记录出现的频次,在实际应用中效果不及多项分布假设。因此,在文本分类任务中,不加特别说明的朴素贝叶斯模型往往都是基于多项式分布假设的朴素贝叶斯模型。

模型算法

首先将一个文档x表示为一个词的序列

x=[w_1,w_2,...,w_{|\boldsymbol{x}|}]

在条件独立性假设下,p(\boldsymbol{x}|y)可以具有多项分布的形式:

p(\boldsymbol{x}|c_j)=p([w_1,w_2,...,w_{|\boldsymbol{x}|}]|c_j)=\prod _{i=1}^Vp(t_i|c_j)^{N(t_i,\boldsymbol{x})}

其中,V是词汇表维度,t_i表示词汇表中的第i个特征项。令\theta_{i|j}=p(t_i|c_j)表示在c_j类条件下t_i出现的概率,N(t_i,\boldsymbol{x})表示在文档\boldsymbol{x}t_i的词频。

同时,我们以多分类问题为例,假设类别y服从类别分布:

p(y=c_j) = \pi_j

根据多项式分布模型假设,p(\boldsymbol{x},y)的联合分布为

p(\boldsymbol{x},y=c_j) = p(c_j)p(\boldsymbol{x}|c_j)=\pi_j\prod _{i=1}^V\theta_{i|j}^{N(t_i,\boldsymbol{x})}

其中\boldsymbol{x},\theta均为模型参数。

朴素贝叶斯模型基于最大似然估计算法进行参数学习,给定训练集\{x_k,y_k\}_{k=1}^N,模型以对数似然函数L(\pi,\theta)=log\prod_{k=1}^Np(x_k,y_k)作为优化目标。对优化目标求导置零,求解得到模型的参数估计值为:

\pi_j=\frac{\sum_{k=1}^NI(y_k=c_j)}{\sum_{k=1}^N\sum{j'=1}^CI(y_k=c_{j'})}=\frac{N_j}{N}

\theta_{i|j}=\frac{\sum_{k=1}^NI(y_k=c_j)N(t_j,x_k)}{\sum_{k=1}^NI(y_k=c_j)\sum_{i'=1}^VN(t_{i'},x_k)}

从参数估计的结果例可以看出,在多项式分布假设下,频率正是概率的最大似然估计值,例如,类别概率\pi_i的最大似然估计结果是训练集中第j类样本出现的频率;类条件下特征想概率的最大似然估计结果是第j类文档中所有特征项中t_i出现频率。为了防止零概率的出现,常常对\theta_{i|j}进行拉普拉斯平滑:

\theta_{i|j}=\frac{\sum_{k=1}^NI(y_k=c_j)N(t_j,x_k)+1}{\sum_{k=1}^NI(y_k=c_j)\sum_{i'=1}^VN(t_{i'},x_k)+V}

例子

利用朴素贝叶斯模型,在降维后的文本分类训练集(表5.7)上进行模型学习,分别令t_1=计算机,t2 = 排球,t3 = 运动会,t4 = 高校,t5 = 大学,y = 1表示教育类,y = 0表示体育类,可以得到如下参数估计结果。

\pi_jp(y=1)=0.5p(y=0)=0.5
\theta_{i|j}\theta_{1|1}=p(t_1|c_1)=\frac{2+1+0+0+1}{3+0+0+1+2+5}=\frac{4}{11}p(t_1|y=0)=1/10
p(t_2|y=1)=\frac{1}{11}p(t_2|y=0)=3/10
p(t_3|y=1)=\frac{1}{11}p(t_3|y=0)=3/10
p(t_4|y=1)=\frac{2}{11}p(t_4|y=0)=1/10
p(t_5|y=1)=\frac{3}{11}p(t_5|y=0)=2/10

基于上述模型参数,对test_d1的文本表示为x_1,它与教育类和体育类的联合概率分别为

p(x_1,y=1)=p(y=1)p(t_5|y=1)^2=0.037

p(x_1,y=0)=p(y=0)p(t_5|y=0)^2=0.020

根据贝叶斯分布可得属于两类的后验概率分布为:

p(y=1|x_1) = 0.649

p(y=0|x_1)=0.351

所以可以预测test\_d_1属于教育类。

同理可以计算得test\_d_2属于体育类。

sklearn朴素贝叶斯代码实现

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, classification_report# 示例数据(文本和对应的标签)
corpus = [("This is a positive statement", "positive"),("I feel great", "positive"),("This is a negative statement", "negative"),("I don't like this", "negative"),("I feel awful", "negative")
]# 将数据分为训练集和测试集
texts, labels = zip(*corpus)
X_train, X_test, y_train, y_test = train_test_split(texts, labels, test_size=0.2, random_state=42)# 将文本转换为词频向量
vectorizer = CountVectorizer()
X_train_vectorized = vectorizer.fit_transform(X_train)
X_test_vectorized = vectorizer.transform(X_test)# 训练朴素贝叶斯模型
nb_classifier = MultinomialNB()
nb_classifier.fit(X_train_vectorized, y_train)# 在测试集上进行预测
y_pred = nb_classifier.predict(X_test_vectorized)# 评估模型性能
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy:.2f}")# 打印分类报告
print("\nClassification Report:")
print(classification_report(y_test, y_pred))

这篇关于深入理解贝叶斯分类与朴素贝叶斯模型(Naive Bayes, NB):从基础到实战的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/852734

相关文章

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]