李航机器学习 | (7) 统计学习方法(第2版)笔记 --- 朴素贝叶斯习题与编程作业

本文主要是介绍李航机器学习 | (7) 统计学习方法(第2版)笔记 --- 朴素贝叶斯习题与编程作业,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

1. 用极大似然估计法推出朴素贝叶斯法中的概率估计公式:

 

2. 用贝叶斯估计法推出朴素贝叶斯法中的概率估计公式:

 

3. 贝叶斯估计求解过程

4. 自编程实现朴素贝叶斯算法,对上述表格中的训练数据进行分类。

"""
朴素贝叶斯算法的实现
2019/4/12
"""
import numpy as np
import pandas as pdclass NaiveBayes():def __init__(self, lambda_):self.lambda_ = lambda_  # 贝叶斯系数 取0时,即为极大似然估计 非0时为贝叶斯估计self.y_types_count = None  # y的(类型:数量)self.y_types_proba = None  # y的(类型:概率)self.x_types_proba = dict()  # (xi 的编号,xi的取值,y的类型):概率def fit(self, X_train, y_train):self.y_types = np.unique(y_train)  # y的所有取值类型X = pd.DataFrame(X_train)  # 转化成pandas DataFrame数据格式,下同y = pd.DataFrame(y_train)# y的(类型:数量)统计self.y_types_count = y[0].value_counts()# y的(类型:概率)计算self.y_types_proba = (self.y_types_count + self.lambda_) / (y.shape[0] + len(self.y_types) * self.lambda_)# (xi 的编号,xi的取值,y的类型):概率的计算for idx in X.columns:  # 遍历xifor j in self.y_types:  # 选取每一个y的类型p_x_y = X[(y == j).values][idx].value_counts()  # 选择所有y==j为真的数据点的第idx个特征的值,并对这些值进行(类型:数量)统计for i in p_x_y.index:  # 计算(xi 的编号,xi的取值,y的类型):概率self.x_types_proba[(idx, i, j)] = (p_x_y[i] + self.lambda_) / (self.y_types_count[j] + p_x_y.shape[0] * self.lambda_)def predict(self, X_new):res = []for y in self.y_types:  # 遍历y的可能取值p_y = self.y_types_proba[y]  # 计算y的先验概率P(Y=ck)p_xy = 1for idx, x in enumerate(X_new):p_xy *= self.x_types_proba[(idx, x, y)]  # 计算P(X=(x1,x2...xd)/Y=ck)res.append(p_y * p_xy)for i in range(len(self.y_types)):print("[{}]对应概率:{:.2%}".format(self.y_types[i], res[i]))# 返回最大后验概率对应的y值return self.y_types[np.argmax(res)]def main():X_train = np.array([[1, "S"],[1, "M"],[1, "M"],[1, "S"],[1, "S"],[2, "S"],[2, "M"],[2, "M"],[2, "L"],[2, "L"],[3, "L"],[3, "M"],[3, "M"],[3, "L"],[3, "L"]])#标签y_train = np.array([-1, -1, 1, 1, -1, -1, -1, 1, 1, 1, 1, 1, 1, 1, -1])#创建朴素贝叶斯分类器对象clf = NaiveBayes(lambda_=0.2)#训练 计算先验概率和条件概率clf.fit(X_train, y_train)#预测样本X_new = np.array([2, "S"])#预测y_predict = clf.predict(X_new)print("{}被分类为:{}".format(X_new, y_predict))if __name__ == "__main__":main()

 

5. 试分别调用 sklearn.naive_bayes 的 GaussianNB、BernoulliNB、MultinomialNB 模块,对上述表格中训练数据进行分类。

之前碰到的都是特征是离散变量情形,如果特征是连续变量,如身高(如果训练集身高有175,177,如果把他当作离散变量来做,会有问题,比如预测时出现身高=176.5就没办法做了),此时要使用高斯分布。

"""
朴素贝叶斯算法sklearn实现
2019/4/15
"""import numpy as np
from sklearn.naive_bayes import GaussianNB, BernoulliNB, MultinomialNB
from sklearn import preprocessing  # 预处理def main():X_train = np.array([[1, "S"],[1, "M"],[1, "M"],[1, "S"],[1, "S"],[2, "S"],[2, "M"],[2, "M"],[2, "L"],[2, "L"],[3, "L"],[3, "M"],[3, "M"],[3, "L"],[3, "L"]])y_train = np.array([-1, -1, 1, 1, -1, -1, -1, 1, 1, 1, 1, 1, 1, 1, -1])#对于离散型特征,我们要进行预处理 使每一个样本在每个特征上的取值为0或1#比如第一个样本 的特征为1,S;其中第一个特征有三个取值 第二个特征也有三个取值#转换后的特征为 1 0 0 0 0 1 (分别对应 1 2 3 L M S)enc = preprocessing.OneHotEncoder(categories='auto')enc.fit(X_train)X_train = enc.transform(X_train).toarray()print(X_train)print("---------------")clf = MultinomialNB(alpha=0.0000001) #离散变量clf.fit(X_train, y_train)X_new = np.array([[2, "S"]]) #对预测样本也做相同的转换X_new = enc.transform(X_new).toarray() y_predict = clf.predict(X_new)print("{}被分类为:{}".format(X_new, y_predict))print("---------------")print(clf.predict_proba(X_new))  #归一化概率if __name__ == "__main__":main()

 

 

这篇关于李航机器学习 | (7) 统计学习方法(第2版)笔记 --- 朴素贝叶斯习题与编程作业的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/377876

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

作业提交过程之HDFSMapReduce

作业提交全过程详解 (1)作业提交 第1步:Client调用job.waitForCompletion方法,向整个集群提交MapReduce作业。 第2步:Client向RM申请一个作业id。 第3步:RM给Client返回该job资源的提交路径和作业id。 第4步:Client提交jar包、切片信息和配置文件到指定的资源提交路径。 第5步:Client提交完资源后,向RM申请运行MrAp

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

hdu1496(用hash思想统计数目)

作为一个刚学hash的孩子,感觉这道题目很不错,灵活的运用的数组的下标。 解题步骤:如果用常规方法解,那么时间复杂度为O(n^4),肯定会超时,然后参考了网上的解题方法,将等式分成两个部分,a*x1^2+b*x2^2和c*x3^2+d*x4^2, 各自作为数组的下标,如果两部分相加为0,则满足等式; 代码如下: #include<iostream>#include<algorithm

【C++ Primer Plus习题】13.4

大家好,这里是国中之林! ❥前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。有兴趣的可以点点进去看看← 问题: 解答: main.cpp #include <iostream>#include "port.h"int main() {Port p1;Port p2("Abc", "Bcc", 30);std::cout <<

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal