【机器学习】P24 随机森林算法(1) 实现 “鸢尾花” 预测

2024-03-17 06:20

本文主要是介绍【机器学习】P24 随机森林算法(1) 实现 “鸢尾花” 预测,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

随机森林算法 Random Forest Algorithm

  • 随机森林算法
  • 随机森林算法实现分类鸢尾花

随机森林算法

随机森林(Random Forest)算法 是一种 集成学习(Ensemble Learning)方法,它由多个决策树组成,是一种分类、回归和特征选择的机器学习算法。

在随机森林中,每个决策树都是独立地训练的,每棵树的建立都是基于随机选取的 特征子集 和随机选取的 训练样本集

  • 在分类问题中,随机森林采用投票的方式来决定最终分类结果;
  • 在回归问题中,随机森林采用平均值的方式来预测结果。

对于随机森林算法,必须知道的几个概念包括:

  1. 怎样选取的特征子集以及训练样本集;
  2. 我们很清楚决策树如何对分类值做出分类处理,然而决策树如何对连续值做出的分类处理?

对于第一个问题,很好回答和理解,所谓特征子集以及训练样本集,其实就是为了防止森林中所有的决策树的训练集一样,因为如果决策树的所有训练集一样,那就没有意义建造森林了。而抽取的方法有很多,最简单就像从口袋中抽球一样,随机抽出放回;将抽出的球构成训练样本集。

而对于第二个问题,就需要深思熟虑一下,首先需要理解的是:

  • 对于全都是数字的训练集数据特征值,决策树在选取划分特征时通常会采用方差(Variance)或均方差(Mean Squared Error)来衡量特征的重要性,以找到能够最大化减少样本方差划分特征。

  • 对于全都是分类的训练集数据特征,决策树在选取划分特征时通常会采用信息增益(Information Gain)来衡量特征的重要性,所谓最大信息增益,即最大化减少熵的选择。

其次,对于连续型特征,如体重、身高等等,采用二分法进行划分。具体来说,通过在特征值中选择一个分裂点,即可以将整个特征值数组分为两类的点,通常分裂点的选择有两种策略:

  1. 选择中位数:一种常见的选择分裂点的方法是选择特征值的中位数作为分裂点。具体来说,可以按照该特征值从小到大进行排序,然后选择中间位置上的值作为分裂点。
  2. 选择平均值:另一种选择分裂点的方法是选择特征值的平均值作为分裂点。具体来说,可以计算该特征值的平均值,并将其作为分裂点。

然后计算每个属性分裂后的哪个的方差减少值最大,即选择其作为分类选择。

下述内容将围绕随机森林算法实现一个著名的分类问题:鸢尾花预测;而实现回归问题,即波士顿房价通过随机森林算法预测将在【机器学习】P25 随机森林算法(2) 实现 “波士顿房价” 预测 中呈现;


随机森林算法实现分类鸢尾花

鸢尾花数据与特征:
鸢尾花,又称花卉之王,是一种常见的花卉植物,由于其具有多种颜色和品种,因此备受欣赏。在机器学习中,鸢尾花品种主要分为三类,其区分主要通过

  • 萼片长度(sepal length)
  • 萼片宽度(sepal width)
  • 花瓣长度(petal length)
  • 花瓣宽度(petal width)

四大属性来进行区分,如下图所示,我们截取 sklearn 中鸢尾花训练集前十个数据,通过 pandas 进行查看。

import pandas as pdsamples = X_train[:10]
targets = y_train[:10]
df = pd.DataFrame(samples, columns=iris.feature_names[:4])
df["Target"] = targets
df.insert(0, "Index", df.index+1)print(df.to_string(index=False))

在这里插入图片描述

随机森林分类鸢尾花的操作步骤:

  • 首先导入了需要的库和数据集;
  • 然后将数据集拆分为训练集和测试集;
  • 接下来,创建一个包含10个决策树的随机森林分类器 n_estimators=10,并使用训练集拟合模型;
  • 然后使用测试集预测结果,并计算模型的准确率。
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split# 加载 iris 数据集
iris = load_iris()
X, y = iris.data, iris.target# 将数据集拆分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)# 创建随机森林分类器
rf = RandomForestClassifier(n_estimators=10)# 使用训练集拟合模型
rf.fit(X_train, y_train)# 获取每个决策树的预测结果
tree_predictions = []
for tree in rfc.estimators_:tree_predictions.append(tree.predict(X_test))# 预测测试集
y_pred = rf.predict(X_test)# 打印每个决策树的前十个测试案例的预测结果
for i, tree_prediction in enumerate(tree_predictions):print(f"Tree {i} predictions:", tree_prediction[:10])# 打印随机森林的前十个测试案例的预测结果
print("Random forest predictions:", y_pred[:10])# 计算模型精度
accuracy = rf.score(X_test, y_test)
# accuracy = sum(y_pred == y_test) / len(y_test)
print("Accuracy:", accuracy)

通过将随机森林的10个决策树打印各自对前十个测试案例的预测结果,还是发现存在不同的分类结果,但是最终都是按照投票的方式,得到最终的预测结果,并且达到准确率 100%

在这里插入图片描述

最后还可通过输入四个属性来获取预测的结果:

# 输入待预测的四个属性
input_data = [[5.1, 3.5, 1.4, 0.2],[7.0, 3.2, 4.7, 1.4],[6.3, 2.9, 5.6, 1.8],[4.8, 3.4, 1.9, 0.2]]# 预测输入数据的分类
output_data = rf.predict(input_data)# 输出预测结果
print(output_data)

这篇关于【机器学习】P24 随机森林算法(1) 实现 “鸢尾花” 预测的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/818079

相关文章

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Java枚举类实现Key-Value映射的多种实现方式

《Java枚举类实现Key-Value映射的多种实现方式》在Java开发中,枚举(Enum)是一种特殊的类,本文将详细介绍Java枚举类实现key-value映射的多种方式,有需要的小伙伴可以根据需要... 目录前言一、基础实现方式1.1 为枚举添加属性和构造方法二、http://www.cppcns.co

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制,确认复制是否成功4.同

Java实现文件图片的预览和下载功能

《Java实现文件图片的预览和下载功能》这篇文章主要为大家详细介绍了如何使用Java实现文件图片的预览和下载功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... Java实现文件(图片)的预览和下载 @ApiOperation("访问文件") @GetMapping("

使用Sentinel自定义返回和实现区分来源方式

《使用Sentinel自定义返回和实现区分来源方式》:本文主要介绍使用Sentinel自定义返回和实现区分来源方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Sentinel自定义返回和实现区分来源1. 自定义错误返回2. 实现区分来源总结Sentinel自定

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义

opencv图像处理之指纹验证的实现

《opencv图像处理之指纹验证的实现》本文主要介绍了opencv图像处理之指纹验证的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录一、简介二、具体案例实现1. 图像显示函数2. 指纹验证函数3. 主函数4、运行结果三、总结一、