机器学习——决策树模型

2024-08-30 23:20
文章标签 学习 模型 机器 决策树

本文主要是介绍机器学习——决策树模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

决策树原理

算法概述

从根节点开始一步步走到叶子节点(决策)

所有数据最终都会落到叶子节点,既可以做分类也可以做回归

在这里插入图片描述

例如上例,输入一个数据后,先判断他的年龄,然后再判断性别

在决策树中,根节点的决策效果较强——即能够明显的将数据划分(分类的效果最好)

因此,对于每个节点特征的选取,为决策树需要解决的核心内容

树的组成

根节点:第一个选择点

叶子节点:最终的决策结果

非叶子节点与分支:中间过程

决策树的训练与测试阶段

训练阶段:从给定的训练集中构造出一棵树。从根结点开始选择特征,如何进行特征切分,最终形成决策树的过程(核心部分)

测试阶段:根据构造出的树模型从上到下走一遍

熵表示随机变量不确定性的度量,是一种衡量标准,通过熵来计算不同特征进行分治选择后的分类情况,从而找出来最好的那个当成根节点,以此类推

当物体内部越混乱时,即不确定性越强时,熵值越高

例如:

A集合 [ 1 , 1 , 1 , 1 , 1 , 2 , 2 ] [1, 1, 1, 1,1,2,2] [1,1,1,1,1,2,2]

B集合 [ 1 , 2 , 3 , 5 , 4 , 4 , 6 ] [1,2,3,5,4,4,6] [1,2,3,5,4,4,6]

显然A集合的熵值更低,因为A里面的种类较少,相对更稳定一点,而B中的种类较多,熵值就比较大

熵的公式
H ( X ) = − ∑ i = 1 n p i log ⁡ p i H(X) = -\sum_{i=1}^{n} p_i \log p_i H(X)=i=1npilogpi
其中, p i p_i pi 表示第 i i i 中物品在集合中出现的概率

由于乘上了一个对数函数,而 p i p_i pi 的取值范围为 [ 0 , 1 ] [0,1] [0,1],因此,当出现概率越大(越接近于1)时, H ( X ) H(X) H(X)越小,即表明了,内部越稳定,熵值越低

信息增益:表示特征 X X X 使得类 Y Y Y 的不确定性减少的程度

决策树基于信息增益进行模型的构建与训练

决策树构造实例

根据数据特征数量,确定决策树节点数量

在这里插入图片描述

例如该数据,共有四种特征,因此需要四种划分方式,即:

  • 基于天气的划分
  • 基于温度的划分
  • 基于湿度的划分
  • 基于有风的划分

然后,分别计算每种划分的信息增益(划分后的熵值减去划分前的熵值)

例如,对于天气的划分,如下:

在这里插入图片描述

计算三种熵值:

  • sunny,熵值为0.971
  • overcast,熵值为0
  • rainy,熵值为0.971

然后,由于三种取值的概率不一样,因此需要对三种熵值进行线性加权,最终得到天气划分的熵值为0.693

而划分之前数据的熵值为0.940,最终得到信息增益为 0.940 − 0.693 = 0.247 0.940 - 0.693 = 0.247 0.9400.693=0.247

运用同样方法,对特征进行遍历,依次算出其他划分情况的信息增益,选择最大的信息增益,作为根节点。

在选取完根节点的情况下,再对特征进行遍历计算信息增益,选择下一节点 … \dots

信息增益率

如果我们存在类似于 id 的特征,即每个样本的该特征都是独一无二的,对于该特征的划分,划分之后数据的熵为0。如果使用信息增益的话,会把 id 作为根节点,但实际情况中,当种类很多时,这种类似 id 的特征对我们最后的任务没有很大的作用。因此,使用信息增益的话就会出现很大的问题,即信息增益不适合解决具有非常稀疏的特征的样本集

为了解决该问题,可以使用信息增益率,即考虑自身熵

GINI系数

GINI系数和熵类似,都是一种衡量标准,但计算方式不同

GINI系数公式
G i n i ( p ) = ∑ k = 1 K p k ( 1 − p k ) = 1 − ∑ k − 1 K p k 2 Gini(p) = \sum _{k=1}^{K}p_k(1-p_k) = 1- \sum _{k-1}^{K}p_k^2 Gini(p)=k=1Kpk(1pk)=1k1Kpk2
其中, p k p_k pk 代表出现的概率

剪枝策略

决策树过拟合风险很大,因为理论上决策树可以做的无限的庞大,可以完全分得开数据,因此需要对建立的决策树进行剪枝操作,防止过拟合

预剪枝

边建立决策树边进行剪枝,是最实用的方法

预剪枝方法

  • 限制决策树深度
  • 限制叶子节点个数
  • 规定叶子节点样本最低数目
  • 规定信息增益最低值

即,在建立决策树的同时,设置一些参数,防止决策树过于庞大,但这些参数还需要根据实际情况具体设定(实验交叉验证观察哪个参数值效果好)

后剪枝

当建立完决策树后再进行剪枝操作

后剪枝方法

通过一定的衡量标准去指定后剪枝方法:
C α ( T ) = C ( T ) + α ∣ T l e a f ∣ C_{\alpha}(T) = C(T) + \alpha |T_{leaf}| Cα(T)=C(T)+αTleaf
其中, C ( T ) C(T) C(T) 为当前节点的信息熵值, T l e a f T_{leaf} Tleaf是叶子节点个数

上述公式表明,叶子节点越多,损失越大

决策树代码实现(基于sklearn)

决策树算法整体流程:

  • 构建数据集
  • 选取根节点
  • 依次向下选取其他节点——分支(递归方法创建)

导入相应的包

import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.tree import DecisionTreeClassifier
from sklearn.tree import plot_tree
  • matplotlib.pyplot 用于画图,可视化数据
  • datasets 用于下载sklearn里自带的数据集(这里使用鸢尾花数据)
  • DecisionTreeClassifiersklearn中决策树模块
  • plot_tree 用于最后树模型可视化

数据集

基于sklearn中的鸢尾花数据集

iris = datasets.load_iris()
# print(iris.data)
X = iris.data[:, 2:]
y = iris.target

通过打印y的信息,发现最终的分类只有三类,将数据可视化,观察其空间分布,如下:

plt.scatter(X[y == 0, 0], X[y == 0, 1])
plt.scatter(X[y == 1, 0], X[y == 1, 1])
plt.scatter(X[y == 2, 0], X[y == 2, 1])
plt.show()

在这里插入图片描述

由此,我们可以大致确定决策树的层次为二层

决策树模型建立

sklearn中决策树模型

  • DecisionTreeClassifier 主要用于分类
  • DecisionTreeRegression 主要用于回归

在这里我们采用分类树

模型建立

tree = DecisionTreeClassifier(max_depth=2, criterion='entropy')
  • max_depth 指定树的深度
  • criterion 指定损失函数

模型训练

tree.fit(X, y)

树模型可视化

plot_tree(tree, filled=True)
plt.show()

在这里插入图片描述

这篇关于机器学习——决策树模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1122226

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验