梯度提升决策树（GBDT）

2024-06-09 20:36
文章标签 提升 决策树 梯度 gbdt

本文主要是介绍梯度提升决策树（GBDT），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

GBDT（Gradient Boosting Decision Tree），全名叫梯度提升决策树，是一种迭代的决策树算法，又叫 MART（Multiple Additive Regression Tree），它通过构造一组弱的学习器（树），并把多颗决策树的结果累加起来作为最终的预测输出。该算法将决策树与集成思想进行了有效的结合。

原理

GBDT的核心思想是将多个弱学习器（通常是决策树）组合成一个强大的预测模型。具体而言，GBDT的定义如下：

  • 初始化：首先GBDT使用一个常数（通常是目标变量的平均值，也可以是其他合适的初始值。初始预测值代表了模型对整体数据的初始估计。）作为初始预测值。这个初始预测值代表了我们对目标变量的初始猜测。
  • 迭代训练：GBDT是一个迭代算法，通过多轮迭代来逐步改进模型。在每一轮迭代中，GBDT都会训练一棵新的决策树，目标是减少前一轮模型的残差（或误差）。残差是实际观测值与当前模型预测值之间的差异，新的树将学习如何纠正这些残差。
  • 1）计算残差：在每轮迭代开始时，计算当前模型对训练数据的预测值与实际观测值之间的残差。这个残差代表了前一轮模型未能正确预测的部分。
  • 2）：训练新的决策树：使用计算得到的残差作为新的目标变量，训练一棵新的决策树。这棵树将尝试纠正前一轮模型的错误，以减少残差。
  • 3）：更新模型：将新训练的决策树与之前的模型进行组合。具体地，将新树的预测结果与之前模型的预测结果相加，得到更新后的模型。
  • 集成：最终，GBDT将所有决策树的预测结果相加，得到最终的集成预测结果。这个过程使得模型能够捕捉数据中的复杂关系，从而提高了预测精度。

每次都以当前预测为基准，下一个弱分类器去拟合误差函数对预测值的残差（预测值与真实值之间的误差）。
GBDT的弱分类器使用的是树模型。
在这里插入图片描述
如图是一个非常简单的帮助理解的示例，我们用GBDT去预测年龄：

  • 第一个弱分类器（第一棵树）预测一个年龄（如20岁），计算发现误差有10岁；
  • 第二棵树预测拟合残差，预测值6，计算发现差距还有4岁；
  • 第三棵树继续预测拟合残差，预测值3，发现差距只有1岁了；
  • 第四课树用1岁拟合剩下的残差，完成。
    最终，四棵树的结论加起来，得到30岁这个标注答案（实际工程实现里，GBDT是计算负梯度，用负梯度近似残差）。

GBDT的优势

1）高精度预测能力
GBDT以其强大的集成学习能力而闻名，能够处理复杂的非线性关系和高维数据。它通常能够在分类和回归任务中取得比单一决策树或线性模型更高的精度。
2）对各种类型数据的适应性
GBDT对不同类型的数据（数值型、类别型、文本等）具有很好的适应性，不需要对数据进行特别的预处理。这使得它在实际应用中更易于使用。

  • 处理混合数据类型
    在现实世界的数据挖掘任务中，常常会遇到混合数据类型的情况。例如，在房价预测问题中，特征既包括数值型（如房屋面积和卧室数量），还包括类别型（如房屋位置和建筑类型）和文本型（如房屋描述）数据。GBDT能够直接处理这些混合数据，无需将其转换成统一的格式。这简化了数据预处理的步骤，节省了建模时间。
  • 不需要特征缩放
    与某些机器学习算法（如支持向量机和神经网络）不同，GBDT不需要对特征进行缩放或归一化。这意味着特征的尺度差异不会影响模型的性能。在一些算法中，特征的尺度不一致可能导致模型无法正确学习，需要进行繁琐的特征缩放操作。而GBDT能够直接处理原始特征，减轻了数据预处理的负担。

3）在数据不平衡情况下的优势

  • 加权损失函数
    GBDT使用的损失函数允许对不同类别的样本赋予不同权重。这意味着模型可以更关注少数类别，从而提高对不平衡数据的处理能力。
  • 逐步纠正错误
    GBDT的迭代训练方式使其能够逐步纠正前一轮模型的错误。在处理不平衡数据时，模型通常会在多轮迭代中重点关注难以分类的少数类别样本。通过逐步纠正错误，模型逐渐提高了对少数类别的分类能力，从而改善了预测结果。

4）鲁棒性与泛化能力
GBDT在处理噪声数据和复杂问题时表现出色。其鲁棒性使得它能够有效应对数据中的异常值或噪声，不容易受到局部干扰而产生较大的预测误差。
5）特征重要性评估
GBDT可以提供有关特征重要性的信息，帮助用户理解模型的决策过程。通过分析每个特征对模型预测的贡献程度，用户可以识别出哪些特征对于问题的解决最为关键。这对于特征选择、模型解释和问题理解非常有帮助。
6）高效处理大规模数据
尽管GBDT通常是串行训练的，每棵树依赖于前一棵树的结果，但它可以高效处理大规模数据。这得益于GBDT的并行化实现和轻量级的决策树结构。此外，GBDT在处理大规模数据时可以通过特征抽样和数据抽样来加速训练过程，而不会牺牲太多预测性能。

关键参数与调优

参数解释

n_estimators：迭代次数，即最终模型中弱学习器的数量。
learning_rate（学习率）：每次迭代时，新决策树对预测结果的贡献权重。
max_depth：决策树的最大深度，控制着树的复杂度。
min_samples_split：节点分裂所需的最小样本数。
subsample：用于训练每棵树的样本采样比例，小于1时可实现随机梯度提升。
loss：即我们GBDT算法中的损失函数。分类模型和回归模型的损失函数是不一样的。1）对于分类模型，有对数似然损失函数"deviance"和指数损失函数"exponential"两者输入选择。默认是对数似然损失函数"deviance"。2）对于回归模型，有均方差"ls", 绝对损失"lad", Huber损失"huber"和分位数损失“quantile”。默认是均方差"ls"。一般来说，如果数据的噪音点不多，用默认的均方差"ls"比较好。如果是噪音点较多，则推荐用抗噪音的损失函数"huber"。而如果我们需要对训练集进行分段预测的时候，则采用“quantile”。
subsample：用于训练每个弱学习器的样本比例。减小该参数可以降低方差，但也可能增加偏差。

调优策略

学习率与迭代次数的平衡：较低的学习率通常需要更多的迭代次数来达到较好的性能，但能减少过拟合的风险。
树的深度与样本采样：合理限制树的深度和采用子采样可以提高模型的泛化能力。
早停机制：在验证集上监控性能，一旦性能不再显著提升，则提前终止训练。

为了解决GBDT的效率问题，LightGBM和XGBoost等先进框架被提出，它们通过优化算法结构（如直方图近似）、并行计算等方式显著提高了训练速度。

python实现

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.ensemble import GradientBoostingRegressorGradientBoostingClassifier(*, loss='deviance', learning_rate=0.1, n_estimators=100, subsample=1.0, criterion='friedman_mse', min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0,max_depth=3, min_impurity_decrease=0.0, min_impurity_split=None, init=None, random_state=None,max_features=None, verbose=0, max_leaf_nodes=None, warm_start=False, presort='deprecated', validation_fraction=0.1, n_iter_no_change=None, tol=0.0001, ccp_alpha=0.0)GradientBoostingRegressor(*, loss='ls', learning_rate=0.1, n_estimators=100, subsample=1.0, criterion='friedman_mse', min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, min_impurity_decrease=0.0, min_impurity_split=None, init=None, random_state=None, max_features=None, alpha=0.9, verbose=0, max_leaf_nodes=None, warm_start=False, presort='deprecated', validation_fraction=0.1, n_iter_no_change=None, tol=0.0001, ccp_alpha=0.0)

回归实现

# 导入必要的库
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.metrics import mean_squared_error# 加载波士顿房价数据集
boston = load_boston()
X, y = boston.data, boston.target# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 初始化GBDT回归器
gbdt_reg = GradientBoostingRegressor(n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42)# 训练模型
gbdt_reg.fit(X_train, y_train)# 预测
y_pred = gbdt_reg.predict(X_test)# 计算并打印均方误差
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse:.2f}")

GBDT正则化

针对GBDT正则化，我们通过子采样比例方法和定义步长v方法来防止过拟合。

  • 子采样比例：通过不放回抽样的子采样比例（subsample），取值为(0,1]。如果取值为1，则全部样本都使用。如果取值小于1，利用部分样本去做GBDT的决策树拟合。选择小于1的比例可以减少方差，防止过拟合，但是会增加样本拟合的偏差。因此取值不能太低，推荐在[0.5, 0.8]之间。
  • 定义步长v：针对弱学习器的迭代，我们定义步长v，取值为(0,1]。对于同样的训练集学习效果，较小的v意味着我们需要更多的弱学习器的迭代次数。通常我们用步长和迭代最大次数一起来决定算法的拟合效果。

这篇关于梯度提升决策树（GBDT）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1046234。

相关文章

java学习，进阶，提升

java学习，进阶，提升

http://how2j.cn/k/hutool/hutool-brief/1930.html?p=73689
阅读更多...
JAVA用最简单的方法来构建一个高可用的服务端，提升系统可用性

JAVA用最简单的方法来构建一个高可用的服务端，提升系统可用性

一、什么是提升系统的高可用性 JAVA服务端，顾名思义就是23体验网为用户提供服务的。停工时间，就是不能向用户提供服务的时间。高可用，就是系统具有高度可用性，尽量减少停工时间。如何用最简单的方法来搭建一个高效率可用的服务端JAVA呢？ 停工的原因一般有： 服务器故障。例如服务器宕机，服务器网络出现问题，机房或者机架出现问题等；访问量急剧上升，导致服务器压力过大导致访问量急剧上升的原因；时间和
阅读更多...
✨机器学习笔记（二）—— 线性回归、代价函数、梯度下降

✨机器学习笔记（二）—— 线性回归、代价函数、梯度下降

1️⃣线性回归（linear regression） f w , b ( x ) = w x + b f_{w,b}(x) = wx + b fw,b​(x)=wx+b 🎈A linear regression model predicting house prices： 如图是机器学习通过监督学习运用线性回归模型来预测房价的例子，当房屋大小为1250 f e e t 2 feet^
阅读更多...
AI学习指南深度学习篇-带动量的随机梯度下降法的基本原理

AI学习指南深度学习篇-带动量的随机梯度下降法的基本原理

AI学习指南深度学习篇——带动量的随机梯度下降法的基本原理 引言 在深度学习中，优化算法被广泛应用于训练神经网络模型。随机梯度下降法（SGD）是最常用的优化算法之一，但单独使用SGD在收敛速度和稳定性方面存在一些问题。为了应对这些挑战，动量法应运而生。本文将详细介绍动量法的原理，包括动量的概念、指数加权移动平均、参数更新等内容，最后通过实际示例展示动量如何帮助SGD在参数更新过程中平稳地前进。
阅读更多...
提升PrestaShop外贸电商网站安全的几款行业必备工具

提升PrestaShop外贸电商网站安全的几款行业必备工具

提升PrestaShop外贸电商网站安全的几款行业必备工具 PrestaShop发展历程 PrestaShop是一款优秀且强大的外贸开源电商软件，我们开始使用PrestaShop始于2009年，那时PrestaShop还是0.9版本：界面清新，性能强悍，扩展友好等特性，既没有Magento的笨重，也没有ZenCart的古老，更没有OpenCart的脆弱，因此PrestaShop如雨后春笋，迅速
阅读更多...
AI学习指南深度学习篇-带动量的随机梯度下降法简介

AI学习指南深度学习篇-带动量的随机梯度下降法简介

AI学习指南深度学习篇 - 带动量的随机梯度下降法简介 引言 在深度学习的广阔领域中，优化算法扮演着至关重要的角色。它们不仅决定了模型训练的效率，还直接影响到模型的最终表现之一。随着神经网络模型的不断深化和复杂化，传统的优化算法在许多领域逐渐暴露出其不足之处。带动量的随机梯度下降法（Momentum SGD）应运而生，并被广泛应用于各类深度学习模型中。 在本篇文章中，我们将深入探讨带动量的随
阅读更多...
决策树的实现原理与matlab代码

决策树的实现原理与matlab代码

很久不写博客了，感觉很长一段时间只是一味的看书，疏不知一味地看书、写代码会导致自己的思考以及总结能力变得衰弱。所以，我决定还是继续写博客。废话不多说了，今天想主要记录数据挖掘中的决策树。希望能够将自己的理解写得通俗易懂。 决策树是一种对实例分类的树形结构，树中包含叶子节点与内部节点。内部节点主要是数据中的某一特性，叶子节点是根据数据分析后的最后结果。 先看一组数据： 这组数据的特性包含
阅读更多...
Axure元件库Ant Design中后台原型模板：提升设计与开发效率的利器

Axure元件库Ant Design中后台原型模板：提升设计与开发效率的利器

企业对于中后台产品的设计与开发需求日益增长。为了提升用户体验和开发效率，设计者和开发者们不断寻求更加高效、统一的解决方案。Ant Design，作为阿里巴巴开源的一套企业级UI设计语言和React组件库，凭借其丰富的组件和统一的设计风格，已成为众多项目的首选。而在Axure中使用Ant Design元件库，更是为中后台产品的原型设计带来了极大的便利。 Ant Design简介 Ant D
阅读更多...
【JavaScript】let与var的区别及变量、函数提升

【JavaScript】let与var的区别及变量、函数提升

有var与无var的区别 　　在函数内部，有var和没var声明的变量是不一样的。有var声明的是局部变量，没var的，声明的全局变量，所以可以借此向外暴露接口。 let与var的区别 　　在上面代码中，我们使用var语句声明变量x。因此，变量x的范围是函数范围。if语句内的变量x就是if语句外创建的变量x。因此，在你修改if语句块内变量x的值的时候，也会修改函数中变量x的所有引用的
阅读更多...
如何通过食堂采购小程序端降低成本，提升效率？

如何通过食堂采购小程序端降低成本，提升效率？

随着数字化管理工具的普及，越来越多的食堂正在引入小程序来优化采购流程，减少成本和提升效率。食堂采购小程序端通过技术手段实现了自动化、智能化的管理方式，为管理者提供了极大的便利。本文将探讨如何利用技术手段开发一个高效的食堂采购小程序端，并提供一些代码示例，帮助你理解其背后的实现原理。 1. 简化采购流程 在食堂采购小程序中，简化采购流程是核心目标之一。我们可以利用数据库和后端服务来实现快速下单
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2