深度理解梯度提升树GBDT

2024-06-02 09:08
文章标签 深度 理解 提升 梯度 gbdt

本文主要是介绍深度理解梯度提升树GBDT,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.什么是提升树?

     提升树核心思想是使用残差使损失函数最小,每一次使用树模型拟合残差。最终预测值y是M个树模型的累加和

提升树模型如下

f_{M}(x)=\sum_{m=1}^{M}T(x;\theta _{m})

T(x;\theta_{m})  是决策时,\theta _{m}是决策树的参数,M是决策树的个数

 提升树通用算法过程如下:

输入:(x_{i},y_{i})  i=1...N 样本数据,L(y,f(x)) 损失函数

输出:提升树f_{M}(x)

算法流程

1.初始化 f_{0}(x)=0

2.对m=1,2...M (遍历M个提升树)

          2.1 计算残差   r_{mi}=y_{i}-f_{m-1}(x_{i})

          2.2  使用基学习器T(x;\theta _{m})拟合参数r_{mi},训练集为(x_{i},r_{mi})  i=1...N

          2.3  更新模型  f_{m}(x)=f_{m-1}(x)+T(x;\theta _{m})

3.得到最终的强学习器

  f_{M}(x)=\sum_{m=1}^{M}T(x;\theta _{m})

2.什么是GBDT?

    GBDT是一种提升树模型,基学习器采用决策树,使用boosting思想+一阶梯度下降 的方法。GBDT公式模型

     GBDT=决策树+boosting思想+一阶梯度下降(gradient)

     boosting思想是基模型是有序的,上一个基模型的输出是下一个及模型的输入。第M个树模型的预测值是真实值与前m-1个树模型的残差。 一阶梯度下降是残差的计算使用负梯度值拟合残差

GBDT模型是采用M个模型的线性组合,模型公式如下

f_{M}(x)=\sum_{m=1}^{M}\gamma _{m}T(x;\theta _{m})

首先确定初始模型,定义初始基学习器f_{0}(x),当模型得带到第m步时:

f_{m}(x)=f_{m-1}(x)+\gamma _{m }T(x;\theta _{m})

通过最小化损失函数来确定参数\theta _{m}

 arg min_{\theta_{m} }\sum_{i}^{}L(y_{i},f_{m-1}(x)+\gamma _{m }T(x;\theta _{m})))

Gradient Boosting方法的两种理解,从优化的角度采用梯度下降算法,T表示负梯度方向,\gamma _{m}为步长。从模型角度理解为一阶多项式展开f_{m-1}(x)+\gamma _{m }T(x;\theta _{m}),而T表示一阶信息,\gamma _{m}是系数

gradient boosting的算法流程

 输入:(x_{i},y_{i})  i=1...N 样本数据,L(y,f(x)) 损失函数

输出:提升树f_{M}(x)

1.初始化 f_{0}(x)=0

2.对m=1,2...M (遍历M个提升树)

          2.1 计算残差   r_{mi}=y_{i}-f_{m-1}(x_{i})

          2.2  使用基学习器T(x;\theta _{m})拟合参数r_{mi},训练集为(x_{i},r_{mi})  i=1...N

          2.3  根据梯度下降算法,计算学习器\gamma _{m}

                 arg min_{\gamma {m} }\sum_{i}^{}L(y_{i},f_{m-1}(x)+\gamma _{m }T(x;\theta _{m})))

          2.4  更新模型  f_{m}(x)=f_{m-1}(x)+\gamma _{m}T(x;\theta _{m})

3.得到最终的强学习器

  f_{M}(x)=\sum_{m=1}^{M}\gamma _{m}T(x;\theta _{m})

参考

1.【机器学习】GBDT

这篇关于深度理解梯度提升树GBDT的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1023539

相关文章

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

最长公共子序列问题的深度分析与Java实现方式

《最长公共子序列问题的深度分析与Java实现方式》本文详细介绍了最长公共子序列(LCS)问题,包括其概念、暴力解法、动态规划解法,并提供了Java代码实现,暴力解法虽然简单,但在大数据处理中效率较低,... 目录最长公共子序列问题概述问题理解与示例分析暴力解法思路与示例代码动态规划解法DP 表的构建与意义动

深入理解Apache Airflow 调度器(最新推荐)

《深入理解ApacheAirflow调度器(最新推荐)》ApacheAirflow调度器是数据管道管理系统的关键组件,负责编排dag中任务的执行,通过理解调度器的角色和工作方式,正确配置调度器,并... 目录什么是Airflow 调度器?Airflow 调度器工作机制配置Airflow调度器调优及优化建议最

使用DeepSeek API 结合VSCode提升开发效率

《使用DeepSeekAPI结合VSCode提升开发效率》:本文主要介绍DeepSeekAPI与VisualStudioCode(VSCode)结合使用,以提升软件开发效率,具有一定的参考价值... 目录引言准备工作安装必要的 VSCode 扩展配置 DeepSeek API1. 创建 API 请求文件2.

Go中sync.Once源码的深度讲解

《Go中sync.Once源码的深度讲解》sync.Once是Go语言标准库中的一个同步原语,用于确保某个操作只执行一次,本文将从源码出发为大家详细介绍一下sync.Once的具体使用,x希望对大家有... 目录概念简单示例源码解读总结概念sync.Once是Go语言标准库中的一个同步原语,用于确保某个操

C#使用yield关键字实现提升迭代性能与效率

《C#使用yield关键字实现提升迭代性能与效率》yield关键字在C#中简化了数据迭代的方式,实现了按需生成数据,自动维护迭代状态,本文主要来聊聊如何使用yield关键字实现提升迭代性能与效率,感兴... 目录前言传统迭代和yield迭代方式对比yield延迟加载按需获取数据yield break显式示迭

一文带你理解Python中import机制与importlib的妙用

《一文带你理解Python中import机制与importlib的妙用》在Python编程的世界里,import语句是开发者最常用的工具之一,它就像一把钥匙,打开了通往各种功能和库的大门,下面就跟随小... 目录一、python import机制概述1.1 import语句的基本用法1.2 模块缓存机制1.

深入理解C语言的void*

《深入理解C语言的void*》本文主要介绍了C语言的void*,包括它的任意性、编译器对void*的类型检查以及需要显式类型转换的规则,具有一定的参考价值,感兴趣的可以了解一下... 目录一、void* 的类型任意性二、编译器对 void* 的类型检查三、需要显式类型转换占用的字节四、总结一、void* 的

深入理解Redis大key的危害及解决方案

《深入理解Redis大key的危害及解决方案》本文主要介绍了深入理解Redis大key的危害及解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着... 目录一、背景二、什么是大key三、大key评价标准四、大key 产生的原因与场景五、大key影响与危

五大特性引领创新! 深度操作系统 deepin 25 Preview预览版发布

《五大特性引领创新!深度操作系统deepin25Preview预览版发布》今日,深度操作系统正式推出deepin25Preview版本,该版本集成了五大核心特性:磐石系统、全新DDE、Tr... 深度操作系统今日发布了 deepin 25 Preview,新版本囊括五大特性:磐石系统、全新 DDE、Tree