集成学习----“三个臭皮匠,赛过诸葛亮”

2024-02-12 02:30

本文主要是介绍集成学习----“三个臭皮匠,赛过诸葛亮”,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

集成学习(Ensemble Learning)通过使用一些方法改变原始训练样本的分布,来构建多个不同的学习器,再结合这多个学习器来完成学习任务,常可获得比单一学习器显著优越的泛化性能。该过程中多个不同的分类器,叫做个体学习器或者基学习器。个体分类器之间要具备一定的差异性和准确性,即尽可能“好而不同”,个体分类器的准确度要大于0.5。集成学习的研究核心有二个内容:一者是如何构建具备一定差异性和准确率的基学习器,二者为如何整合多个不同的学习器,提升学习性能。

根据个体学习器的生成方式,当前集成学习方法大致可分为二类:1.个体学习器之间存在强依赖关系,必须串行生成的序列化方法,以Boosting为代表;2.个体学习器之间不存在依赖关系,可以同时生成的并行方法,以Bagging、随机森林(Random Forest)为代表。

在正式介绍上述二类方法之前,先回顾二方面内容:

1.偏差-方差

如图所示,蓝色点为样本的训练期望值,红色区域为样本的真实值。偏差(Bias)指的是样本期望值与真实值之间的误差,方差指的是随机变量在其期望值附近的波动程度。

2.Bootstrap采样法

  Bootstrap是一种自助采样法,“有放回抽样”的经典样本估计算法。其假设观察样本即为数据总样本,再由假定总体抽取子样本,即再抽样。后续的Bagging、Boosting、随机森林等算法的样本抽样算法用的都是Bootstrap。

Boosting

Boosting是一种可把弱学习器提升为强学习器的算法。先从初始训练集训练出一个基学习器,再根据基学习器的表现改变原始训练样本的分布进行调整,使得先前学习器做错的训练样本在后续得到更高的关注,再进一步学习新的学习器。典型的算法是AdaBoost:对训练样本初始化相同的权重,训练一个基学习器,根据该学习器的表现,给予判断错误的样本更高的权重,改变训练样本的权重分布,在训练新的学习器;迭代进行上述步骤。

从偏差-方差的角度来看,Boosting主要关注降低偏差。每一次迭代都是在上一轮的基础上拟合训练样本,因此偏差逐渐降低。那么对于基分类器来说,目标是降低方差,故而常选择更简单的深度很浅的决策树;若基学习器过于复杂,则方差较大,容易产生过拟合,因此,Boosting的基本模型必须是“弱模型”,具备“高偏差低方差”的特点。

Bagging

给定包含m个样本的数据集,随机取出一个样本放入采样集中,再放回数据集。经过m次随机采样操作,得到包含m个样本的采样集。初始采样集中,可能存在样本多次出现。采样出T个包含m个训练样本的采样集,分别训练基学习器,再将T个基学习器进行整合,这就是Bagging算法。T个基学习器间相互独立,可以并行生成,性能较为平均,方差小,因此基分类器的目标是降低偏差,常采用较深而且不剪枝的决策树、神经网络。从偏差-方差的角度来看,Bagging主要关注降低方差。与Boosting相比,Boosting的拟合效果更好(偏差更小);Bagging的方差更小,更不易发生过拟合。Bagging的基本模型必须是“强模型”,具备“高方差低偏差”的特点。

随机森林

随机森林是在Bagging的基础上改进的,不仅是用了数据样本扰动,还使用了属性扰动的多样性增强机制,大大减少了产生过拟合的可能性,因此不需要剪枝。传统决策树在划分属性时,在当前节点的属性集合中选择一个最优属性;而在RF中,先从当前节点的属性集合中随机选择k个属性,再计算一个最优属性用于划分。

基分类器整合策略

1.投票法:多用于分类任务

2.平均法:多用于回归任务

3.学习法:如Stacking算法:使用交叉验证法,将原始训练样本划分为不相交的k个子集;每个子集按照7:3的比例分为训练集和测试集,利用训练集生成初级学习器;使用测试集对初级学习器进行测试,得到的预测结果作为次级学习器的输入,将正确输出作为输出,训练一个更高层的学习器。

这篇关于集成学习----“三个臭皮匠,赛过诸葛亮”的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/701439

相关文章

springboot简单集成Security配置的教程

《springboot简单集成Security配置的教程》:本文主要介绍springboot简单集成Security配置的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录集成Security安全框架引入依赖编写配置类WebSecurityConfig(自定义资源权限规则

springboot集成Deepseek4j的项目实践

《springboot集成Deepseek4j的项目实践》本文主要介绍了springboot集成Deepseek4j的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价... 目录Deepseek4j快速开始Maven 依js赖基础配置基础使用示例1. 流式返回示例2. 进阶

Spring Boot 集成 Quartz 使用Cron 表达式实现定时任务

《SpringBoot集成Quartz使用Cron表达式实现定时任务》本文介绍了如何在SpringBoot项目中集成Quartz并使用Cron表达式进行任务调度,通过添加Quartz依赖、创... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI集成DeepSeek实现流式输出的操作方法

《SpringAI集成DeepSeek实现流式输出的操作方法》本文介绍了如何在SpringBoot中使用Sse(Server-SentEvents)技术实现流式输出,后端使用SpringMVC中的S... 目录一、后端代码二、前端代码三、运行项目小天有话说题外话参考资料前面一篇文章我们实现了《Spring

SpringBoot集成图片验证码框架easy-captcha的详细过程

《SpringBoot集成图片验证码框架easy-captcha的详细过程》本文介绍了如何将Easy-Captcha框架集成到SpringBoot项目中,实现图片验证码功能,Easy-Captcha是... 目录SpringBoot集成图片验证码框架easy-captcha一、引言二、依赖三、代码1. Ea

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

JAVA集成本地部署的DeepSeek的图文教程

《JAVA集成本地部署的DeepSeek的图文教程》本文主要介绍了JAVA集成本地部署的DeepSeek的图文教程,包含配置环境变量及下载DeepSeek-R1模型并启动,具有一定的参考价值,感兴趣的... 目录一、下载部署DeepSeek1.下载ollama2.下载DeepSeek-R1模型并启动 二、J

Docker部署Jenkins持续集成(CI)工具的实现

《Docker部署Jenkins持续集成(CI)工具的实现》Jenkins是一个流行的开源自动化工具,广泛应用于持续集成(CI)和持续交付(CD)的环境中,本文介绍了使用Docker部署Jenkins... 目录前言一、准备工作二、设置变量和目录结构三、配置 docker 权限和网络四、启动 Jenkins