Bagging (bootstrap aggregating) - 集成方法之一

2024-01-19 18:32

本文主要是介绍Bagging (bootstrap aggregating) - 集成方法之一,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Bagging(装袋法)bootstrap aggregating(自举汇聚法) 的简称,是一个通过组合多个模型来减少泛化误差的技术。其原理是单独训练数个不同的模型,然后让多个模型在测试集的输出上投票。这是一个在机器学习中普遍应用的被称作model averaging(模型平均) 的策略。使用这种策略的技术被称作ensemble methods(集成方法)。值得一提的是,dropout其实就是一种以低算成本实现装袋法的精妙方法,其通过随机使一些神元失活来构建指数级别的不同的模型。不同之处在于,装袋法每个模型都是独立的,dropout则在模型之间共享一部分参数,以此降低存储指数级别模型所需要的内存。

下面以一张图展示该方法的大致过程:
在这里插入图片描述

Bagging(装袋法)

在原始数据集上通过放回抽样的方法构造k个与原始数据集大小相同的新数据集去训练k个分类器,然后将k个分类器通过一定的组合策略聚合成一个强学习器。在预测时,所有分类器都进行分类,最后对k个结果进行票选(通过某种规则,比如平均),决定最终的输出。

 
为了提高模型的差异性,装袋法从训练集上随机抽取数据,而且是有放回的抽取。这意味着对于一个样本,它在某一次采样中被采集到的概率是 1 m \frac{1}{m} m1,不被采集到的概率是 1 − 1 m 1-\frac{1}{m} 1m1。在k次采样中,没有被采集到的概率是 ( 1 − 1 m ) k (1-\frac{1}{m})^k (1m1)k。当 k → ∞ k\rightarrow\infty k时, ( 1 − 1 m ) k → 1 e ≈ 0.368 (1-\frac{1}{m})^k\rightarrow\frac{1}{e}\approx0.368 (1m1)ke10.368,略大于三分之一。也就是说,可能有超过三分之一的数据没有被采集到。这些数据称为袋外数据(Out of Bag, OOB)。这些数据没有参与训练,可以用来检测模型泛化能力。

模型平均(model averaging)背后的原理是,不同的模型在测试集上通常不会产生同样的误差。

假设我们有一个包含k个回归器的集合。每个模型在一个样本上的误差是 ϵ i \epsilon_i ϵi,该误差服从从零均值方差为 E [ ϵ i 2 ] = v \mathbb{E}[\epsilon_i^2]=v E[ϵi2]=v且协方差是 E [ ϵ i ϵ j ] \mathbb{E}[\epsilon_i \epsilon_j] E[ϵiϵj]的多变量正态分布。通过所有集成模型的平均预测误差是 1 k ∑ i ϵ i \frac{1}{k}\sum_i\epsilon_i k1iϵi。集成预测器的平方误差期望是:
在这里插入图片描述
在误差完全相关即 c = v c = v c=v的情况下,均方误差减少到 v,所以模型平均不会有任何帮助;在错误完全不相关即 c = 0 的情况下,该集成平方误差的期望仅为 1 k v \frac{1}{k}v k1v,这意味着集成平方误差的期望与集成规模k的倒数成正比。换言之,集成平均至少与它的任何成员表现得一样好,并且如果成员的误差是独立的,集成将显著地比其成员表现得更好

在这里插入图片描述
不同的集成方法以不同的方式集成模型。例如,每个组合的成员模型可以使用完全不同的算法和目标函数。装袋提供了一个方法,使得同种类的模型,训练算法和目标函数可以被多次重用。

特别值得指出的是,由于装袋法要构建k个不同的数据集,但数据集是在原始数据集上采用放回抽样构建的。这表示,在很大的概率下,每一个数据集缺失一部分原始数据集的样本,并且含有重复样本。数据集里的不同样本会导致模型的不同。

神经网络能够达到足够广泛的求解点,因此如果模型是在同一数据集下训练的,网络通常能从模型平均中获益。随机初始化的差异,随机选择minibatch的差异,超参数的差异,神经网络非确定的实现结果,这些通常都足够使得集成模型的成员产生相互独立的误差。

模型平均是一个及其有效并且可靠的减少泛化误差的方法。在学术上通常不推荐,因为任何机器学习的算法都能以计算和内存增大的代价从模型平均中获得巨大收益。因此,在benchmark比较时,通常只使用一个模型。

而机器学习的竞赛通常是以在多个模型上取平均来获胜的。

除了为了使构建集成使得模型能比单个模型更能泛化之外,还有其他集成的方法。比如,boosting,是想要提高单个模型的容量(capacity)。Boosting既可以不断地增加神经网络构建集成模型;也可以把网络本身看作集成模型,不断的增加隐藏单元。

参考文献

  1. Deep Learning Chapter 7.11
  2. https://blog.csdn.net/qq_37423198/article/details/76795426
  3. https://baijiahao.baidu.com/s?id=1619984901377076475&wfr=spider&for=pc

这篇关于Bagging (bootstrap aggregating) - 集成方法之一的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/623303

相关文章

Nginx安全防护的多种方法

《Nginx安全防护的多种方法》在生产环境中,需要隐藏Nginx的版本号,以避免泄漏Nginx的版本,使攻击者不能针对特定版本进行攻击,下面就来介绍一下Nginx安全防护的方法,感兴趣的可以了解一下... 目录核心安全配置1.编译安装 Nginx2.隐藏版本号3.限制危险请求方法4.请求限制(CC攻击防御)

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口

MySQL深分页进行性能优化的常见方法

《MySQL深分页进行性能优化的常见方法》在Web应用中,分页查询是数据库操作中的常见需求,然而,在面对大型数据集时,深分页(deeppagination)却成为了性能优化的一个挑战,在本文中,我们将... 目录引言:深分页,真的只是“翻页慢”那么简单吗?一、背景介绍二、深分页的性能问题三、业务场景分析四、

JAVA中安装多个JDK的方法

《JAVA中安装多个JDK的方法》文章介绍了在Windows系统上安装多个JDK版本的方法,包括下载、安装路径修改、环境变量配置(JAVA_HOME和Path),并说明如何通过调整JAVA_HOME在... 首先去oracle官网下载好两个版本不同的jdk(需要登录Oracle账号,没有可以免费注册)下载完

Spring Boot集成Druid实现数据源管理与监控的详细步骤

《SpringBoot集成Druid实现数据源管理与监控的详细步骤》本文介绍如何在SpringBoot项目中集成Druid数据库连接池,包括环境搭建、Maven依赖配置、SpringBoot配置文件... 目录1. 引言1.1 环境准备1.2 Druid介绍2. 配置Druid连接池3. 查看Druid监控

Java中读取YAML文件配置信息常见问题及解决方法

《Java中读取YAML文件配置信息常见问题及解决方法》:本文主要介绍Java中读取YAML文件配置信息常见问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要... 目录1 使用Spring Boot的@ConfigurationProperties2. 使用@Valu

Java 方法重载Overload常见误区及注意事项

《Java方法重载Overload常见误区及注意事项》Java方法重载允许同一类中同名方法通过参数类型、数量、顺序差异实现功能扩展,提升代码灵活性,核心条件为参数列表不同,不涉及返回类型、访问修饰符... 目录Java 方法重载(Overload)详解一、方法重载的核心条件二、构成方法重载的具体情况三、不构

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函