本文主要是介绍自助法（bootstrapping）划分数据集，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
自助法（bootstrapping）划分数据集
一、前戏
Bootstrap方法是非常有用的一种统计学上的估计方法，是斯坦福统计系的教授Bradley Efron（我曾有幸去教授办公室约谈了一次）在总结、归纳前人研究成果的基础上提出一种新的非参数统计方法。Bootstrap是一类非参数Monte Carlo方法,其实质是对观测信息进行再抽样，进而对总体的分布特性进行统计推断。
因为该方法充分利用了给定的观测信息，不需要模型其他的假设和增加新的观测，并且具有稳健性和效率高的特点。1980年代以来，随着计算机技术被引入到统计实践中来，此方法越来越受欢迎，在机器学习领域应用也很广泛。
首先，Bootstrap通过重抽样，可以避免了Cross-Validation造成的样本减少问题，其次，Bootstrap也可以用于创造数据的随机性。比如，我们所熟知的随机森林算法第一步就是从原始训练数据集中，应用bootstrap方法有放回地随机抽取k个新的自助样本集，并由此构建k棵分类回归树。
多数情况下采用留出法（hold-out），即从数据集中分层采样（stratified sampling）出约30%的数据作为测试集。分层采样的目的是要保持数据分布的一致性，避免划分过程引入额外的偏差。
在留出法中因为保留一部分样本用于测试了，导致训练的样本就少了。数据集的规模大点还好，当数据集比较少时，这样划分的方法就会浪费宝贵的数据资源。
二、正题
“自助法”（bootstrapping）以自助采样（可重复采样、有放回采样）为基础。
假如一个数据集D有m个样本，看看训练集和测试集怎么选择：
- 训练集D'：每次从数据集D中随机选择一个样本，将这个样本复制一个放到D'中，然后再把原样本放回去（可放回）。重复操作m次。这样D'中就有m个样本了。这种采样方法有可能一个样本会被选择好多次，也有可能有的样本一次也不会被选择到。
- 测试集D-D'：测试集就是那些剩下的，没被选择的样本。
那么训练集D和测试集D'中共有多少数据呢？
可以看出数据集中样本在m次始终不被采样到的概率是，取极限得：
所以数据集D中有36.8%的样本未出现在训练集中。
优缺点：
- 数据集小、难以划分训练\测试集
- 自助法能从初始数据集中产生多个不同的训练集，可以用于集成学习
- 自助法产生的训练集改变了初始数据集的分布，会引入估计偏差
bootstrapping参考网页
这篇关于自助法（bootstrapping）划分数据集的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
