本文主要是介绍#Datawhale X 李宏毅苹果书 AI夏令营#2.实践方法论，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
2.实践方法论
概览：
- 在应用机器学习算法时，实践方法论能够帮助我们更好地训练模型。
- 如果在Kaggle上的结果不佳，首先应检查训练数据的损失，确认模型是否在训练集上表现良好。
2.1模型偏差
模型偏差可能会影响模型训练。
- 定义：当模型过于简单，无法捕获数据中的复杂模式时，会发生模型偏差。
- 示例：假设模型仅能表示一组有限的函数，可以让损失变低的函数不在模 型可以描述的范围内。
- 解决方案：重新设计一个模型，给模型更大的灵活性。
- 增加输入特征数量，使用更多的特征。
- 使用深度学习（更多神经元、层）来提高模型的灵活性。
2.2优化问题
一般只会用到梯度下降进行优化，这种优化的方法很多的问题。
- 定义：即使模型具有足够的灵活性，也可能因为优化方法（如梯度下降）的问题而未能找到最优解。
- 示例：优化过程卡在局部最小值的地方。
- 解决方案：
- 通过比较不同的模型来判断模型现在到底够不够大。比如残差网络的例子，56层的损失比20层高，因为56层网络的优化没有做好。
- 可以先训练一些比较浅的模型，或者是一些比较简单的模型，先知道这些简单的模型，到底可以得到什么样的损失。
- 如果深的模型跟浅的模型比起来，深的模型明明灵活性比较 大，但损失却没有办法比浅的模型压得更低代表说优化有问题，梯度下降不给力。
- 如果更深的网络性能没有提升，则表明可能存在优化问题。
2.3过拟合
为什么会有过拟合这样的情况呢？过拟合如何解决呢？
- 定义：模型在训练数据上表现极佳，但在未见过的数据（测试数据）上表现较差的现象。
- 原因：模型过度适应训练数据，学习到了噪声而非潜在的规律。
- 解决方案：
- 增加训练数据：收集更多的训练样本或使用数据增强技术。
- 限制模型复杂度：
- 给模型比较少的参数。如果深度学习，给他比较少的神经元的数量；，或者让模型共用参数。
- 用比较少的特征。
- 应用正则化、早停或丢弃法等技术。
模型复杂度的平衡：可以选一个中庸的模型，不是太复杂的，也不是太简单的，刚刚好可以在训练集上损失最低，测试损失最低。
2.4交叉验证
比较合理选择模型的方法是把训练的数据分成两半，一部分称为训练集（training set）， 一部分是验证集（validation set）。
- 目的：交叉验证是一种评估模型泛化能力的方法，用于选择最佳模型。
- 流程：
- 将数据集分为训练集和验证集，通常比例为90%和10%。
- 使用训练集训练模型，并使用验证集评估模型性能。
- 根据验证集上的性能挑选模型，然后将最终选定的模型应用于整个训练集进行训练。
- k折交叉验证（k-fold cross validation）：
- 将训练集切成k等份。
- 重复k次，每次将其中一个折用作验证集，其余k-1个折用作训练集。
- 计算每个模型在所有k次验证上的平均性能，选择平均性能最佳的模型。
- 优点：
- 减少了验证集随机划分的影响。
- 更充分地利用了数据集中的样本。
2.5不匹配
- 定义：不匹配是指训练集和测试集之间的数据分布差异。
- 示例：
- 使用2020年的数据作为训练集，2021年的数据作为测试集，不匹配问题可能很严重。
- 数据背后的基础分布发生了变化，导致模型预测效果不佳。
- 案例分析：
- 模型预测2021年2月26日的观看人数，但实际结果与预测相差甚远。
- 模型基于过去的数据预测周五晚上观看人数较低，但实际情况相反。
- 解决方案：
- 需要理解数据本身的生成方式，识别分布变化的原因。
- 收集更多数据通常不能解决不匹配问题。
喜欢的小伙伴点赞收藏关注吧。
这篇关于#Datawhale X 李宏毅苹果书 AI夏令营#2.实践方法论的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
