文章目录 岭回归与套索回归的原理与参数调节1.岭回归原理2.岭回归参数调节3.套索回归原理4.套索回归参数的调节5.正则化介绍①选择②什么是正则化？③L1正则化是怎么实现的？什么是惩罚参数向量？什么是学习率？ ④L2正则化是怎么实现的？ 岭回归与套索回归的原理与参数调节 岭回归是避免线性回归过拟合现象的一种线性模型。 过拟合是指模型的“学习能力”太强了，以致于把训练样本自

上篇文章，我们介绍了几种处理共线性的方法。比如逐步回归法、手动剔除变量法是最常使用的方法，但是往往使用这类方法会剔除掉我们想要研究的自变量，导致自己希望研究的变量无法得到研究。因而，此时就需要使用更为科学的处理方法即岭回归。 岭回归 岭回归分析（Ridge Regression）是一种改良的最小二乘法，其通过放弃最小二乘法的无偏性，以损失部分信息为代价来寻找效果稍差但回归系数更符合实际情