本文主要是介绍回归（二）：缩减系数，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
回归算法中不管是用线性回归找到最佳拟合直线，还是加权的线性回归算法，我们都是直接用矩阵相乘的方式，直接计算出对应的ω系数，这都是对应训练数据组成的矩阵是可逆的，换句话说X矩阵是满秩的，而对于某些属性个数多余样本个数的样本（样本数据组成矩阵后列数多于行数）组成的矩阵是不满秩，计算(XTX)-1的时候是会出错的。所以为了解决这个问题统计学家们引入了领回归（ridge regression）的概念。
- 岭回归
岭回归就是在矩阵XTX上加了一个λI，从而使得矩阵非奇异，进而能够对XTX+λI求逆。其中I是一个m×m的单位矩阵，而λ是用户自定义的一个数值。在这种情况下，回归系数的计算公式变成如下公式：
至于为什么叫岭回归，书上是这么说的，供参考：岭回归使用了单位矩阵乘以常量λ，我们观察其中的单位矩阵I，可以看到值1贯穿整个对角线，其余元素全是0。形象地，在0构成的平面上有一条1组成的“岭”，这就是岭回归中的“岭”的由来。
文章前面说了，岭回归的引入是为了解决特征数目多于样本数的情况，但是并不是说特征数目少于样本数就不能用岭回归的方式了，只不过是我们需要从另外一个方面去理解岭回归的概念：
这篇关于回归（二）：缩减系数的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
