机器学习-线性回归—随机梯度下降、闭式解（解析解）实现

I.摘要

回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。 在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。在这里通过随机梯度下降与闭式解，得到线性回归的参数预测

II.介绍

输入特征为13，输出预测值为1。

首先线性回归基于几个简单的假设：

• 假设自变量x和因变量y之间的关系是线性的， 即y可以表示为x中元素的加权和，这里通常允许包含观测值的一些噪声
• 假设任何噪声都比较正常，如噪声遵循正态分布。

通过线性回归的闭式解与随机梯度下降的方式，得到了模型的参数估计值。

III.方法和理论

• 解析解

将偏置b合并到参数w中，合并方法是在包含所有参数的矩阵中附加一列。预测问题是最小化。这在损失平面上只有一个临界点，这个临界点对应于整个区域的损失极小点。 将损失关于w的导数设为0，得到解析解：

• 随机梯度下降

梯度下降最简单的用法是计算损失函数（数据集中所有样本的损失均值） 关于模型参数的导数（在这里也可以称为梯度）。