斯坦福大学机器学习笔记(1)

本文主要是介绍斯坦福大学机器学习笔记(1)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

监督学习

监督学习的非形式定义：给定一个训练集，其中包括一个输入向量 $x=(x_1,x_2,...)^T$ 和输出变量 $y$ ，经过训练之后，获得一个模型。使用该模型预测新变量 $x^{new}$ 所对应的输出。监督学习可以分为两种情况。

若 $y$ 的取值范围是一个有限的离散集合，则此类监督学习被称之为分类。
若 $y$ 取值连续，则其应该被表示为 $x$ 的函数。此时需用拟合的方式获得模型，这种监督学习被称之为回归（Regression）。

线性回归

样本集合 $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})\}$ ，其中有 $m$ 个元素，样本集合也被称为训练集。 $x$ 是输入，或者叫做属性。 $y$ 为输出。在线性回归中，拟合得到的函数可以使用仿射函数表示。
假设输入 $x$ 有两个属性 $x=(x_1, x_2)^T$ ，则使用函数 $h(x)$ 来拟合 $y$ 与 $x$ 之间的关系。

$h(x)=\theta_0x_0+\theta_1x_1+\theta_2x_2$ 。通常为向量 $x$ 增加一个常量属性 $x_0=1$ 。
或者 $h(x)=\Sigma_{i=0}^{n}\theta_ix_i$ 。 $n=\#features$ ，表示属性向量中元素的数目。

对于线性回归，面临的问题就是：如何通过选择参数 $\theta$ ，来保证拟合的准确性？可以为拟合定义一个代价函数： $J(\theta)=(1/(2m))\Sigma_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2$ 。 m <script id="MathJax-Element-23" type="math/tex">m</script>为训练集中元素的数目。