Coursera 机器学习（by Andrew Ng）课程学习笔记 Week 4——神经网络（一）

本文主要是介绍Coursera 机器学习（by Andrew Ng）课程学习笔记 Week 4——神经网络（一），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

此系列为 Coursera 网站机器学习课程个人学习笔记（仅供参考）
课程网址：https://www.coursera.org/learn/machine-learning
参考资料：http://blog.csdn.net/scut_arucee/article/details/50144225

---

一、前言

1.1 分类器

当我们用机器学习算法构造一个汽车识别器时，我们需要一个带标签的样本集，其中一部分是汽车，另一个部分可以是其他任何东西，然后我们将这些样本输入给学习算法，以训练一个分类器。训练完毕后，我们输入一幅新的图像，让分类器判定这是否为汽车。

---

1.1 神经网络的优势

对于复杂的非线性分类问题，当特征变量个数$n$很大时，用逻辑回归时 logistic 函数$g(\theta^{T}x)$中的$\theta^{T}x$如果用二次多项式表示，则二次项数目很多，约为$n^{2}$，计算复杂度达到$O(n^{2})$；如果用三次多项式表示，则三次项数目更多，复杂度达$O(n^{3})$。

而神经网络能很好的解决上面那种复杂的非线性分类问题。

---

二、神经网络的模型

2.1 神经元的模型

在一个神经网络里，我们将神经元模拟成一个逻辑单元（logistic unit），如下图黄色圆圈所示。

$x_{1},x_{2},x_{3}$是它的输入，向神经元传输一些信息，神经元通过一些计算 $h_{\theta}(x)$，然后输出计算结果。这里，$h_{\theta}(x)=g(\theta ^{T}x)=\frac{1}{1+e^{-\theta ^{T}x}}$。我们称之为由logistic 函数作为激励函数的人工神经元。与前面内容相对，有时，输入单元中会加一个偏置单元 （如上图浅蓝色圆圈所示）$x_{0}$，$x_{0}=1$。

---

2.2 神经网络的模型

神经网络是一组神经元的组合，如下：

同样的，有时我们会加上偏置单元，它们的值永远为$1$。图中网络的第一层也叫做输入层（Input Layer），第二层叫做隐藏层（Hidden Layer），隐藏层可以有多层，第三层叫做输出层（Output Layer）。

---

2.3 神经网络的假设函数

为了解释神经网络具体的计算步骤，我们先来说明一些符号：

$a_{i}^{(j)}$——第 $j$ 层第 $i$ 个神经元的激励（神经元读入数据后计算并输出的值）；
$\Theta ^{j}$——权重矩阵，控制着从第 $j$ 层到第 $（j+1）$ 层的函数映射。

下面我们看一下隐藏层的神经元是怎么计算它们的值的：

如果神经网络第 $j$层有 $s_{j}$ 个单元，第 $(j+1)$ 层有 $s_{j}+1$个单元，则 $\Theta ^{j}$ 就是一个$s_{j+1}∗(s_{j}+1)$维的矩阵。（第$(j+1)$层的偏置单元 $a_{0}^{(j+1)}$ 不必求，始终为$1$，但第 $j$偏置单元对第$(j+1)$层有影响）
如上图，$\Theta ^{1}$ 是 $3\times 4$ 的矩阵，$\Theta ^{2}$ 是$1\times 4$的矩阵。

---

三、前向传播

下面我们引入符号 $z_{k}^{(j)}$来代替上面式子中括号里的部分：

总之，对于第二层的第$k$ 个节点：

这篇关于Coursera 机器学习（by Andrew Ng）课程学习笔记 Week 4——神经网络（一）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---