Coursera机器学习笔记第4周第八章神经网络：表述（一）

本文主要是介绍Coursera机器学习笔记第4周第八章神经网络：表述（一），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

第八章神经网络：表述（一）

第1节动机（Motivations）

8.1 非线性假设

参考视频：8 - 1 - Non-linear Hypotheses (10 min).mkv

前面我们学习了逻辑回归，它们可以很好的解决一些线性的分类问题。但是对于非线性问题，它们很难画出分类边界线。如下图。
这里写图片描述

如果要实现非线性模型，需要增加模型复杂度（增加特征组合和特征多次项）。但是，当特征太多时，计算的负荷会非常大：假设我们的数据有100个特征，用这100个特征来构建一个非线性的多项式特征模型，特征组合会非常多。即使只采用两两特征的组合，也有将近5000个特征( $C_{100}^2$ )，这对逻辑回归来说需要计算的特征太多了。

再如在图像识别中，一个50×50像素的图片，每个元素当作一个特征的话，拥有的特征量为2500，那么它的二次项数为 $C_{2500}^2$ （大约为3百万个）特征。普通的逻辑回归模型不能有效地处理这么多特征，神经网络可以帮助我们。

8.2 神经元和大脑

参考视频：8 - 2 - Neurons and the Brain (8 min).mkv

神经网络是一种很古老的算法，它最初产生目制造能模拟最神奇的学习机器——人类的大脑。神经网络不仅在逻辑上行得通，之后我们会看到，而且也能很好地解决不同的机器学习问题。

神经网络逐渐兴起于二十世纪八九年代，应用得非常广泛。但由各种原因在90年代后期应用变少。最近，它又东山再起了。其中一个原因是：神经网络时计算量偏大的算法。然而由于近些年计算机的运行速度变快，才足以真正运行其大规模的神经网络。而且，如今的神经网络对于许多应用来说是最先进的技术。

我们能学习数学，学着做微积分，而且大脑能处理各种不同的令人惊奇的事情。似乎如果你想要模仿它，你得些很多不同的程序来模拟这些五花八门的事情。不过，能不能假设大脑做这些事情的方法仅仅需要一个单一的学习算法？尽管这是一个假设，不过确实有一些这方面的证据：事例略。

神经网络可能为我们打开一扇进入遥远的人工智梦窗户，但在这节课中讲授神经网络的原因主要是对于现代机器学习应用。它是最有效的计数方法，因此在接下来的课程中，我们将开始深入到神经网络的技术细节。

第2节神经网络（Neural Networks）

8.3 模型表示1

参考视频：8 - 3 - Model Representation I (12 min).mkv

我们思考一下大脑中的神经网络：每一个神经元都包含一个神经核（nucleus），许多突触（dendrite）和一个轴突（axon）。它们分别被看作处理单元、输入单元和输出单元（processing unit、input unit、output unit）。神经网络是大量元相互连接并通过电脉冲来交流的一个网络。神经元如下图：
这里写图片描述

神经网络建立在很多神经元上，我们把其中一个个神经元看作是一个个学习模型。这些神经元（也叫激活单元，activation unit）采纳一些特征作为输入，并根据自身的模型提供一个输出，或者说这些神经元具有计算功能。下图是一个以逻辑回归模型作为自身学习模型的神经元示例。在神经网络中，参数又可被称为权重（weights）。
这里写图片描述

上图中的偏差单元（bias unit） $x_0$ 固定为1。 $x_0,x_1,x_2,x_3$ 不进行计算，只向下一层提供数据。右边神经元采取的计算模型为 $h_{\theta}(x)=\frac{1}{1+e^{-\theta^Tx}}$ ，此处和逻辑回归相同。

下图是一个稍微复杂的三层神经网络：
这里写图片描述

神经网络是许多逻辑单元按照不同层级组织起来的网络，每一层的输出变量都是下一层的输入变量。对上图中的三层神经网络予以说明：

第一层（输入层，input layer）： $x_1,x_2,x_3$ 是输入单元（input unit），增加偏差单元 $x_0$ 并将其固定为1。输入层不进行计算，唯一功能是向下一层传递数据。
第二层或中间层（隐藏层，hidden layer）：中间层负责接收上一层的数据 $x_0,x_1,x_2,x_3$ ，经过计算后将结果 $a_1,a_2,a_3$ （增加偏差单元 $a_0=1$ ）传递给下一层。
第三层（输出层，output layer）：接收上一层的数据 $a_0,a_1,a_2,a_3$ ，用来计算 $h_{\theta}(x)$ 。
神经元发出的箭头代表数据的流向，由一个神经元发出的不同箭头传递的是相同的数据。需要向下一层传递数据的层都需要增加偏差单元。
偏差单元不算激活单元，因为它是人为添加的，而且值固定为1。输入层的输入单元算不需要计算的激活单元，只需要向下一层传递数据。
神经网络命名：我们把需要计算的层次称之为“计算层”，一般把拥有一个计算层的网络称之为“单层神经网络”。在本文里，我们简单地根据神经网络的层数来命名。

下面引入一些标记法来帮助描述模型：

$a_i^{(j)}$ : 第j层的第 $i$ 个激活单元。
$\Theta^{(j)}$ : 从第 $j$ 层映射到第 $j + 1$ 层的权重矩阵。权重矩阵的尺寸为：以第 $j + 1$ 层的激活单元数为行数，以第 $j$ 层的激活单元数加1为列数。例如，上图所示的神经网络中的 $\theta^{(1)}$ 的尺寸为3*4。

对于上图所示的模型来说，中间层的激活单元 $a_1,a_2,a_3$ 和输出 $h_{\theta}(x)$ 分别表达为： $a_1^{(2)} = g(\Theta_{10}^{(1)}x_0 + \Theta_{11}^{(1)}x_1 + \Theta_{12}^{(1)}x_2 + \Theta_{13}^{(1)}x_3) \\ a_2^{(2)} = g(\Theta_{20}^{(1)}x_0 + \Theta_{21}^{(1)}x_1 + \Theta_{22}^{(1)}x_2 + \Theta_{23}^{(1)}x_3) \\ a_3^{(2)} = g(\Theta_{30}^{(1)}x_0 + \Theta_{31}^{(1)}x_1 + \Theta_{32}^{(1)}x_2 + \Theta_{33}^{(1)}x_3) \newline h_\Theta(x) = a_1^{(3)} = g(\Theta_{10}^{(2)}a_0^{(2)} + \Theta_{11}^{(2)}a_1^{(2)} + \Theta_{12}^{(2)}a_2^{(2)} + \Theta_{13}^{(2)}a_3^{(2)})$

我们知道每个中间层的激活单元 $a$ 都是由上一层的输出决定的，我们把这样从左到右计算的过程称为正向传播算法（Forward Propagation）。

上面的讨论只是将数据集中的一个训练实例喂给了神经网络，而我们需要将整个数据集都喂给神经网络来进行学习。用矩阵形式来表示，把数据集 $X$ 中的一个实例 $x$ 从第一层到第二层的计算过程为： $g(\Theta^{(1)} \cdot x) = a^{(2)}$ ，其中 $x=\begin{bmatrix}x_0 \\ x_1 \\ x_2 \\ x_3 \end{bmatrix} \Theta^{(1)}= \begin{bmatrix} \Theta^{(1)}_{10} & \Theta^{(1)}_{11} & \Theta^{(1)}_{12} & \Theta^{(1)}_{13} \\ . & . & . & \Theta^{(1)}_{23}\\ . & . & . & \Theta^{(1)}_{33} \end{bmatrix} a^{(2)}=\begin{bmatrix}a^{(2)}_1 \\ a^{(2)}_2 \\ a^{(2)}_3 \end{bmatrix}$

8.4 模型表示2

参考视频 : 8 - 4 - Model Representation II (12 min).mkv

我们设置变量 $z$ 为：对于第2层， $z_k^{(2)} = \Theta_{k,0}^{(1)}x_0 + \Theta_{k,1}^{(1)}x_1 + \cdots + \Theta_{k,n}^{(1)}x_n$

所以对于第2层的每一个单元， $z_1^{(2)} = \Theta_{10}^{(1)}x_0 + \Theta_{11}^{(1)}x_1 + \Theta_{12}^{(1)}x_2 + \Theta_{13}^{(1)}x_3 \newline z_2^{(2)} = \Theta_{20}^{(1)}x_0 + \Theta_{21}^{(1)}x_1 + \Theta_{22}^{(1)}x_2 + \Theta_{23}^{(1)}x_3 \newline z_3^{(2)} = \Theta_{30}^{(1)}x_0 + \Theta_{31}^{(1)}x_1 + \Theta_{32}^{(1)}x_2 + \Theta_{33}^{(1)}x_3 \newline$

则第二层的输出为 $a_1^{(2)} = g(z_1^{(2)}) \newline a_2^{(2)} = g(z_2^{(2)}) \newline a_3^{(2)} = g(z_3^{(2)}) \newline$

前文 $x$ 和 $z^{(j)}$ 的标识如下： $\begin{bmatrix}x_0 \\ x_1 \\ \cdots \\ x_n\end{bmatrix} \; z^{(j)} = \begin{bmatrix}z_1^{(j)} \\ z_2^{(j)} \\ \cdots \\ z_n^{(j)}\end{bmatrix}$

为了进一步统一符号标识，我们设置： $x = a^{(1)}$ 。所以：

$z^{(j)} = \Theta^{(j-1)}a^{(j-1)}$
$a^{(j)} = g(z^{(j)})$

所以输出层为 $h_\Theta(x) = a^{(j+1)} = g(z^{(j+1)})$ ，对于三层神经网络： $h_\Theta(x) = a^{(3)} = g(z^{(3)})$ 。这和逻辑回归中的模型是统一的。有没有一点小兴奋，哈哈哈。

其实神经网络就是逻辑回归，只不过我们把逻辑回归中的输入向量[x0,x1…x3]变成了神经网络中间层的[a1…a3]。我们可以把[a1…a3]看作更高级的特征，也就是[x0,x1…x3]的进化体。它比原来的特征厉害，能更好地预测新数据。这就是神经网络相比于逻辑回归和线性回归的优势。

P.S. 正向传播算法

正向传播算法比较容易理解，三层神经网络的算法如下：
这里写图片描述
用Matlab代码向量化实现三层神经网络的正向传播算法：

m = size(X, 1); % X为输入数据集
X = [ones(m, 1), X]; 
a1 = X;
z2 = a1 * Theta1';
a2 = sigmoid(z2);
a2 = [ones(m, 1), a2];
z3 = a2 * Theta2';
a3 = sigmoid(z3);

推荐资料：