基础知识12.16

深度神经网络

神经网络技术起源于上世纪五、六十年代，通常拥有输入层、输出层和一个隐含层。输入的特征向量通过若干隐含层的变换之后进入输出层，输出层根据分类的个数不同一般采用不同的祌经网络层，多分类问题往往采用softMax层，在输出层能够得到输出分类结果。后来经过长时间的发展经历了多层感知机，从多层感知机中人们发现神经网络的层数直接决定了他的学习拟合能力，所以后续发展到了如今的ＤＮＮ，全连接ＤＮＮ的结构里下层神经元和所有上层神经元都能够形成连接，虽然在某种程度上上可以实现简单粗暴的通过增加层数来提高模型性能，但是出现了一个瓶颈，就是参数数量的膨胀，使得训练过程中容易出现过拟合，并且容易陷入局部最优，难以收敛，所以人们根据不同的场景需求对神经网络进行改进，得到了适合处理图像数据类型的ＣＮＮ以及适合处理时序数据的RNN。

CNN

CNN又称为卷积神经网络，CNN最早可以追溯到1968Hubel和Wiesel的论文，讲述猫和猴的视觉皮层含有对视野的小区域单独反应的神经元，定义了视觉刺激影响单个神经元的视觉空间区域被称为其感受野（Receptive Field），感受野大小和位置在皮层之间系统地变化，形成完整的视觉空间图，这在本质上和CNN是一致的，直至2005年人们正是提出了利用GPU实现CNN，在2012年ImageNet大赛中CNN由于其高精确度脱颖而出，从而这项深度学习的技术进入了人们的视野。

CNN由输入输出层和多个隐藏层组成，隐藏层可分为卷积层，pooling层、
RELU层和全连通层，如上图2-10所示。CNN的输入一般是二维向量，可以有高度，卷积层是CNN的核心，层的参数由一组可学习的滤波器（filter）或内核（kernels）组成，它们具有小的感受野，延伸到输入容积的整个深度，卷积层是用来对输入层进行卷积，提取更高层次的特征。池化层又称下采样，它的作用是减小数据处理量同时保留有用性，激活层是祌经元的激活函数，提供非线性，全连接层是一个常规的神经网络，它的作用是对经过多次卷积层和多次池化层所得出来的高级特征进行全连接（全连接就是常规神经网络的性质），算出最后的预测值，输出层就是对结果进行预测，多分类常用到softmax。
ＣＮＮ的特点是局部感知、权重共享和多卷积核。局部感知是指感受野，实际上就是卷积核和图像卷积的时候，每次卷积核所覆盖的像素只是一小部分，是局部特征，用图可描述为图2-11：

权重共享是指为了解决参数极其庞大的问题，ＣＮＮ的卷积居参数完全取决于滤波器的设置大小，比如１０ｘ１０的滤波器，这样只有１００个参数，当然滤波器的个数不止一个，会出现多卷积核。一种卷积核代表的是一种特征，为获得更多不同的特征集合，卷积层会有多个卷积核，生成不同的特征，这也是为什么卷积后的图片的高，每一个图片代表不同的特征，但与传统的神经网络相比，数量小，计算量小。整个图片共享一组滤波器的参数。

RNN

RNN（Recurrent Neural Network），是一类用于处理序列数据的神经网络，基础的神经网络只在层与层之间建立了权连接，RNN最大的不同之处就是在层之间的神经元之间也建立的权连接，如图2-12所示：

图中每个箭头代表做一次变换，也就是说箭头连接带有权值。左侧是折叠起来的样子，右侧是展开的样子，左侧中h旁边的箭头代表此结构中的“循环“体现在隐层。
循环网络是一种人工神经网络，旨在识别数据序列中的模式，例如文本，基因组，口语语音，股票市场和政府机构的数字时间序列数据。这些数据的处理的算法需要考虑数据的时间和顺序，因为它们具有时间维度。研宄表明循环祌经网络是最强大和最有用的祌经网络类型之一，同时还有注意机制和记忆网络。RNN甚至适用于图像，图像可以分解为一系列补丁并作为序列处理。

参考文献：
[1]卢艳. 基于神经网络与注意力机制结合的语音情感识别研究[D].北京邮电大学,2019.