读书笔记：Large-scale Vedio Classification with Convolutional Neural Networks

本文主要是介绍读书笔记：Large-scale Vedio Classification with Convolutional Neural Networks，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

主要点：一是设计了不同结构的CNN来学习视频分类。二是设计了一种加速训练的方法。

- 不同结构的CNN
- 修改网络结构以加速训练

不同结构的CNN

这里写图片描述

Single Fusion ：和图片分类没有区别
Early Fusion : 在第一层的卷积中，就直接将输入帧全部融合，相当于将卷积扩展为三维。
Late Fusion ：每隔一定的帧数，抽取两帧，每帧的处理步骤与Single Fusion相同，但在全连接层，将两帧的输出融合。两帧的前处理步骤的网络共享参数。它相比Single Fusion能够识别动作的原因是，通过比较两帧的差异，可以识别动作。
Slow Fusion ：是Single Fusion和Late Fusion 的一个折中，在开始的CNN卷积层中，假如每次输入是10帧，那么Early Fusion 的第一层卷积核为（a， 3，10），即a×a×3（通道数）×10。也就是一下就融合完了，而Slow Fusion是（a，3, 4），以2为步长，就会得到时间序列上对应的4个输出，再在时间序列上长度为2,步长为2进行融合，得到时间序列上2个输出。在第三层才最终在时间序列上融合完毕。

修改网络结构以加速训练

这里写图片描述
将一帧输入，下采样得到低分辨率的一副图像，同时在原分辨率的基础上，以图像中心为中心，截取长宽分别为原长度1/2的图像。这样就把输入的维度成功降低。即把输入流转化为了对应两种分辨率的Fovea and context streams两个输入。再把他们当作full frame在同样的结构上进行训练。为了保持输出的维度不变，网络最后的pooling层去掉。
在最后的全连接层，拼接两个stream的输出。
减小参数，加入训练。