本文主要是介绍【视频算法解析二】I3D,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
[视频算法解析一] C3D算法
[视频算法解析二] I3D算法
[视频算法解析三] ECO算法
paper原文是“Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset”,链接如:https://arxiv.org/abs/1705.07750。
Introduction
网络是在Kinetics数据集上提出得,Human Action Video dataset,里面有400个 action classes,平均每个有400clips。
本文提出了一个Two-Stream Inflated 3D ConvNet,由2D卷积得那些网络在ImageNet上进行分类预训练,用在其他不同的task上,想到能不能在video上也采用这种方案,于是作者在Kinetics数据集上进行预训练,之后在HMDB-51 and UCF-101上进行fine-tuning。这种方法对于实验效果有提升,但每个model效果不同。
Action Classification Architectures
本章节把提出的I3D和之前别人得四种方法(都预训练了,除了C3D)进行比较。由于之前得网络参数原因以及缺少数据,所以他们的网络都很浅。
ConvNet+LSTM
由于2D分类网络的效果好,想到把其用在video上,但是只用那些2D卷积网络不能捕捉时空方面的信息,例如门从开到关。这里采用Inception-V1+LSTM。downsample了视频帧,从25/s到5/s。
3D卷积
3D卷积保留了时空特征,但是参数量很大,难以训练。为了比较,作者将网络缩小了些,这样才能在k40上训练。
Two-Stream Networks
单帧图像没有捕捉到low-level motion,参考Simonyan and Zisserman的网络输入单个图像,以及这个图像的optical flow。测试的时候是输入很多个单张图,最后结果取平均,结果较好而且训练和测试方便。
3D-fused Two-stream
最后一层前,将特征送到3D卷积里去。输入网络的是相隔10帧采样的5个连续RGB帧。
Two-Stream Inflated 3D ConvNets
后面实验章节会显示optical-flow stream对于3D卷积在这上面的提升。这里用的3D卷积是简单的从2D卷积扩展来的,增加了一维时间维度,将N*N的卷积核变为N*N*N的。
从2D卷积的在Imagenet上预训练迁移到3D卷积中,首先把图片复制N次,这样一个图片就成为一个视频,就可以在其上面对3D卷积和pooling进行学习了。时间核上用几维的,就复制几次就好了。
使感受野在时间,空间,网络深度上增长 对于网络来说,pooling和conv的strdie参数设定很重要,影响了特征的感受野。对于水平和垂直方向的pooling kernels and strides应该一致,对于时间维度的来说,合并的过快会导致不同对象的边缘融合,合并的过慢就丢失了场景动态信息。对于视频每秒取25帧,网络结构如下图。
双流网络 另一边是输入optical flow,两个网络分开训练,最后inference的时候取平均结果。
这篇关于【视频算法解析二】I3D的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!