Mobile Video Object Detection with Temporally-Aware Feature Maps

Mobile Video Object Detection with Temporally-Aware Feature Maps

来源： 谷歌，CVPR 2018
文章链接：https://arxiv.org/abs/1711.06368v2
最新研究 CVPR2019(在此基础上进一步提升速度)：https://arxiv.org/abs/1903.10172
代码：https://github.com/tensorflow/models/tree/master/research/lstm_object_detection

motivation

近几年图像目标检测算法在深度学习的助力下取得了令人瞩目的成就，但是在将其实际运用在视频检测当中会遇到很多图像目标检测算法很难解决的困难，例如检测不稳定，计算量等。并且会遗失视频中重要的时序信息（帧间的相关性），这些信息无疑会帮助提升视频目标检测的精度和速度。本文作者将conv-LSTM进一步改进并嵌入到现有的目标检测算法当中，旨在合理利用时序信息（将早期帧的检测信息用于当前检测）优化检测，同时可以实时检测。

方法

对于视频目标检测任务描述如下
对于给定的视频序列 V = { I 0 , I 1 , … I n } \mathcal{V}=\left\{I_{0}, I_{1}, \ldots I_{n}\right\} V={I0​,I1​,…In​}，我们想得到结果序列为 { D 0 , D 1 , … D n } \left\{D_{0}, D_{1}, \ldots D_{n}\right\} {D0​,D1​,…Dn​}。
单帧图像目标检测方法：$\mathcal{G}\left(I_t\right)=D_t$
加入时序信息后可以定义为：$\mathcal{F}\left(I_t,s_{t-1}\right)=\left(D_t,s_t\right)$，其中$s_k=\left\{s_k^0,s_k^1,\dots s_k^{m-1}\right\}$，表示$k$帧之前特征映射的集合。
现在通过带有$m$层LSTM的目标检测器去拟合这个函数。

如何将LSTM集成到SSD检测器中

在这里认为LSTM的状态单元$s_t$带有时间上下文信息，LSTM可以将此状态单元和输入特征结合，将时间信息有选择的添加到输入特征中去，同时更新状态单元。作者认为可以将这样的LSTM层加到原来目标检测器的任意一层之后以细化下一层的输入特征。具体而言，我们将上面所定义的单帧图像目标检测函数$\mathcal{G}\left(I_t\right)=D_t$分裂为$m+1$个子网络，所以目标检测器函数就变成了这个样子$G\left(I_t\right)=\left(g_m\circ \cdots \circ g_1\circ g_0\right)\left(I_t\right)$，之后我们将$m$层LSTM ${\mathcal{L}}_0,{\mathcal{L}}_1,\dots {\mathcal{L}}_{m-1}$ 逐层添加到其中：

$\begin{array}{rl}\left(M_{+}^0,s_t^0\right)& ={\mathcal{L}}_0\left(g_0\left(I_t\right),s_{t-1}^0\right)\\ \left(M_{+}^1,s_t^1\right)& ={\mathcal{L}}_1\left(g_1\left(M_{+}^0\right),s_{t-1}^1\right)\\ & ⋮\\ \left(M_{+}^{m-1},s_t^{m-1}\right)& ={\mathcal{L}}_{m-1}\left(g_{m-1}\left(M_{+}^{m-2}\right),s_{t-1}^{m-1}\right)\\ D_t& =g_m\left(M_{+}^{m-1}\right)\end{array}$

$M$为特征映射。

当然我们不可能在目标检测器的每一个层之后都添加一个LSTM层，这样计算量会爆炸，那么问题来了要把LSTM放在哪里呢？作者基于MoblieNet+SSD结构做了一些实验。最后作者将放在FM4之后的结构最为最终模型。

改进宽度乘子

为了避免加入LSTM之后网络的计算量过大，作者让模型不同部分的宽度乘子也不同。${\alpha }_{base}=\alpha$，${\alpha }_{ssd}=0.5\alpha$，${\alpha }_{lstm}=0.25\alpha$。

改进LSTM

普通LSTM对于图像并不是很好的选择，作者考虑了对卷积LSTM进一步改进。首先给出了卷积LSTM的定义：
$\begin{array}{rl}{f}_t& =\sigma \left({}^{(M+N)}{W}_f^N\star \left[x_t,h_{t-1}\right]\right)\\ i_t& =\sigma \left({}^{(M+N)}{W}_i^N\star \left[x_t,h_{t-1}\right]\right)\\ o_t& =\sigma \left({}^{(M+N)}{W}_o^N\star \left[x_t,h_{t-1}\right]\right)\\ c_t& =f_t\circ c_{t-1}+i_t\circ \varphi \left({}^{(M+N)}{W}_c^N\star \left[x_t,h_{t-1}\right]\right)\\ h_t& =o_t\circ \varphi \left(c_t\right)\end{array}$
对于${}^j{W}^k$，$k$为输入的维度，$j$为输出维度
改进如下：

• 作者首先用深度分离卷积替换所有的卷积运算。
• 为了保持LSTM前后特征的分布不变，这里的激活函数$\varphi$使用的是ReLU。
• 作者还用Bottleneck Features进一步缩减了运算量，思路是这样的原来的LSTM每个门都需要将输入维度$M+N$转换为输出维度$N$，增加了计算量。作者先引入了一个Bottleneck layer $b_t=\varphi \left({}^{(M+N)}{W}_b^N\star \left[x_t,h_{t-1}\right]\right)$ 先完成这个变换，将其输出作为其他运算的输入，如下图。
  
  作者通过实验比较了Bottleneck-LSTM相对于不使用LSTM，普通LSTM和GRU的优势。

实验结果

• 与其他单帧图像目标检测方法比较
  
• 通过随机遮挡图片，验证Bottleneck-LSTM较其他目标检测方法的鲁棒性
  
• 实时检测效果
  

理解

通过观察实验结果可以发现，作者提出的方法确实在检测精度上面有了提升，但是我个人认为速度方面的提升并不能归于LSTM，应该是对后面SSD部分用深度分离卷积替换标准卷积带来的。而谷歌在CVPR2019提出了对该文章的所做的 工作进一步改进，将速度可以提升到了72FPS。