【论文阅读】Learning 2D Temporal Adjacent Networks for Moment Localization with Natural Language

表示自己研究的时候，就感觉这是一篇很普通的文章，后来才发现，大家争相把这篇文章当作baseline…

摘要及引入

通过一个二维图，在视频片段间建模时序关系。二维图的其中一个维度指示片段的开始点，另一个指示结束点。
二维图的作用是，可以在覆盖不同长度的视频片段的同时 ，表示他们的邻接关系。（对这个主要论点的理解，首先视频片段的长度是通过二维图上点的位置来体现的，那为什么能表示不同片段之间的邻接关系呢？比如相同横坐标的点，代表的是同一起点的片段，相同纵坐标的点则能表示同一终点的片段，这能指示他们的重叠、相邻关系）
二维图坐标映射：($i$,$j$)-th -> $i\tau$ to $(j+1)\tau$，$\tau =\frac{93.5}{8}s=11.6875s$

自然的小问题：二维图上的点扩展到向量呢？（直觉来看，由点变成向量，反而没那么灵活了）

穷举地更详尽了，为什么反而计算成本降低了呢？因为每个片段都被降维了。这样能把关键信息展示出来吗？

自然的小问题：是不是说最后的检索误差就是$\tau$呢？那么误差还挺大的。且$\tau$是怎么得到的呢？（跟单个视频有关？还是跟整个数据集有关？）

模型部分

模型理解：

文本特征表示，比较常规，先经过word2vec将单词转化为向量，然后放入一个三层双向LSTM网络，将最后一个隐状态作为句子的特征表示

视频特征表示，输入视频的帧序列，按照固定长度（具体是$T$帧/切）切分帧序列，获得clip序列{$v_i$}, 然后对clip序列进行固定间隔的采样（由于每个视频的长度是不一样的，因此每个视频的clip的个数不同，不方便深度模型统一处理，因此这里使用的固定间隔，对于每个视频是不同的），一共得到$N$个clip，每个clip为$T$帧。此时的维度是$B\ast N\ast T$(B for batch size)，然后放入预训练的VGG网络，再放入以$d^V$为输出的全连接层。此时的视频特征维度是$B\ast N\ast d^V$，每个clip特征表示为$f^V$

写到这里，直觉感觉误差更大了，但误差具体是多少，有点不太会算…

现在对于一个视频而言，共有$N$个clip，然后进行候选片段moment的构建，这就是作者的核心idea，用二维时序图来集成（其实可以看作是一种维度的增加，一种优雅的sliding window）。moment就是多个clip的集成，集成方式可以是max-pool、也可以是stacked conv。接下来的问题就是以怎样的密度选择集成好的候选moment，就用到了二维时序特征图（因为二维时序图的每个点都指示了一个长度有持续的候选片段，所以二维时序图的构建相当于是对clip进行组合的过程，则$d_V$不能直接用，应该从clip维度映射到moment维度再用，代码里作者提供了avg-pool+max-pool两种映射方式，话说conv这种方式能看作是一种矩阵变换吗？）。二维时序特征图共包含三个维度，分别是start index、end index和特征维度$d^V$；二维时序图只有上三角部分有意义，因为要保证结束点在起始点之后；二维时序图可以直接的展示出枚举所有clip的moment，但这会导致计算成本大幅提升，因此作者构建稀疏取样策略，对于clip数小于16的moment，枚举所有moment；对于大于16 clip的moment，使用公式：（这个式子有点复杂，有没有表达更易懂的方式，比如在什么区间内，a不变的情况下，b每隔多少取一个）

然后利用二维时序图构建时序邻接网络，首先将二维特征图与查询语句进行跨模态的特征融合（分别放入两个全连接层+哈达玛积+$L_2$范数），再放入$L$个$K$大小卷积核的卷积层，就能得到不同候选片段间交互过的二维时序特征图，然后进行分数的预测（全连接层+sigmoid），获得$C$个候选片段的预测分数

利用预测分数和归一化的$IoU$构造交叉熵损失函数

维度推演：

实验

Charades-STA上面的实验，在VGG-based+C3D-based的视觉特征提取方法中获得最高，但不如后来出现的I3D-based的视觉特征提取方法和基于强化学习的方法中的某些高。

与三类方法比较，sliding-window碾压，强化学习的碾压，但GCN的有一定差距（看看GCN的好处在哪里？）

感悟

总的来说，2D时序图本身并不能揭示不同moment之间的邻接关系，是卷积帮助完成的，但2D时序图为视频提供了一种能够卷积的形式，是一种处理视频（或者与视频一样具有时序性质）的策略；同时2D时序图也不是一种取样策略（均匀取样是作者的取样策略），其本身并不能带来计算成本的降低。
视频本身是一个四维实体，比普通的三维图多了一个时序维度的特征。普通的模型是将视频整体转化为一个1024维，但是作者显示化了其中两个维度，起始点维度和结束点维度

相似idea

关于这篇文章提出的二维时序特征图，大家的评价差别比较大。但可以肯定的是，这篇文章提出的解决方案不单单是只适用于vmr任务的，还可以扩展到很多方向。大家提到的比较相似的工作有：ActivityNet Challenge 2019 冠军模型BMN算法、时序卷积、GCN方法、ER3: A Unified Framework for Event Retrieval, Recognition and Recounting中对单模态的处理；下面逐一来分析一下：
BMN

其实BM confidence map就是2D temporal map最后经过多轮卷积转化为的score map（BMN这篇文章3.3的Boundary-Matching Layer没看懂，后面的之后再看）

时序卷积

假如导师问我为什么拿20年的论文来讲

1. 我认为这篇文章，虽然在准确率不能算是完全霸榜了，但他的idea仍然是有价值的。举个例子，无论是时序动作检测、还是时序活动检测、或者是视频异常检测、视频描述生成这些任务，都是很相似的，都对这个idea有很好的适应性。所以idea的新颖程度，是不能通过时间这个维度来判断的，我相信这个idea可以给实验室的很多小伙伴一些启发
2. 从我的角度来说，我认为这篇文章对我的价值也非常大。因为从我的观感来说，反而是后出现的2D-TAN这篇文章给我的惊喜更大。我认为这是由于对论点的选择与阐述带来的，也就是说，大致相同的两个论点，2D-TAN挑选的论点更加直击痛点，BMN挑选的角度可能就逊色一些，所以我认为2D-TAN的写作逻辑对我启发也很大