ICCV 2021 | 松弛Transformer：实现直接出框的时序动作检测

本文主要是介绍ICCV 2021 | 松弛Transformer：实现直接出框的时序动作检测，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文介绍我们组在2021年初公开在arxiv上的时序动作候选框生成工作RTD (Relaxed Transformer Decoders for Direct Action Proposal Generation)。

论文链接：https://arxiv.org/abs/2102.01894

代码地址：https://link.zhihu.com/?target=https%3A//github.com/MCG-NJU/RTD-Action

任务背景

伴随在不同社交平台上视频数量的大幅度增加，视频理解任务成为计算机视觉领域的比较重要的问题之一。现实环境中的视频往往动作区域和背景区域交杂，同一个视频包含多个动作实例。时序动作候选框生成任务(Temporal Action Proposal Generation) 基于未经剪辑的长视频，定位其中人类动作的边界。

目前两种主流方法包括anchor-based方法和boundary-based方法。anchor-based方法基于预先定义的密集多尺度动作锚框预测动作，其缺点在于，由于视频中动作的时长变化范围较大，anchor-based方法难以在合理的复杂度下覆盖全部动作实例。

boundary-based方法首先对于视频的每个时序位置预测boundary confidence，而后采用bottom-up的grouping策略匹配预测的开始位置和结束位置。boundary based方法利用local特征预测boundary信息，因此对local噪声敏感并且容易产生不完整的预测框。这两种主流方法都依赖于繁琐而冗余的anchor生成模块或者边界点匹配模块，需要先验知识和大量的手工调参。

研究动机

我们认为在时序候选框生成任务中，对于长时序依赖的建模是非常重要的。我们在这篇工作中将视频看作是一维的时间序列，利用Transformer结构对于视频中的全局依赖建模以增强我们的定位精度。我们结合Transformer结构，提出了一个直接得出时序候选框的候选框生成模型RTD-Net。

相比过往工作对范围有限的时序邻域依赖的建模，Transformer中平行解码的结构可以使我们从全局的角度对于候选框query之间的依赖建模，从而得到更加完整和精确的边界预测结果。此外，我们的时序候选框生成模型因为结合了简洁的集合预测范式，不再需要之前工作中冗余繁琐的手工设计模块，比如密集的anchor生成或者边界点匹配；同时预测结果也不需要耗时的NMS后处理，大大提升了inference的速度。

在将Transformer-based detection方法从图像检测领域迁移到视频分析领域的过程中，我们做出了以下三个重要的改进：

1. 我们观察到视频特征存在slowness问题，即视频的特征沿时序维度的变化速度较慢，导致直接在时序特征上运用self-attention模块会带来over-smoothing的问题，降低动作边界在时序特征中的区分度。我们提出了一个自定义的boundary-attentive模块，代替Transformer encoder来减轻over-smoothing问题，提高了时序维度中

这篇关于ICCV 2021 | 松弛Transformer：实现直接出框的时序动作检测的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---