黄金时代 —— 深度学习 (多目标跟踪 2021)

LTMU 2020

• 长期目标跟踪相对于短期目标跟踪 和实际应用更加贴近
• 大多数长期跟踪器使用的是离线训练的Siamese结构，这样不易受到遮挡干扰等噪声的影响
• 短期跟踪器是可以有在线更新的过程
• straightforwardly 方式地直接将短期跟踪器用于长期目标跟踪问题，会因为长期的不确定和噪声观测导致很难也很冒险（对于一个工程来说）
• LTMU提出了Meta-Updater用于解决重要但是未解决的问题：当前帧的跟踪结果(目标的外貌和尺寸)能否用于更新跟踪器？
• Meta-Updater：几何(目标尺寸)、判别(跟踪的响应信息)和外观(目标的视觉外貌)以及时序信息(LSTM)
• 时序信息：可以存储变化的信息，比如位置信息，一阶变化是速度，二阶变化是加速度

引入

• 相对于短时跟踪，长时跟踪器有两个最大的挑战性：
  • 1 短时一般 是秒级 sec，长时一般 是分级 min
  • 2 长时跟踪可能需要频繁的应对 目标的消失和重新出现 (即需要强大的重新检测能力)
• 长时跟踪数据集有：
  • VOT2018LT, VOT2019LT, OxUvALT, TLP, LaSOT
• 深度学习基础的短时跟踪，往往都从 one-shot learning和online learning两个角度
  • 在线学习如 ATOM / ECO 等会更加精确 训练数据也比较少
  • one-shot学习如 SiamFC / SiamRPN 等速度会更加快
• 常见的长时跟踪器的设计，是利用在线更新的短期跟踪构建 Local tracking（对应的一个算法部件是 Global re-detection）
  • MBMD：VOT2018LT Winner
    • 《Learning regression and verification networks for long-term visual tracking》
    • 离线训练的网络用于回归目标的矩形框 in a local region
    • 在线学习的verifier在局部跟踪和全局重检测之间切换
  • SPLT
    • <Skimming-Perusal Tracking: A framework for real-time and robust long-term tracking>
    • MBMD + local跟踪采用SiamRPN
  • SiamFC+R
    • <Long-term tracking in the wild: a benchmark. >
    • OxUvALT最好的方法
    • Original SiamFC + Simple re-detection scheme
• 在线更新捕获了目标和背景的外观变化，但不可避免地会用噪声样本污染模型
• 由于长期不确定的观察结果，在线更新的风险被长期跟踪放大了 tracking drifting
• 贡献
  • Meta-updater：可以有效的引导在线跟踪器的更新，也可以很好的应用到其他短时跟踪器上
  • 设计了一个成熟的框架：SiamRPN-based re-detector + online verifier + online local tracker + meta-updater，可以较安全的结合短期和长期的优点强度
  • 在VOT2018LT, VOT2019LT, OxUvALT, TLP and LaSOT等长期跟踪数据集上都做了测试。

相关工作

Long-term Visual Tracking

• 大规模的长期跟踪benchmark在2018年出现
• keypoint-based, proposal-based, detector-based, etc
• 经典的长时跟踪算法有TLD
• local tracker | self-evaluation | global re-detection

Online Update for Visual Tracking

• 比如利用 kernel tracking，增量子空间，在线学习分类器 MIL等都是经典的在线更新的目标跟踪算法
• 但是 更新是双刃剑，需要平衡 dynamic information description 和 unexcepted noise introduction，比如遮挡，当目标消失之后 degrade and drift
• 常见的解决办法有；1 在线收集样本并进行聚类 以消除噪声观测的影响 2 设计一些criteria去评测当前结果的可靠性 去去除不可靠的采样 以及 拒绝不合适不恰当的更新
  • 置信度的设计有：MAX，PSR，average peak-to-correlation energy，MAX-PSR
• Meta-updater 在时序上(LSTM)集成了多个cue，外观信息，几何信息，判别结果，用于判断当前帧是否更新（二值输出）
• 长时跟踪中很多 meta-learning-based 方法被提出来，但是大多都是解决 “How to Update”，meta-updater 解决的是 “When to Update”！
  • A memory model based on the siamese network for long-term tracking.
  • High performance visual tracking with siamese region proposal network.
  • Meta-tracker: Fast and robust online adaptation for visual object trackers.
  • Re2EMA: Regularized and reinitialized exponential moving average for target model update in object tracking.
  • Deep meta learning for real-time target-aware visual tracking.
  • GradNet: Gradientguided network for visual object tracking.

Long-term Tracking with Meta-Updater

Framework

- 1 switching：根据confidence score，结合阈值判断是采样重捕获还是局部跟踪
- 2 verifier 是判断当前的patch是不是目标
- 3 当全局检测器和校验器找到了跟丢的目标之后，就会采用reset操作
- 4 跟踪检测完成之后，所有信息都会发送到meta-updater，用于判断跟踪器更新与否
- 5 local tracker：ATOM的分类分支用于定位，使用SiamMask用于尺寸估计 (ATOM的尺寸估计用的IoUNet分支)
- 6 verifier：RTMDNet，Real-time MDNet 2018 用于判断是不是目标，在线学习的verifier在局部跟踪和全局重检测之间切换

Meta-Updater

• Geometric Cue：${\mathbf{b}}_t=\left[x_t,y_t,w_t,h_t\right]$
  • 连续帧的一系列包围框包含了关于目标的重要运动信息，如速度、加速度和比例变化
• Discriminative Cue：其实local tracking就是分类任务：把目标和他的surrounding背景区分开，大部分短时跟踪器都会输出一个响应图(MDNet只输出一个值)，使用CNN从响应图中挖掘跟踪置信度，R->v：${\mathbf{v}}_t^R=f^R\left({\mathbf{R}}_t;{\mathbf{W}}^R\right)$
• Appearance Cue：基于 模板匹配的方法作为目标视觉外观上的线索补充
  • $s_t^A={\Vert f^A\left({\mathbf{I}}_t,{\mathbf{W}}^A\right)-f^A\left({\mathbf{I}}_0,{\mathbf{W}}^A\right)\Vert }_2$
• Sequential Information：${\mathbf{X}}_t=\left[{\mathbf{x}}_{t-t_s+1};\dots ;{\mathbf{x}}_{t-1};{\mathbf{x}}_t\right]\in {\mathbb{R}}^{d\times t_s}$
  • 时序信息将通过下面的级联LSTM方案进一步挖掘

Cascaded LSTM

• LSTM 知识：几个门，公式和图
  • $$\{\begin{array}{l}{\mathbf{f}}_t=\sigma \left({\mathbf{W}}_f{\mathbf{x}}_t+{\mathbf{U}}_f{\mathbf{h}}_{t-1}+{\mathbf{b}}_f\right)\\ {\mathbf{i}}_t=\sigma \left({\mathbf{W}}_i{\mathbf{x}}_t+{\mathbf{U}}_i{\mathbf{h}}_{t-1}+{\mathbf{b}}_i\right)\\ {\mathbf{o}}_t=\sigma \left({\mathbf{W}}_o{\mathbf{x}}_t+{\mathbf{U}}_o{\mathbf{h}}_{t-1}+{\mathbf{b}}_o\right)\\ {\mathbf{c}}_t={\mathbf{f}}_t\odot {\mathbf{c}}_{t-1}+{\mathbf{i}}_t\odot \tanh \left({\mathbf{W}}_c{\mathbf{x}}_t+{\mathbf{U}}_c{\mathbf{h}}_{t-1}+{\mathbf{b}}_c\right)\\ {\mathbf{h}}_t={\mathbf{o}}_t\odot \tanh \left({\mathbf{c}}_t\right)\end{array}$$
• 级联LSTM框架：
  

Meta-Update Training

• 采样策略：在数据集中取一小段图片序列的跟踪结果，每个帧都带有各种cue，label采用GT和目标区域的IoU>0.5的设为1，否则为0！
  
• 这种训练方法会把 Local tracker 和 Meta-Update 深度绑定！In this study, the local tracker and its meta-updater are tightly-coupled. K设为3了，是离线训练的，T是local tracker， MU是Meta-Updater
• PS：对于MDNet这类算法不输出响应图，只输出值的算法，只要不加挖掘响应图的CNN结构就行了！
• 实现细节：略，两个挖掘信息的子网络，带有MLP的LSTM级联结构