【目标跟踪】PTAV：Parallel Tracking and Verifying

Parallel Tracking and Verifying: A Framework for Real-Time and High
Accuracy Visual Tracking(ICCV2017)
这篇文章作者写他的初衷是由于之前的目标跟踪算法太慢了，他想要达到一个real-time的效果，没想到这个文章在长时间跟踪上效果很好，可以说是目前数一数二的长时间跟踪器。

1、Motivation

1、目前很多的跟踪器认为目标在视频逐帧中的运动是smooth的，而且目标的表观变化不大，这种方式固然能在一部分情况下得到精度高的效果，但这种假设会有意外，所以这篇文章提出目标跟踪需要一个验证器；
2、SLAM使用多线程的方式得到了很好的效果，所以可以把这种思想移植到目标跟踪方向；
3、目前已有的许多跟踪器为本文寻找一个结合的方式提供了基础。

2、Contribution

1、提出了跟踪和验证平行进行的网络；
2、将相关滤波的跟踪和基于深度学习的验证网络相结合；
3、跟踪效果比很多state-of-the-art的方法都好；
4、这篇文章只是简单使用fDSST和SINT相结合，这个网络还有很多其他的选择。

PTAV算法

算法网络：

如上图，该网络有两个平行分支，上面那个是跟踪器，下面是验证器。

1、跟踪器$T$：

这个跟踪器负责实时跟踪。跟踪器这里使用fDSST，一种基于相关滤波的跟踪器，跟踪器每隔一个固定的间隔向验证器$V$发送验证请求，发送验证请求后跟踪器依旧向后运行，当收到验证器反馈时有两种情况，一种是当反馈成功，跟踪器决定是否更新模型；另一种是更新失败后，跟踪器要回到失败的那一帧再开始跟踪，所以需要将所有的中间结果都保存下来；

2、验证器$V$

验证器负责高精度部分。这里值得注意的是，验证器不是对跟踪器的每一帧都验证，而是每当收到跟踪器验证请求时才验证，若正确则返回一个正反馈，若失败需要返回该验证器找到的当前帧目标，这是因为验证器使用的是SiamFC网络，精度高但执行速度很慢，所以这种异步的方式既保证了速度也保证了精度。

这里跟踪器和验证器都是先用第一帧初始化，跟踪器会更新，但验证器就不会更新模型

程序流程如下：

3、实验结果

4、优点：（同贡献）

5、缺点：

1、最后的结果很大程度取决于验证器的精确度，所以若验证器失败，这网络就失败了。这就跟SiameseFC有很大关系，当出现严重遮挡或者尺度变化时PTAV就会失败；
2、这个方法需要储存所有的中间结果，浪费储存空间。

这个方法虽然有创意，但是目前基于孪生网络跟踪速度已经很快了，具体可以参考18年CVPR的SiameseRPN以及18年ECCV的DaSiameseRPN