ECO--CVPR2017--Martin Danelljan的大作--目标跟踪

论文简介

Martin Danelljan 提出了很多有名的目标跟踪算法。
Martin Danelljan 的主页：https://martin-danelljan.github.io/

ECO的baseline是C-COT(Continuous Convolution Operator Tracker),主要在一下三个方面有改进：
改进1.模型大小：高维特征(hog 31维，CN 10维)导致模型参数非常多，有时比输入图像的维度还要高。这样多的参数引起两方面的缺陷：
（1）很容易导致Overfitting(过拟合)。
（2）计算复杂度很高所以计算过慢。
CF系列目标跟踪算法的主要特征是计算量小速度快可以实时跟踪。
但是随着特征维度不断提高，虽然跟踪精度和鲁棒性得到了提高，但是速度却越来越慢，以至于很难实时跟踪。
ECO提出了 factorized convolution operator，显著降低了模型参数。
改进2.训练集大小：传统的State-of-art方法需要大的训练集，由于他们的迭代优化算法。
改进3.模型更新：大多数DCF跟踪方法使用连续学习策略，每帧都更型模型，事实上这种更新可能造成跟踪效果下降。
ECO的baseline C-COT以及相关滤波的参考资料：
ECO(Efficient Convolution Operators for Tracking)解析
https://blog.csdn.net/HUAJUN998/article/details/79802907

[目标跟踪]C-COT：Beyond Correlation Filters: Learning Continuous Convolution Operators for VisualTracking
https://blog.csdn.net/qinhuai1994/article/details/73920698

C-COT – 超越相关滤波：学习连续卷积算子(Continuous Convolution Operators)
https://blog.csdn.net/lixiaotong95/article/details/80448105

从MOSSE到KCF，再从KCF到C-COT，再从C-COT到ECO梳理
https://blog.csdn.net/a133521741/article/details/81228339

论文作者给出的Matlab代码------环境配置

Installation

Using git clone

1. Clone the GIT repository:

$ git clone https://github.com/martin-danelljan/ECO.git

2. Clone the submodules.
   In the repository directory, run the commands:

$ git submodule init
$ git submodule update

3. Start Matlab and navigate to the repository.
   Run the install script:
   |>> install

4. Run the demo script to test the tracker:

   |>> demo_ECO

我的备注：
备注1：按照这个方法操作，但是在第二步的时候遇到如下错误。
解决方法：改用 “Without using git”方法安装。

anna@anna-TM1801:~/object_track_xu/14_ECO/2_code$ cd ECO/
anna@anna-TM1801:~/object_track_xu/14_ECO/2_code/ECO$ git submodule init
Submodule 'external_libs/matconvnet' (git@github.com:vlfeat/matconvnet.git) registered for path 'external_libs/matconvnet'
Submodule 'external_libs/pdollar_toolbox' (git@github.com:pdollar/toolbox.git) registered for path 'external_libs/pdollar_toolbox'
anna@anna-TM1801:~/object_track_xu/14_ECO/2_code/ECO$ git submodule update
Cloning into 'external_libs/matconvnet'...
The authenticity of host 'github.com (13.229.188.59)' can't be established.
RSA key fingerprint is SHA256:nThbg6kXUpJWGl7E1IGOCspRomTxdCARLviKw6E5SY8.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'github.com,13.229.188.59' (RSA) to the list of known hosts.
Permission denied (publickey).
fatal: Could not read from remote repository.Please make sure you have the correct access rights
and the repository exists.
fatal: clone of 'git@github.com:vlfeat/matconvnet.git' into submodule path 'external_libs/matconvnet' failed
anna@anna-TM1801:~/object_track_xu/14_ECO/2_code/ECO$ 

备注2：如果 matlab 提示错误“version `GLIBCXX_3.4.21’ not found”，
那么可以使用如下命令行重新启动matlab。

LD_PRELOAD="/usr/lib/x86_64-linux-gnu/libstdc++.so.6"  /usr/local/MATLAB/R2016b/bin/matlab

备注3：install的时候需要上网下载imagenet-vgg-m-2048.mat。
Downloading the network “imagenet-vgg-m-2048.mat” from “http://www.vlfeat.org/matconvnet/models/imagenet-vgg-m-2048.mat”
如果在matlab中下载比较慢，也可以在网页中下载，然后把“imagenet-vgg-m-2048.mat”文件放到文件夹"feature_extraction/networks"中。

其他相关的开源代码

visionml/pytracking

https://github.com/visionml/pytracking
Python (PyTorch) implementation of ECO and general tracking library containing official implementation of our latest trackers ATOM and DiMP
基于PyTorch，实现了很多最新的跟踪算法。

rockkingjy/OpenTracker

https://github.com/rockkingjy/OpenTracker
Real-time C++ ECO tracker etc. speed-up by SSE/NEON, support Linux, Mac, Jetson TX1/2, raspberry pi.
It’s written in C++, high speed, easy to use, and easy to be implemented in embedded system.

• AND this is not only boring Codes,

• It also has Maths and Implement Notes!

For students，all the maths details of the Not-that-easy algorithms are explaned fully from the very beginning. If you have headache of reading the papers(as most of us have), this is a good tutorial.
For coder, if you have problems with the implementation of a complicate cutting-edge algorithms, check this! You will get something!

CF滤波在目标跟踪中的应用

1. 相关滤波（CF）的定义
2. 在目标跟踪中的引入（MOSSE）（ CVPR2010）
3. 惊人的速度（KCF）（ ECCV 2012）
4. 荣获VOT2014冠军（DSST）（BMVC 2014）
5. 荣获VOT2016冠军（C-COT）（CVPR 2016）
6. 恢复实时性能（ECO）（CVPR 2017）

其他基于深度学习的目标跟踪算法

1. Martin Danelljan新作------提高定位精度（ATOM）（CVPR 2019） Martin
2. Danelljan新作------端到端训练（DiMP）（ICCV 2019）

Martin Danelljan 的主页：http://users.isy.liu.se/cvl/marda26/
DiMP is an end-to-end tracking architecture, capable of fully exploiting both target and background appearance information for target model prediction.

参考资料：

1、目标跟踪之相关滤波：CF及后续改进篇
https://blog.csdn.net/linolzhang/article/details/72759918

2、KCF跟踪算法 入门详解
https://www.cnblogs.com/jins-note/p/10215511.html

3、ECO跟踪算法Github下载地址：
作者发布的Matlab implementation of the Efficient Convolution Operator (ECO) tracker.
https://github.com/martin-danelljan/ECO

4、ECO论文CVPR2017
https://arxiv.org/abs/1611.09224

5、作者发布的Pytorch版本，同时包括ECO和ATOM两个算法。
https://github.com/visionml/pytracking

6、作者的新算法most recent tracker ATOM.论文下载：
https://arxiv.org/pdf/1811.07628.pdf

7、ECO(Efficient Convolution Operators for Tracking)中文解析：
https://blog.csdn.net/HUAJUN998/article/details/79802907

8、网友实现的C++版本的ECO github地址：
https://github.com/HJCYFY/ECO.git