Tracking数据集及评价指标

一、单目标跟踪数据集

目前比较常用的单目标跟踪数据集有OTB和VOT。

1、OTB数据集（Object Tracking Benchmark）
1）简介
用的最广泛的是OTB-50和OTB-100,里面涉及到灰度图像和彩色图像，也涉及到目标跟踪的11个属性，包括光照变化、尺度变化、遮挡、形变、运动模糊、快速运动、平面内旋转、平面外旋转、出视野、背景干扰、低像素。
每个图像序列都对应着两个或多个属性，每个序列都对应着一个txt文件，记录着人工标注的目标中心位置和目标的大小。
2）评价指标
两个衡量目标跟踪精准度的基本参数是Precision Plot和Success Plot
precesion plot(精度测算)主要指的是预测位置中心点与benchmark中标注的中心位置间的欧式距离，是以像素为单位进行的计算。
success plot(成功率测算)主要指的是预测目标所在benchmark的重合程度。

2、VOT数据集（Visual Object Tracking）
1）简介
VOT数据集是基于每年一次的VOT比赛的，每年都会有新的数据集产生，当然其中一部分图像序列是和OTB重合的，但是总的来说VOT数据集略难于OTB数据集，一般在这两个数据集上跑的效果都好，才算真的好，如果只在一个数据集上效果好，那只能说明这个算法的泛化能力还不够。
2）评价指标
VOT最终选取了精度和鲁棒性两个指标，因为在图像跟踪的若干（16个）评价标准中，这二者的相关性最弱。
VOT中使用的评价标准（EAO和EFO）
EAO（Expect Average Overlap Rate），用于评价性能。VOT中的使用标准A_R图
A：重叠率，就是跟踪成功状态下的平均重叠率。
R：鲁棒性，鲁棒性数值是失败总次数。

EFO（Equivalent Filter Operations），用于评价速度。
因为性能的比较常常因为计算机性能不同而不够直观，EFO评价标准考虑到了这一点，使用600×600的图像，做30*30窗口的滤波，来得到机器的性能。然后使用跟踪算法处理每帧图像的评价时间除以以上滤波操作的时间，得到了一个归一化的性能参数，就是EFO，是VOT14提出的标准，一直沿用到现在。

二、多目标跟踪数据集
PETS2009 : An old dataset.
KITTI-Tracking : Multi-person or multi-car tracking dataset.
MOT dataset : A dataset for multi-person detection and tracking, mostly used.
UA-DETRAC : A dataset for multi-car detection and tracking.
AVSS2018 Challenge : AVSS2018 Challenge based on UA-DETRAC is opened!
DukeMTMC : A dataset for multi-camera multi-person tracking.
PoseTrack: A dataset for multi-person pose tracking.
NVIDIA AI CITY Challenge: Challenges including “Traffic Flow Analysis”, “Anomaly Detection” and “Multi-sensor Vehicle Detection and Reidentification”, you may find some insteresting codes on their Github repos
Vis Drone: Tracking videos captured by drone-mounted cameras.
JTA Dataset: A huge dataset for pedestrian pose estimation and tracking in urban scenarios created by exploiting the highly photorealistic video game Grand Theft Auto V developed by Rockstar North.
Baidu Trajectory Interesting dataset for trajectory prediction for Autonomous drive, wait to be opened.
Path Track A new dataset with many scenes.
Recall(↑):正确匹配的检测目标数/ground truth给出的目标数
Precision(↑)：正确匹配的检测目标数/检测出的目标数
MT(↑)：目标的大部分被跟踪到的轨迹占比（大于百分之八十）
ML(↓)：目标的大部分跟丢的轨迹占比（小于百分之二十）
PT(↓)：目标部分跟踪到的轨迹占比（1 - MT – ML）
FM(↓):真实轨迹被打断的次数
IDS(↓)：一条跟踪轨迹改变目标标号的次数
MOTA(↑)：结合了丢失目标，虚警率，标号转换之后的准确性
MOTP(↑):：所有跟踪目标的平均边框重叠率