Re-ID with Triplet Loss

本文主要是介绍Re-ID with Triplet Loss，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一篇讲Person Re-ID的论文，与人脸识别(认证)有很多相通的地方。

文章链接：《In Defense of the Triplet Loss for Person Re-Identification》

Github链接：https://github.com/VisualComputingInstitute/triplet-reid 目前还没有放出代码，作者说等论文录用了就放出来。

- Introduction
- Triplet Loss
  - - Large Margin Nearest Neighbor loss
    - FaceNet Triplet Loss
    - Batch All Triplet Loss
    - Batch Hard Triplet Loss
    - Lifted Embedding Loss
    - Distance Measure
    - Soft-margin
- Experiments
  - - 多种Triplet Loss性能对比
    - To Pretrain or not to Pretrain
    - Trick
- 参考文献

Introduction

Re-ID和图像检索有点类似。这样来看，Google的FaceNet利用Triplet Loss训练的高度嵌入的特征，似乎很适合做这样大范围的快速比对。但是，很多的研究文献表明常见的classification或者结合verification Loss比Triplet Loss似乎更适合这个任务。他们通常将CNN作为特征提取器，后面再接专门的测度模型。但是这两种Loss有着明显的缺点：

Classification Loss： 当目标很大时，会严重增加网络参数，而训练结束后很多参数都会被摒弃。

Verification Loss： 只能成对的判断两张图片的相似度，因此很难应用到目标聚类和检索上去。因为一对一对比太慢。

但是 Triplet Loss还是很吸引人啊：端到端，简单直接；自带聚类属性；特征高度嵌入。

为什么Triplet训不好呢或者说不好训呢？

首先需要了解，hard mining在Triplet训练中是一个很重要的步骤。没有hard mining会导致训练阻塞收敛结果不佳，选择过难的hard又会导致训练不稳定收敛变难。此外，hard mining也比较耗时而且也没有清楚的定义什么是 “Good Hard”。

文章的贡献主要有两个方面：

(1) 设计了新的Triplet Loss，并和其它变种进行了对比。

(2) 对于是否需要 pre-trained模型，进行了实验对比分析。

Triplet Loss

这一小节主要介绍几种Triplet 变种。

Large Margin Nearest Neighbor loss

比较早的Triplet形式(参考文献[1])。 \(L_{pull}\) 表示拉近属于同一目标的样本； \(L_{push}\) 表示拉远不同目标的样本。

float

由于是最近邻分类，所以同一类当中可能有多个cluster，而且固定的cluster中心也比较难以确定。

FaceNet Triplet Loss

Google的人脸认证模型FaceNet(参考文献[2]), 不要求同类目标都靠近某个点，只要同类距离大于不同类间距离就行。完美的契合人脸认证的思想。

float

Batch All Triplet Loss

FaceNet Triplet Loss训练时数据是按顺序排好的3个一组3个一组。假如batch_size=3B,那么实际上有多达 \(6B^2-4B\)种三元组组合，仅仅利用B组就很浪费。

所以我们可以首先改变一下数据的组织方式：\(batch\ size = K\times B\),即随机地选出K个人，每个人随机地选B张图片。这样总共会有 \(PK(PK-K)(K-1)\)种组合，计算loss时就按照下式统计所有可能。

float

Batch Hard Triplet Loss

Batch All Triplet Loss看起来一次可以处理非常多的三元组，但是有一点很尴尬：数据集非常大时训练将会非常耗时，同时随着训练深入很多三元组因为很容易被分对而变成了“无用的”三元组。

怎么办？ Hard Mining. 但是，过难得三元组又会导致训练不稳定，怎么办？ Mining Moderate Hard.

作者定义了下面的“较难”的Triplet Loss，之所以是“较难”，是因为只是在一个小的Batch里面选的最难的。

float

其中 \(x_j^i\) 表示第 \(i\) 个人的第 \(j\)张图片。

Lifted Embedding Loss

文献[3]针对3个一组3个一组排列的batch，提出了一种新的Loss：将anchor-positive pair之外的所有样本作为negative，然后优化Loss的平滑边界。

float

文章针对 \(batch\ size = K\times B\)的形式对上式稍作改进：

float

Distance Measure

很多相关工作中，都使用平方欧式距离 \(D(a,b) = |a-b|_2^2\) 作为度量函数。作者虽然没有系统对比过其它度量函数，但是在实验中发现非平方欧氏距离 \(D(a,b) = |a-b|_2\) 表现的更为稳定。同时，使用非平方欧氏距离使得margin 这个参数更具有可读性。

Soft-margin

之前的很多Triplet Loss都采用了截断处理，即如果Triplet三元组关系正确则Loss直接为0。作者发现，对于Re-ID来说，有必要不断地拉近同类目标的距离。因此，作者设计了下面的soft-margin函数：

\(s(x) = ln(1+e^x)\)

Experiments

多种Triplet Loss性能对比

float

(1) 没有Hard Mining的 \(L_{tri}\)往往模型效果不好，如果加上简单的offline hard-mining(OHM)，则效果很不稳定，有时候很好有时候完全崩掉。

(2) Batch Hard形式的 \(L_{BH}\)整体表现好于 Batch All形式的 \(L_{BA}\)。作者猜测，训练后期很多三元组loss都是0，然后平均处理时会把仅剩的有用的信息给稀释掉。为了证明该猜想，作者计算平均loss时只考虑那些不为0的，用 \(L_{BA\neq 0}\)表示，发现效果确实会变好。

(3) 在作者的Re-ID实验中，Batch Hard + soft-margin的效果最好，但是不能保证在其他任务中这种组合依然是最好的，这需要更多的实验验证。