FAT:一种快速的Triplet Loss近似方法,学习更鲁棒的特征表示,并进行有噪声标签的提纯...

本文主要是介绍FAT:一种快速的Triplet Loss近似方法,学习更鲁棒的特征表示,并进行有噪声标签的提纯...,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”


导读

Triplet的两大问题,计算复杂度和噪声敏感,看看这篇文章如何用一种对Triple的近似的方法来解决这两大问题。


摘要

三元组损失是ReID中非常常用的损失, 三元组损失的主要问题在于其计算上非常贵,在大数据集上的训练会受到计算资源的限制。而且数据集中的噪声和离群点会对模型造成比较危险的影响。这篇文章要解决的就是这两个问题,提出了一种新的三元组损失,叫做fast-approximated triplet(FAT)损失,下面来看下这个损失具体是什么样的。

1. 介绍

上面说过,三元组损失的一个问题是计算量的问题,三元组的组合数量和样本数量是3次方的关系,这个数字是非常庞大的。而且,大量的三元组实际上是不重要的,也就是简单样本,对模型的优化其实是没什么用的。如果是随机采样的话,确实可以加速训练,但是容易不收敛,所以现在都会使用各种困难样本挖掘的方法。不过,这些困难样本挖掘的方法会产生采样的偏差,对于离群点会很脆弱。

本文的贡献:

  • 提出了FAT loss,提升了标准的triplet loss的效率。

  • 首次证明了处理了标注噪声可以进一步提升ReID的性能。通过分配soft label可以学到更鲁棒的特征。

  • 在三个数据集上证明了该方法的有效性。

2. 方法

2.1 Fast Approximated Triplet (FAT) Loss

FAT loss的推导如下:

我们首先有下面的三角不等式:

这个式子里,ca和cn是聚类中心。d是距离函数。

对于离群点,上界包含两项,p2s(点到集合)的距离,这个依赖于anchor点,再加上簇的内聚性的惩罚项,定义为最大簇的“半径”。我们最小化这个上界,就得到了FAT loss:

这个损失和完整的triplet loss的性能相当,当时效率高了很多。很明显可以看到,FAT loss的计算量对于数据集的大小是线性复杂度。

归一化的FAT Loss

做为一个margin loss,对于输入尺度是很敏感的。所以,往往会对输入特征进行归一化。这样就得到归一化的FAT loss:

这里,R‘类似于归一化的样本集的半径。实际上,我们发现,加上一个交叉熵loss会对训练更加稳定,这样就得到了混合loss:

簇中心的选择

FAT的簇中心的选择也是很有讲究的,有四个选择:1)簇特征的平均值,2)归一化的簇特征的平均值,3)簇特征的平均值的归一化,4)归一化的簇特征的平均值的归一化。具体如下:

可视化图:

实验表明,第4中方式,归一化的簇特征的平均值的归一化表现的最好。

2.1 噪声标签的蒸馏

ReID中的标签噪声主要3种类型:1)图像被分配到了错误的id类别中,2)图像不属于任何一种id类别,3)同一张图像同时存在多个标签。三元组损失对这些标签噪声是很敏感的。由于FAT loss用的是聚类中心,所以对于噪声点影响不会那么明显。我们以此提出了一种标签蒸馏的teacher-student模型。方法如下:

1、首先,用交叉熵,用分类的方式训练5个epochs,这里包括有噪声的数据。采用这种方式训练的网络对于简单的样本具有较高的置信度。

2、重新训练5个epochs,这次只使用那些置信度高的样本。

3、不断的重复上面的过程。

教师模型训练完了之后,使用教师模型的预测作为soft label来代替之前的hard label,然后使用FAT loss来训练学生模型。只有那些置信度高的样本才会参与计算聚类中心,如果使用了混合损失,soft label也会用作交叉熵的target。

3. 实验结果

FAT loss在几个数据集上的效果:

教师-学生网络的各自的效果:

论文链接:https://arxiv.org/pdf/1912.07863

代码链接:https://github.com/VITA-Group/FAT

或者在公众号后台回复:“FAT”,可下载打包好的论文和代码。

—END—

请长按或扫描二维码关注本公众号

喜欢的话,请给我个好看吧

这篇关于FAT:一种快速的Triplet Loss近似方法,学习更鲁棒的特征表示,并进行有噪声标签的提纯...的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1080732

相关文章

Nginx安全防护的多种方法

《Nginx安全防护的多种方法》在生产环境中,需要隐藏Nginx的版本号,以避免泄漏Nginx的版本,使攻击者不能针对特定版本进行攻击,下面就来介绍一下Nginx安全防护的方法,感兴趣的可以了解一下... 目录核心安全配置1.编译安装 Nginx2.隐藏版本号3.限制危险请求方法4.请求限制(CC攻击防御)

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口

MySQL深分页进行性能优化的常见方法

《MySQL深分页进行性能优化的常见方法》在Web应用中,分页查询是数据库操作中的常见需求,然而,在面对大型数据集时,深分页(deeppagination)却成为了性能优化的一个挑战,在本文中,我们将... 目录引言:深分页,真的只是“翻页慢”那么简单吗?一、背景介绍二、深分页的性能问题三、业务场景分析四、

JAVA中安装多个JDK的方法

《JAVA中安装多个JDK的方法》文章介绍了在Windows系统上安装多个JDK版本的方法,包括下载、安装路径修改、环境变量配置(JAVA_HOME和Path),并说明如何通过调整JAVA_HOME在... 首先去oracle官网下载好两个版本不同的jdk(需要登录Oracle账号,没有可以免费注册)下载完

SpringBoot结合Docker进行容器化处理指南

《SpringBoot结合Docker进行容器化处理指南》在当今快速发展的软件工程领域,SpringBoot和Docker已经成为现代Java开发者的必备工具,本文将深入讲解如何将一个SpringBo... 目录前言一、为什么选择 Spring Bootjavascript + docker1. 快速部署与

Java中读取YAML文件配置信息常见问题及解决方法

《Java中读取YAML文件配置信息常见问题及解决方法》:本文主要介绍Java中读取YAML文件配置信息常见问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要... 目录1 使用Spring Boot的@ConfigurationProperties2. 使用@Valu

linux解压缩 xxx.jar文件进行内部操作过程

《linux解压缩xxx.jar文件进行内部操作过程》:本文主要介绍linux解压缩xxx.jar文件进行内部操作,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、解压文件二、压缩文件总结一、解压文件1、把 xxx.jar 文件放在服务器上,并进入当前目录#

SpringBoot中如何使用Assert进行断言校验

《SpringBoot中如何使用Assert进行断言校验》Java提供了内置的assert机制,而Spring框架也提供了更强大的Assert工具类来帮助开发者进行参数校验和状态检查,下... 目录前言一、Java 原生assert简介1.1 使用方式1.2 示例代码1.3 优缺点分析二、Spring Fr

Java 方法重载Overload常见误区及注意事项

《Java方法重载Overload常见误区及注意事项》Java方法重载允许同一类中同名方法通过参数类型、数量、顺序差异实现功能扩展,提升代码灵活性,核心条件为参数列表不同,不涉及返回类型、访问修饰符... 目录Java 方法重载(Overload)详解一、方法重载的核心条件二、构成方法重载的具体情况三、不构