Data-Free Generalized Zero-Shot Learning 中文版

2024-03-19 23:12

本文主要是介绍Data-Free Generalized Zero-Shot Learning 中文版,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

摘要

深度学习模型具有从大规模数据集中提取丰富知识的能力。然而,由于涉及到数据版权和隐私问题,数据共享变得越来越具有挑战性。因此,这妨碍了从现有数据向新的下游任务和概念有效转移知识。零样本学习(ZSL)方法旨在通过从基类中转移学习的语义知识来识别新类别。然而,传统的生成式ZSL方法通常需要访问基类的真实图像,并依赖手动注释的属性,这在数据限制和模型可扩展性方面存在挑战。为此,本文解决了一个具有挑战性和实践意义的问题,即无数据零样本学习(DFZSL),其中仅有基于 CLIP 预训练分类器的基类数据可用于零样本分类。具体来说,我们提出了一个用于 DFZSL 的通用框架,由三个主要组成部分组成。首先,为了恢复基础数据的虚拟特征,我们将基类图像的 CLIP 特征建模为基于预训练分类器的 von Mises-Fisher(vMF)分布样本。其次,我们利用 CLIP 的文本特征作为低成本的语义信息,并提出了一个特征语言提示调整(FLPT)方法,进一步调整虚拟图像特征和文本特征。第三,我们使用对齐良好的虚拟图像特征和相应的语义文本特征训练条件生成模型,从而实现了对新类别特征的生成,并实现更好的零样本泛化。我们的框架已在通用 ZSL 的五个常用基准数据集以及基类到新类别 ZSL 的 11 个基准数据集上进行了评估。结果表明了我们方法的优越性和有效性。我们的代码可在 https://github.com/ylong4/DFZSL 上找到。

介绍

深度学习模型的强大之处在于它们能够从大规模数据集中提取丰富的知识,包括视觉特征和语义信息。然而,跨不同公司、机构和国家之间的数据共享变得越来越具有挑战性和敏感性。与数据版权和隐私相关的担忧,特别是在健康和安全等敏感领域,给大规模数据集中的知识顺利传输到新的下游任务和概念中造成了重大障碍。这些挑战阻碍了深度学习模型的广泛利用,并限制了它们在各个领域的潜在影响。受到数据和模型隐私问题日益增长的担忧的启发,特别是在将知识转移到新概念的情境中,==本文解决了无数据零样本学习的问题,即在没有访问任何真实数据的情况下进行零样本学习。==零样本学习(ZSL)解决了利用从基类转移的语义知识来识别新类的挑战。尽管零样本学习取得了显著进展,但大多数零样本学习方法通常需要访问基类的标记图像,无论是用于对齐视觉-语义嵌入还是训练条件生成模型。==不幸的是,由于隐私或版权限制,从基类获取真实数据在现实世界的应用中往往是不切实际的。此外,现有方法严重依赖于手动注释的属性,这在可扩展性和注释难度方面存在挑战。==大规模预训练的视觉语言模型(例如 CLIP)等最近取得了显著的零样本泛化能力。这些模型通过在大量图像-标题对上进行广泛训练,而无需手动注释的属性,就实现了这种能力。然而,有效地将这些模型在弱对齐的图像-标题对上训练的知识转移到下游细粒度零样本分类任务仍然具有挑战性和不足。这主要是由于预训练模型和特定分类任务之间的类别粒度差异所致。Prompt 调整通过向输入添加可学习的提示来解决这个问题。然而,最近的 Prompt 调整方法仍然存在单边对齐的问题,并且依赖于对真实图像的访问。

为此,本文解决了一个具有挑战性和实用性的问题,被称为无数据零样本学习(DFZSL)。在这种情况下,用于零样本分类的唯一可用资源是基于 CLIP 特征的预训练基类分类器。值得注意的是,我们没有访问来自基类或新类的任何真实数据,并且不需要手动属性注释。我们的设置与绝对零样本学习密切相关。然而,他们的方法仍然依赖于手动属性注释,并且在传统和泛化 ZSL 中表现不佳。

所提出的框架由三个主要组件组成。首先,为了恢复基类数据,我们将基类图像的 CLIP 特征建模为从 von Mises-Fisher(vMF)分布中取样的样本,其中可学习的均值(μ)和适当的集中(κ)参数基于预训练分类器。这使我们能够通过从分布中采样来恢复基类数据的虚拟特征。需要注意的是,我们的方法并不恢复原始图像。相反,我们的重点是恢复高级图像特征向量,这更有效并避免了隐私和版权问题。其次,为了连接基类和新类,我们利用 CLIP 的文本编码器获取低成本的语义信息,以通用文本特征的形式,消除了对手动属性注释的需求。我们的框架是通用的,任何视觉语言基础模型都有可能使用。为了增强对下游细粒度零样本分类任务的适应能力,我们引入了一种特征语言提示调整方法。该方法旨在通过调整视觉特征和文本输入来进一步将基类的虚拟图像特征与其对应的文本特征对齐。第三,我们使用良好对齐的虚拟图像特征和相应的语义文本特征训练条件生成模型,使我们能够为新类生成标记数据。然后,通过监督学习实现零样本分类。我们的框架已在用于泛化 ZSL 的五个常用基准测试中进行了评估,以及用于基类到新类泛化的 11 个基准测试中进行了评估。结果表明了我们方法的优越性。

在这里插入图片描述

这篇关于Data-Free Generalized Zero-Shot Learning 中文版的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/827532

相关文章

uva 10061 How many zero's and how many digits ?(不同进制阶乘末尾几个0)+poj 1401

题意是求在base进制下的 n!的结果有几位数,末尾有几个0。 想起刚开始的时候做的一道10进制下的n阶乘末尾有几个零,以及之前有做过的一道n阶乘的位数。 当时都是在10进制下的。 10进制下的做法是: 1. n阶位数:直接 lg(n!)就是得数的位数。 2. n阶末尾0的个数:由于2 * 5 将会在得数中以0的形式存在,所以计算2或者计算5,由于因子中出现5必然出现2,所以直接一

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

JavaEE7 Servlet 3.1(JSR 340)规范中文版

http://www.iteye.com/news/27727-jinnianshilongnian     Jave EE 7中的部分规范已正式获得批准通过,其中包括JSR340 Java Servlet 3.1规范,去年翻译了该规范,在此分享出来,希望对某些朋友有所帮助,不足之处请指正。   点击直接下载    在线版目录   Servlet3.1规范翻译

CentOS下mysql数据库data目录迁移

https://my.oschina.net/u/873762/blog/180388        公司新上线一个资讯网站,独立主机,raid5,lamp架构。由于资讯网是面向小行业,初步估计一两年内访问量压力不大,故,在做服务器系统搭建的时候,只是简单分出一个独立的data区作为数据库和网站程序的专区,其他按照linux的默认分区。apache,mysql,php均使用yum安装(也尝试

SAM2POINT:以zero-shot且快速的方式将任何 3D 视频分割为视频

摘要 我们介绍 SAM2POINT,这是一种采用 Segment Anything Model 2 (SAM 2) 进行零样本和快速 3D 分割的初步探索。 SAM2POINT 将任何 3D 数据解释为一系列多向视频,并利用 SAM 2 进行 3D 空间分割,无需进一步训练或 2D-3D 投影。 我们的框架支持各种提示类型,包括 3D 点、框和掩模,并且可以泛化到不同的场景,例如 3D 对象、室

使用Spring Boot集成Spring Data JPA和单例模式构建库存管理系统

引言 在企业级应用开发中,数据库操作是非常重要的一环。Spring Data JPA提供了一种简化的方式来进行数据库交互,它使得开发者无需编写复杂的JPA代码就可以完成常见的CRUD操作。此外,设计模式如单例模式可以帮助我们更好地管理和控制对象的创建过程,从而提高系统的性能和可维护性。本文将展示如何结合Spring Boot、Spring Data JPA以及单例模式来构建一个基本的库存管理系统

15 组件的切换和对组件的data的使用

划重点 a 标签的使用事件修饰符组件的定义组件的切换:登录 / 注册 泡椒鱼头 :微辣 <!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><meta http-equiv="X-UA-

速通GPT-3:Language Models are Few-Shot Learners全文解读

文章目录 论文实验总览1. 任务设置与测试策略2. 任务类别3. 关键实验结果4. 数据污染与实验局限性5. 总结与贡献 Abstract1. 概括2. 具体分析3. 摘要全文翻译4. 为什么不需要梯度更新或微调⭐ Introduction1. 概括2. 具体分析3. 进一步分析 Approach1. 概括2. 具体分析3. 进一步分析 Results1. 概括2. 具体分析2.1 语言模型

12C 新特性,MOVE DATAFILE 在线移动 包括system, 附带改名 NID ,cdb_data_files视图坏了

ALTER DATABASE MOVE DATAFILE  可以改名 可以move file,全部一个命令。 resue 可以重用,keep好像不生效!!! system照移动不误-------- SQL> select file_name, status, online_status from dba_data_files where tablespace_name='SYSTEM'

简单的Q-learning|小明的一维世界(3)

简单的Q-learning|小明的一维世界(1) 简单的Q-learning|小明的一维世界(2) 一维的加速度世界 这个世界,小明只能控制自己的加速度,并且只能对加速度进行如下三种操作:增加1、减少1、或者不变。所以行动空间为: { u 1 = − 1 , u 2 = 0 , u 3 = 1 } \{u_1=-1, u_2=0, u_3=1\} {u1​=−1,u2​=0,u3​=1}