超越OpenAI,谷歌重磅发布从大模型蒸馏的编码器Gecko

本文主要是介绍超越OpenAI,谷歌重磅发布从大模型蒸馏的编码器Gecko,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言:介绍文本嵌入模型的重要性和挑战

文本嵌入模型在自然语言处理(NLP)领域扮演着至关重要的角色。它们将文本转换为密集的向量表示,使得语义相似的文本在嵌入空间中彼此靠近。这些嵌入被广泛应用于各种下游任务,包括文档检索、句子相似度、分类和聚类。然而,创建一个既通用又高效的文本嵌入模型面临着巨大挑战。这些模型需要大量的训练数据来全面覆盖所需的领域和技能,而且,手动标注数据的过程既耗时又昂贵,通常还会带来不希望的偏见和缺乏多样性。近年来,大语言模型(LLMs)因其在各种领域的广泛知识和卓越的少样本学习能力而成为了一种强大的替代方案。

GPT-3.5研究测试:

https://hujiaoai.cn

GPT-4研究测试:

https://higpt4.cn

Claude-3研究测试(全面吊打GPT-4):

https://hiclaude3.com

本文介绍了Gecko,一个高效且多功能的文本嵌入模型。如下图,Gecko通过从LLMs中提取知识并将其蒸馏到检索器中,从而实现了强大的检索性能。我们的两步蒸馏过程首先使用LLM生成多样化的合成配对数据。接下来,我们通过检索每个查询的候选段落集,并使用相同的LLM重新标记正面和非常负面的段落,进一步提炼数据质量。Gecko模型在Massive Text Embedding Benchmark(MTEB)上的紧凑性表现出色,256维嵌入的Gecko在性能上超越了所有768维嵌入大小的现有条目。768维嵌入的Gecko平均得分为66.31,可与7倍大的模型和5倍高维嵌入相竞争。

论文标题:
Gecko: Versatile Text Embeddings Distilled from Large Language Models

论文链接:
https://arxiv.org/pdf/2403.20327.pdf

项目地址:
https://github.com/google-research/gecko

Gecko模型的创新之处:两步蒸馏过程的详细介绍

1. 利用LLM生成多样化合成数据

在Gecko的第一步蒸馏过程中,我们使用LLM从一个大型未标记的段落语料库中为每个段落生成相关任务和查询(下图)。这些任务和查询的组合被嵌入到一个预训练的嵌入模型中,以获得最近邻段落,然后使用LLM对这些段落进行重排,并根据LLM的得分获得正面和负面段落。

2. 利用LLM进一步提炼数据质量!

如下图,在第二步蒸馏过程中,我们使用LLM来挖掘更好的正面示例,同时寻找有用的非常负面的示例。我们发现,生成查询的最佳段落通常与原始源段落不同。通过这种方法,我们创建了一个新的数据集FRet,它包含了6.6M个示例,每个示例都包含一个任务、一个查询、一个正面段落和一个负面段落。

Gecko模型的训练策略和优化目标

Gecko模型的训练策略包括预微调和微调两个阶段。在预微调阶段,Gecko利用自监督任务处理大量文本语料,以暴露模型于丰富的文本多样性。微调阶段的主要贡献是创建了一个通过两步LLM蒸馏过程生成的新颖微调数据集FRet,该数据集识别了每个生成查询的正面和非常负面的案例。

在微调过程中,Gecko使用了一个标准的损失函数,该函数使得查询能够区分正面目标和硬负面案例,以及批次中的其他查询。此外,Gecko还采用了MRL损失,该损失优化了小于嵌入维度d的子维度,从而支持单一模型的多种不同嵌入维度。

通过这一训练策略,Gecko在MTEB上的多个文本嵌入任务中取得了优异的成绩,特别是在分类、语义文本相似性(STS)和摘要任务上设定了新的最高标准。此外,仅使用FRet训练的Gecko在MTEB上的零样本基准测试中也展现了强大的性能,与其他基线模型相比具有竞争力。

实验结果:Gecko在MTEB基准测试中的表现

Gecko模型在Massive Text Embedding Benchmark(MTEB)上展现了卓越的性能(下表)。在256维嵌入空间中,Gecko的表现超越了所有768维嵌入尺寸的现有模型。当嵌入维度提升至768时,Gecko的平均得分达到了66.31,与体量大7倍、嵌入维度高5倍的模型相抗衡。这一结果证明了Gecko在紧凑性和效能之间取得了良好的平衡。

1. 多语言检索结果:Gecko模型在多语言任务中的应用和表现

在多语言检索任务中,Gecko模型同样表现出色。尽管Gecko的训练数据FRet仅包含英语,Gecko的多语言版本在MIRACL基准测试中的平均nDCG@10得分为56.2(下表),这一成绩优于其他单一多语言检索器。这表明,即使是仅使用英语数据集生成的模型,也能在多语言任务上取得良好的性能。

2. LLM作为标签器的作用

LLM在Gecko模型中扮演了关键的标签器角色。通过使用LLM生成的查询和任务描述,Gecko能够从大量的网络语料中挖掘出更相关的正面和非常负面的案例。下表,我们测试了FRet的不同标注策略,其中我们使用了不同的正面和非常负面段落。实验结果表明,使用LLM选择的最相关的正面案例作为正样本,比原始生成查询的文本段落更有效,这进一步提升了模型的性能。

下表是作为定性分析的LLM挖掘的正面和负面示例。虽然每个查询的意图与每个任务相符,但LLM挖掘的正面内容通常比生成查询的种子段落更为相关。

3. FRet数据集的多样性对模型泛化能力的影响

FRet数据集的多样性对Gecko模型的泛化能力产生了显著影响。FRet包含了多种任务类型,如问题回答、搜索结果、事实核查和句子相似性等。如下表,我们测试了FRet的多样性如何影响模型在MTEB跨任务的泛化能力。通过均匀采样不同任务类型的数据,Gecko在MTEB的多个任务上都取得了更好的性能。这一发现强调了数据集多样性对于构建具有广泛适用性的文本嵌入模型的重要性。

讨论:Gecko模型在不同任务中的平衡性和零样本泛化能力

在探讨Gecko模型的平衡性和零样本泛化能力之前,我们首先了解Gecko模型的基本构成。Gecko是一种紧凑且多功能的文本嵌入模型,通过从LLMs中提取知识来实现强大的检索性能。该模型采用了两步蒸馏过程,首先利用LLM生成多样化的合成配对数据,然后通过检索每个查询的候选段落并使用相同的LLM重新标记正面和非常负面的段落,进一步提炼数据质量。

1. 平衡性

Gecko模型在Massive Text Embedding Benchmark (MTEB)上的表现显示出其在不同任务之间的平衡性。具体来说,Gecko在256维嵌入空间上就超越了所有768维嵌入大小的现有条目。而当嵌入维度为768时,Gecko的平均得分为66.31,与7倍大的模型以及5倍高维嵌入相竞争。这表明Gecko能够在保持较小模型尺寸和嵌入维度的同时,实现多任务之间的良好平衡。

2. 零样本泛化能力

Gecko模型的零样本泛化能力体现在其能够在没有任何人类标注数据或MTEB领域内训练数据集的情况下,仅使用LLM生成和排名的数据(FRet)进行训练,并在MTEB上展示出强大的性能。这一结果令人惊讶,因为它与其他基线模型相比具有强大的竞争力,表明Gecko能够在没有见过具体任务实例的情况下,通过LLM的知识进行有效的泛化。

结论:总结Gecko模型的创新点和对未来文本嵌入模型的启示

Gecko模型的创新之处在于其利用LLM的广泛世界知识,通过两步蒸馏过程创建了一个高效的嵌入模型。Gecko的训练涉及到使用LLM生成的多任务合成数据集FRet,该数据集包含了LLM排名的正面和负面段落。Gecko模型的成功展示了LLM可以用于识别合成查询的更好的正面和负面目标,同时也显示了将这些合成生成的数据以统一格式结合起来,可以实现在多个不同任务上同时取得出色性能的可能性。

此外,Gecko模型的零样本泛化能力启示我们,即使在没有大量人类标注数据的情况下,也可以通过利用LLM的知识来训练出能够在多任务上表现良好的文本嵌入模型。这为未来的文本嵌入模型提供了一个新的方向,即通过利用LLM的强大能力来提高模型的泛化能力和效率。

这篇关于超越OpenAI,谷歌重磅发布从大模型蒸馏的编码器Gecko的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/927489

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

高效+灵活,万博智云全球发布AWS无代理跨云容灾方案!

摘要 近日,万博智云推出了基于AWS的无代理跨云容灾解决方案,并与拉丁美洲,中东,亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础,将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合,为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日,万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频,介绍了

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU