AI大模型优化技巧:参数高效微调(PEFT)与LoRA微调深度解析

2024-09-03 13:12

本文主要是介绍AI大模型优化技巧:参数高效微调(PEFT)与LoRA微调深度解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. Fine-tuning

相较于基础大模型动辄万卡的代价,微调可能是普通个人或者企业少数能够接受的后训练大模型(post-training)的方式。

微调是指在一个预训练模型(pre-training)的基础上,通过少量的数据和计算资源,对模型进行进一步训练,以适应特定的任务或者数据集。

在这里插入图片描述

微调分为两种类型:全参微调(full fine-tuning)和参数高效微调(parameter efficient fine-tuning)。

  • 全参微调:在全参微调中,整个模型的参数都会被更新,这种方法通常需要大量的数据和计算资源,以及较长的训练时间。

在这里插入图片描述

2. PEFT

参数高效微调(Parameter-Efficient Fine-Tuning,简称PEFT)是一种针对大型预训练模型(如大语言模型)的微调技术,它旨在减少训练参数的数量,从而降低计算和存储成本,同时保持或提升模型性能。

PEFT通过仅微调模型中的一小部分参数,而不是整个模型,来适应特定的下游任务。这种方法特别适用于硬件资源受限的情况,以及需要快速适配多种任务的大型模型。

在这里插入图片描述

PEFT有以下几种常见的方法:

  • 选择参数子集:选择模型中的一小部分参数进行微调,通常是最后几层的参数;
  • 重新参数化:使用低秩表示重新参数化模型权重,代表是LoRA方法;
  • 添加参数:向模型添加可训练层或参数,代表为Prompt-tuning方法。

在这里插入图片描述

3. LoRA

LoRA(Low-Rank Adaptation)是一种参数高效微调技术,主要用于大型预训练模型的微调。它通过在模型的权重矩阵中引入低秩矩阵来实现对模型的调整,从而减少训练参数的数量,降低计算和存储成本。

LoRA的核心思想是,大型模型在进行特定任务的微调时,并不必要更新所有参数。通过仅对模型中一小部分参数进行微调,可以显著减少所需的计算资源,同时保持或提升模型性能。

在具体实现上,LoRA通过在预训练模型的权重矩阵上添加一个可学习的低秩矩阵,来实现对模型的微调。这个低秩矩阵由两个较小的矩阵相乘得到,这两个矩阵在训练过程中进行更新,而原始的预训练权重矩阵则保持不变。

在这里插入图片描述

Q-LoRA

QLoRA(Quantized LoRA)是LoRA的量化版本,通过量化技术进一步降低了模型的存储需求,使得大型模型可以在资源受限的设备上进行训练和部署。

Rank

矩阵的秩(rank)是矩阵中线性无关行或列的最大数目。在LoRA中,通过引入低秩矩阵,可以减少模型的参数数量,从而降低计算和存储成本。

在这里插入图片描述

经验上,4或者8的rank通常能够在保持模型性能的同时,显著减少参数数量。

LoRA target_modules 目标矩阵是Q?K?V?

在这里插入图片描述

为什么LoRA微调偏向于Q和V层而不是K层呢?这主要基于以下几个原因:

  • 参数效率:Q层和V层直接影响到注意力权重的计算和最终的输出表示。通过调整Q层,可以影响模型选择关注的信息;而调整V层可以影响模型如何利用这些信息。因此,在这些层上进行微调可以更直接地改变模型的行为;

  • 影响信息选择:K层主要影响信息的匹配方式,而在许多情况下,调整Q和V层已足够引导模型关注到更有用的信息上;

  • 计算效率:虽然LoRA的目的是通过低秩更新提高参数效率,但在所有层上应用这种更新仍会增加额外的计算负担。选择对最终性能影响最大的层进行调整可以在增加最小计算成本的同时获得最大的性能提升;

  • 实验和经验:实际应用中的经验和研究表明,在Q和V层上应用LoRA微调通常能够有效改善特定任务的性能。这可能是因为这些层在模型中扮演着关键角色,对输出的影响较大;

此外,对于不同模型的LoRA实现,target_modules参数可以根据模型的架构进行设置。例如,对于T5和MT5模型,默认的target_modules是[“q”, “v”],而对于BART和GPT-2模型,则是[“q_proj”, “v_proj”]。

如果使用的模型不在实现定义的大语言模型列表内,则需要手动指定target_modules。可以通过打印模型的可学习参数名来找到可学习的参数

4. Prompt-tuning

Prompt Tuning是一种针对大型预训练模型的微调技术,它通过在输入层引入任务特定的提示(prompt)来适配模型至特定任务,而不需要对整个模型参数进行更新。这种方法的核心优势在于参数效率,即它只需要训练少量的参数,从而降低了计算成本和训练时间。

Prompt Tuning的实现步骤主要包括:

  • 定义任务特定的指令(prompt),这些指令作为输入的一部分,用于引导模型完成特定任务;
  • 将指令与原始输入数据结合,形成新的输入;
  • 利用新的输入对预训练模型进行微调,通常涉及对prompt tokens对应的词向量或由神经网络参数化的向量进行训练,而预训练模型的其他部分参数保持冻结.

5. 其它PEFT方法

除了最流行的LoRA和Prompt-tuning方法外,还有一些其他的参数高效微调方法,如: P-tuning和Perfix-tuning等。但我也没有细看,工作中也没有用过,所以不做详细介绍。但可以参考Huggingface的PEFT文档。

在这里插入图片描述

如何学习AI大模型?

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

这篇关于AI大模型优化技巧:参数高效微调(PEFT)与LoRA微调深度解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1133053

相关文章

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

Vue3 的 shallowRef 和 shallowReactive:优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉,那么对 shallowRef 和 shallowReactive 是否了解呢? 在编程和数据结构中,“shallow”(浅层)通常指对数据结构的最外层进行操作,而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素,而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层(Shallow) 定义

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

高效+灵活,万博智云全球发布AWS无代理跨云容灾方案!

摘要 近日,万博智云推出了基于AWS的无代理跨云容灾解决方案,并与拉丁美洲,中东,亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础,将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合,为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日,万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频,介绍了