【Python】科研代码学习:十二 PEFT(高效参数的训练,Adapter适配器)

本文主要是介绍【Python】科研代码学习:十二 PEFT(高效参数的训练,Adapter适配器),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【Python】科研代码学习:十二 PEFT

  • PEFT
    • 简单训练教程
    • 简单推理教程
    • Adapter 适配器
    • Merge Adapter
  • 架构关系

PEFT

  • 【HF官网-Doc-PEFT:API】
    首先日常问题,是什么,为什么,怎么用
    PEFT (Prameter-Efficient Fine-Tuning):参数高效的微调
    这里特指 HF 提供的 PEFT
    PEFT 让大的预训练模型可以很快适应到各种下游的任务中,并且没有进行全参微调,因为全参微调的时间、算力花费比较大。

简单训练教程

  • 两个很重要的模块:
    PeftConfig :提供 peft 的配置
    PeftModel:提供 peft 的模型
  • 最常见的是使用 LoRA (Low-Rank Adaptation ) 作为 PEFT 技术
    这里,PeftConfig 就使用了 LoraConfig
    然后给了一些必要的参数,比如任务类型,设定模式(训练还是推理),低秩矩阵的秩,和lora的俩参数:
from peft import LoraConfig, TaskTypepeft_config = LoraConfig(task_type=TaskType.SEQ_2_SEQ_LM, inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1)
  • 然后,加载一个预训练模型
    接着,使用 get_peft_model,把模型和 peft_config 传进去,变成 peftmodel
    我们发现,这里只用训练 0.19 % 0.19\% 0.19% 的参数
from transformers import AutoModelForSeq2SeqLM
from peft import get_peft_modelmodel = AutoModelForSeq2SeqLM.from_pretrained("bigscience/mt0-large")model = get_peft_model(model, peft_config)
model.print_trainable_parameters()
"output: trainable params: 2359296 || all params: 1231940608 || trainable%: 0.19151053100118282"
  • 然后直接提供 TrainingArgumentsTrainer 训练即可
training_args = TrainingArguments(output_dir="your-name/bigscience/mt0-large-lora",learning_rate=1e-3,per_device_train_batch_size=32,per_device_eval_batch_size=32,num_train_epochs=2,weight_decay=0.01,evaluation_strategy="epoch",save_strategy="epoch",load_best_model_at_end=True,
)trainer = Trainer(model=model,args=training_args,train_dataset=tokenized_datasets["train"],eval_dataset=tokenized_datasets["test"],tokenizer=tokenizer,data_collator=data_collator,compute_metrics=compute_metrics,
)trainer.train()	
  • 保存部分,跟一般的模型一样。但它只存储那些额外训练的参数,因此保存后的文件很小。
model.save_pretrained("output_dir")

简单推理教程

  • 我们加载 peftmodel 的话,需要使用比如 AutoPeftModel
    同理,使用 .from_pretrained 方法加载
    其他步骤没啥区别
from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer
import torchmodel = AutoPeftModelForCausalLM.from_pretrained("ybelkada/opt-350m-lora")
tokenizer = AutoTokenizer.from_pretrained("facebook/opt-350m")model = model.to("cuda")
model.eval()
inputs = tokenizer("Preheat the oven to 350 degrees and place the cookie dough", return_tensors="pt")outputs = model.generate(input_ids=inputs["input_ids"].to("cuda"), max_new_tokens=50)
print(tokenizer.batch_decode(outputs.detach().cpu().numpy(), skip_special_tokens=True)[0])"Preheat the oven to 350 degrees and place the cookie dough in the center of the oven. In a large bowl, combine the flour, baking powder, baking soda, salt, and cinnamon. In a separate bowl, combine the egg yolks, sugar, and vanilla."

Adapter 适配器

  • Adapter-based 方法在冻结的注意力层和全连接层之后添加了额外的可训练参数
    这里简单介绍一下 PEFT 支持的几个 Adapter
  • LoRA (Low-Rank Adaptation):最受欢迎的一个PEFT方法
    主要是高秩到低秩的映射,然后再映射回高秩矩阵。
    一开始在NLP中,后来CV也有用
  • LoHa (Low-Rank Hadamard Product):使用了 Hadamard product 方法
    在CV中用,NLP中的嵌入层代码还没实现
  • LoKr (Low-Rankd Kronecker Product) :使用了 Kronecker Product 方法
    主要给 diffusion model 使用
    在这里插入图片描述
  • OFT (Orthogonal Finetuning):方法如下图
    一开始聚焦在微调阶段,预训练模型的生成能力
    在这里插入图片描述
  • Llama-Adapter:让 Llama 适配成接受指令模型 (instruction-following model)
    在这里插入图片描述
  • PEFT 库中,可以按照对应的模型和任务,选择想用的 Adapter
    不同的 Adapter 都有它自己的 SpecificPeftModelSpecificPeftConfig
    去查阅相关的参数即可。
    比较常用的有:
    IA3
    LoRA
    P-tuning
    Prefix tuning
    Prompt tuning
    在这里插入图片描述

Merge Adapter

  • 在实际过程中,由于基座模型和 adapter 适配器 分开加载,可能会遇到延迟问题
    这个时候,可以选择使用 merge_and_unload() 方法,把 adapter 权重与底座模型权重融合起来。这样的话,使用新的模型就和一开始单独的模型没有区别了。
  • 比如我使用的是 LoraAdapter,查阅该方法
    progressbar :是否显示进度条
    safe_merge:使用安全合并,检查适配器中是否有 Nan 权重
    adapter_names:要合并的适配器名字的列表
    在这里插入图片描述
  • 当然这些参数都可以用默认值。我们只要对 PeftModel 调用该方法即可返回合并后的 model 。
from transformers import AutoModelForCausalLM
from peft import PeftModelbase_model = AutoModelForCausalLM.from_pretrained("tiiuae/falcon-40b")
peft_model_id = "smangrul/falcon-40B-int4-peft-lora-sfttrainer-sample"
model = PeftModel.from_pretrained(base_model, peft_model_id)
merged_model = model.merge_and_unload()

架构关系

  • 粗看上面关系有点乱,还是得看一下源码
    PeftModel 是从 torch.nn 继承过来的,按照不同的任务,使用不同的子类,比如 PeftModelForCausalLM
    LoRAModel 等,是从 BaseTuner 继承过来的,Tuner 也是继承自 torch.nn,但这个是按照使用不同的适配器分类的,并且它建议是使用 LoRAConfig,这个是 PeftConfig 的子类
  • PeftModel 更靠近 PretrainedModel,有 save_pretrained, from_pretrained 等方法。PeftModelForCausalLM 还有 generate 方法
    LoRAModel 更靠近 Adapter,有 merge_and_unload, delete_adapter 等方法
  • 它里面大部分的基类和使用到的网络几乎都是 torch.nn,因此大部分跟 PretrainedModel 可以接壤
  • 即根据我的查询,LoRAModel 等并不是 PeftModelForCausalLM / PeftModel 的子类(有待存疑)
    LoRAModel 来训练,PeftModel 来推理,是可以的。
    并且 LoRAModel 可以通过 merge_and_unload() 方法转成 torch.nn,也就相当于 PretrainedModel
    在这里插入图片描述

这篇关于【Python】科研代码学习:十二 PEFT(高效参数的训练,Adapter适配器)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/809726

相关文章

使用Python绘制蛇年春节祝福艺术图

《使用Python绘制蛇年春节祝福艺术图》:本文主要介绍如何使用Python的Matplotlib库绘制一幅富有创意的“蛇年有福”艺术图,这幅图结合了数字,蛇形,花朵等装饰,需要的可以参考下... 目录1. 绘图的基本概念2. 准备工作3. 实现代码解析3.1 设置绘图画布3.2 绘制数字“2025”3.3

python使用watchdog实现文件资源监控

《python使用watchdog实现文件资源监控》watchdog支持跨平台文件资源监控,可以检测指定文件夹下文件及文件夹变动,下面我们来看看Python如何使用watchdog实现文件资源监控吧... python文件监控库watchdogs简介随着Python在各种应用领域中的广泛使用,其生态环境也

Python中构建终端应用界面利器Blessed模块的使用

《Python中构建终端应用界面利器Blessed模块的使用》Blessed库作为一个轻量级且功能强大的解决方案,开始在开发者中赢得口碑,今天,我们就一起来探索一下它是如何让终端UI开发变得轻松而高... 目录一、安装与配置:简单、快速、无障碍二、基本功能:从彩色文本到动态交互1. 显示基本内容2. 创建链

SpringCloud集成AlloyDB的示例代码

《SpringCloud集成AlloyDB的示例代码》AlloyDB是GoogleCloud提供的一种高度可扩展、强性能的关系型数据库服务,它兼容PostgreSQL,并提供了更快的查询性能... 目录1.AlloyDBjavascript是什么?AlloyDB 的工作原理2.搭建测试环境3.代码工程1.

Java调用Python代码的几种方法小结

《Java调用Python代码的几种方法小结》Python语言有丰富的系统管理、数据处理、统计类软件包,因此从java应用中调用Python代码的需求很常见、实用,本文介绍几种方法从java调用Pyt... 目录引言Java core使用ProcessBuilder使用Java脚本引擎总结引言python

python 字典d[k]中key不存在的解决方案

《python字典d[k]中key不存在的解决方案》本文主要介绍了在Python中处理字典键不存在时获取默认值的两种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录defaultdict:处理找不到的键的一个选择特殊方法__missing__有时候为了方便起见,

Java中ArrayList的8种浅拷贝方式示例代码

《Java中ArrayList的8种浅拷贝方式示例代码》:本文主要介绍Java中ArrayList的8种浅拷贝方式的相关资料,讲解了Java中ArrayList的浅拷贝概念,并详细分享了八种实现浅... 目录引言什么是浅拷贝?ArrayList 浅拷贝的重要性方法一:使用构造函数方法二:使用 addAll(

使用Python绘制可爱的招财猫

《使用Python绘制可爱的招财猫》招财猫,也被称为“幸运猫”,是一种象征财富和好运的吉祥物,经常出现在亚洲文化的商店、餐厅和家庭中,今天,我将带你用Python和matplotlib库从零开始绘制一... 目录1. 为什么选择用 python 绘制?2. 绘图的基本概念3. 实现代码解析3.1 设置绘图画

Python pyinstaller实现图形化打包工具

《Pythonpyinstaller实现图形化打包工具》:本文主要介绍一个使用PythonPYQT5制作的关于pyinstaller打包工具,代替传统的cmd黑窗口模式打包页面,实现更快捷方便的... 目录1.简介2.运行效果3.相关源码1.简介一个使用python PYQT5制作的关于pyinstall

使用Python实现大文件切片上传及断点续传的方法

《使用Python实现大文件切片上传及断点续传的方法》本文介绍了使用Python实现大文件切片上传及断点续传的方法,包括功能模块划分(获取上传文件接口状态、临时文件夹状态信息、切片上传、切片合并)、整... 目录概要整体架构流程技术细节获取上传文件状态接口获取临时文件夹状态信息接口切片上传功能文件合并功能小