zero3专题

Trl SFT: llama2-7b-hf使用QLora 4bit量化后ds zero3加上flash atten v2单机多卡训练(笔记)

目录 一、环境   1.1、环境安装   1.2、安装flash atten 二、代码   2.1、bash脚本    2.2、utils.py 注释与优化   2.3、train.py 注释与优化   2.4、模型/参数相关     2.4.1、量化后的模型       2.4.1.1 量化后模型结构       2.4.1.2 量化后模型layers     2.4.2

Trl: llama2-7b-hf使用QLora 4bit量化后ds zero3加上flash atten v2单机多卡训练(笔记)

目录 一、环境   1.1、环境安装   1.2、安装flash atten 二、代码   2.1、bash脚本    2.2、utils.py 注释与优化   2.3、train.py 注释与优化   2.4、模型/参数相关     2.4.1、量化后的模型       a) 量化后模型结构       b) 量化后模型layers     2.4.2、参数

香橙派Zero3安装miniconda3(问题多多,已全部解决)

文章目录 前言一、miniconda3版本二、使用步骤1.安装2.添加环境变量3.更新源4.创建新环境 总结 前言 你会遇到很多问题,按照我说的基本没问题。 香橙派是zero3。 一、miniconda3版本 Miniconda3-py37_4.9.2-Linux-aarch64.sh这个版本是测试没问题的,其他基本都是没法用。从清华源镜像那边下载比较快,然后SSH上