262k专题

llama3-8b-instruct-262k微调过程的问题笔记(场景为llama论文审稿)

目录 一、环境配置   1.1、模型   1.2、微调环境   1.3、微调数据 二、发现的问题   2.1、过拟合问题   2.2、Qlora zero3 保存模型时OOM问题(已解决) 一、环境配置   1.1、模型 llama3-8b-instruct-262k (英文)   1.2、微调环境 Package Version-------------