首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
262k专题
llama3-8b-instruct-262k微调过程的问题笔记(场景为llama论文审稿)
目录 一、环境配置 1.1、模型 1.2、微调环境 1.3、微调数据 二、发现的问题 2.1、过拟合问题 2.2、Qlora zero3 保存模型时OOM问题(已解决) 一、环境配置 1.1、模型 llama3-8b-instruct-262k (英文) 1.2、微调环境 Package Version-------------
阅读更多...