SWIFT环境配置及大模型微调实践

本文主要是介绍SWIFT环境配置及大模型微调实践，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

SWIFT介绍参考： 这里

SWIFT环境配置

基础配置

conda create -n swift python=3.8pip install ms-swift[all] -U# 下载项目
git clone https://github.com/modelscope/swift

增量配置

如果是运行qwen-audio，需要安装ffmpeg

apt-get update
apt-get install ffmpeg

SWIFT大模型微调实践

也可以参考https://zhuanlan.zhihu.com/p/665300386

微调代码

cd swift/examples/pytorch/llm
nohup bash scripts/qwen_audio_chat/lora/sft.sh > qwen_audio_chat_sft_20240320.log &

第一次跑，发现使用的是cpu，经过检查，发现pytorch版本对应的cuda版本较高，于是重新安装pytorch

conda install --use-local pytorch-1.13.0-py3.8_cuda11.6_cudnn8.3.2_0.tar.bz2.tar.bz2

这篇关于SWIFT环境配置及大模型微调实践的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---