本文主要是介绍AutoDL搭建 ChatGLM3,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
租用新实例
这里选择的西北 B 区、RTX 409024GB
创建虚拟环境并激活
# 安装虚拟环境至数据盘
conda create --prefix /root/autodl-tmp/envs/chatglm3-demo python=3.10# 激活虚拟环境
conda activate /root/autodl-tmp/envs/chatglm3-demo
拉取ChatGLM3仓库代码
# 开启学术加速
source /etc/network_turbo# 拉取代码
https://github.com/THUDM/ChatGLM3.git# 关闭学术加速
unset http_proxy && unset https_proxy
下载依赖
cd ChatGLM3
pip install -r requirements.txt# 使用 Code Interpreter 需要安装 Jupyter 内核
ipython kernel install --name chatglm3-demo --user
下载模型
地址:https://huggingface.co/THUDM/chatglm3-6b/tree/main
模型下载后放置目录 /root/autodl-tmp/model
修改ChatGLM3/composite_demo/client.py模型目录
/root/autodl-tmp/model/chatglm3-6b
启动
# 启动
streamlit run main.py --server.port=6006 --server.address=127.0.0.1
解决访问报错
# 解决访问报错问题 https://github.com/THUDM/ChatGLM3/issues/1218
# 降级 transformers 库到 4.40.1
pip install transformers==4.40.1
python -c "import transformers; print(transformers.__version__)"pip install huggingface_hub==0.19.4
python -c "import huggingface_hub; print(huggingface_hub.__version__)"
启动
# 启动
streamlit run main.py --server.port=6006 --server.address=127.0.0.1
这篇关于AutoDL搭建 ChatGLM3的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!