chatglm2-6b本地部署（v0.1）

本文主要是介绍chatglm2-6b本地部署（v0.1），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.前置工具：安装anaconda，安装cuda/cudnn

2.下载安装包和模型

源码安装包：https://github.com/THUDM/ChatGLM2-6B

模型：https://huggingface.co/models?sort=trending&search=chatglm

3.创建并激活环境

conda create --name ChatGLM2B python==3.8.10

conda activate ChatGLM2B

4.安装pytorch（cudnn为11.7版本）

conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c nvidia

5.进到项目中安装依赖：

pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

6.网页方式启动

执行命令：python web_demo.py

7.其他启动方式

api方式部启动，执行命令： python api.py （需安装pip install fastapi uvicorn）

命令行方式启动，执行命令：python cli_demo.py

参考教程：https://blog.csdn.net/SupermarketX/article/details/131550536

这篇关于chatglm2-6b本地部署（v0.1）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---