ChatGLM2-6b小白部署教程(windows系统,16G内存即可,对显卡无要求,CPU运行)

本文主要是介绍ChatGLM2-6b小白部署教程(windows系统,16G内存即可,对显卡无要求,CPU运行),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 一.前言

        近期清华KEG和智谱AI公司一起发布了中英双语对话模型ChatGLM2-6B(小尺寸LLM),开源在https://github.com/THUDM/ChatGLM2-6B,可单机部署推理和fine-tune。虽然默认程序是GPU运行且对显卡要求不高,官方也说默认需要13G的显存,使用量化模型貌似只需要6G显存,但对于我这种平民玩家,不租云服务器的话,单靠我这GTX3050 4G的卡怕是跑不动了,所以就尝试CPU部署量化后的ChatGLM2-6b-int4模型(不同版本的ChatGLM2部署方法基本一致,只是加载的模型和需要的硬件环境有区别)

 二.机器配置&环境

        本人机器配置: 系统WIN10 CPU R5-5600H GPU GTX3050 4G 内存16G

        环境:python 3.11(>=3.8即可),需要科学上网(需要访问git和huggingface)

 三.代码下载&项目所需python环境安装

 git源码下载

#创建目录并进入
mkdir ChatGLM2-6b-int4
cd ChatGLM2-6b-int4# git源码下载
git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B

        git过程如果使用vpn下载报错,需要配置git代理

        git config --global https.proxy http://127.0.0.1:10809 &  git config --global https.proxy https://127.0.0.1:10809(具体ip端口号可在 网络和Internet>代理  中查看)

        如需取消代理设置如下

        git config --global --unset http.proxy & git config --global --unset https.proxy

 python虚拟环境创建并切换(conda创建环境切换也ok)
#创建虚拟环境(pip安装的包仅在此环境下,相关的依赖都在chatglm2b项目下)
python -m venv glm_env
#切换环境
glm_env\Scripts\activate

  安装项目依赖包(指定阿里云镜像源)

          torch下载时间相对较长

#安装项目依赖并指定镜像源
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

        安装成功喽

四.模型相关文件下载&加载

        chatglm2-6b-int4模型地址(huggingface) 也可以在清华国内模型地址(不需要科学上网,chatglm2-6b-int4一共三个文件)下载,但是后者少了一些模型文件以外的配置文件(推理时需要),文件较小,也可以单独下载(文章顶部),如果只下载了模型的三个文件,在推理时会报错如下

        然后我们开始下载模型了

        量化后的int4模型文件接近4G,不过也看出来出租屋这100M宽带不止100M呀。。。,很给力一会就下完了。在项目目录下面创建THUDM\chatglm2-6b-int4两级目录,将模型相关文件放置文件夹,文件目录如下 

        回到项目根目录下在cli_demo.py web_demo.py web_demo2.py api.py内修改部分代码,cli_demo为例,其他相同(主要修改模型加载路径以及改为CPU运行).

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()
修改成
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm2-6b-int4", trust_remote_code=True).float()

四.命令端|web 端推理 

        然后在项目目录下执行cli_demo.py,提示没有安装readline

        尝试pip安装readline一直失败(试了各种镜像源),最后pip install pyreadline3解决,但又报了其他错误

        这时候发现自己的路径用 (THUDM/chatglm2-6b-int4), 赶紧替换为 \,我估计经常在linux下开发的同学都会犯这个错误,然后我们继续执行 python cli_demo.py,发现没有GCC命令,百度了下发现在CPU上运行量化后的int4模型,需要安装gcc和openmp,正好TDM-GCC可以顺带安装openmp,于是下载了TDM-GCC,安装过程中需要勾选安装openmp

        最终,我们和chatglm2对上了话,但回复速度实在太慢,而且好像介绍自己都有问题(毕竟是量化后的模型),简单的快排更尬了。。。。。。有条件的还是用显卡,或者google colab、阿里云之类的云服务器

        推理过程中使用的资源情况

        网页版的话直接执行python web_demo.py即可(web_demo2也一样,只是ui页面不同),程序会运行一个 Web Server,然后启动浏览器输入对话内容即可

五.api部署 

        安装fast等相关依赖包,然后curl本地默认端口即可得到回复

#安装fastapi等包,以上包在install requirements文件时应该已经安装过了,uvicorn是python 轻量级 ASGI web服务器框架
pip install fastapi uvicorn -i https://mirrors.aliyun.com/pypi/simple
#项目根目录下执行 api.py
python api.py#程序默认部署在本地8000端口,通过curl post直接调用
curl -X POST "http://127.0.0.1:8000" -H 'Content-Type: application/json' -d '{"prompt": "你好,请介绍下自己", "history": []}'

这篇关于ChatGLM2-6b小白部署教程(windows系统,16G内存即可,对显卡无要求,CPU运行)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/520171

相关文章

Windows 上如果忘记了 MySQL 密码 重置密码的两种方法

《Windows上如果忘记了MySQL密码重置密码的两种方法》:本文主要介绍Windows上如果忘记了MySQL密码重置密码的两种方法,本文通过两种方法结合实例代码给大家介绍的非常详细,感... 目录方法 1:以跳过权限验证模式启动 mysql 并重置密码方法 2:使用 my.ini 文件的临时配置在 Wi

如何为Yarn配置国内源的详细教程

《如何为Yarn配置国内源的详细教程》在使用Yarn进行项目开发时,由于网络原因,直接使用官方源可能会导致下载速度慢或连接失败,配置国内源可以显著提高包的下载速度和稳定性,本文将详细介绍如何为Yarn... 目录一、查询当前使用的镜像源二、设置国内源1. 设置为淘宝镜像源2. 设置为其他国内源三、还原为官方

Python如何精准判断某个进程是否在运行

《Python如何精准判断某个进程是否在运行》这篇文章主要为大家详细介绍了Python如何精准判断某个进程是否在运行,本文为大家整理了3种方法并进行了对比,有需要的小伙伴可以跟随小编一起学习一下... 目录一、为什么需要判断进程是否存在二、方法1:用psutil库(推荐)三、方法2:用os.system调用

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

Windows Docker端口占用错误及解决方案总结

《WindowsDocker端口占用错误及解决方案总结》在Windows环境下使用Docker容器时,端口占用错误是开发和运维中常见且棘手的问题,本文将深入剖析该问题的成因,介绍如何通过查看端口分配... 目录引言Windows docker 端口占用错误及解决方案汇总端口冲突形成原因解析诊断当前端口情况解

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

Python运行中频繁出现Restart提示的解决办法

《Python运行中频繁出现Restart提示的解决办法》在编程的世界里,遇到各种奇怪的问题是家常便饭,但是,当你的Python程序在运行过程中频繁出现“Restart”提示时,这可能不仅仅是令人头疼... 目录问题描述代码示例无限循环递归调用内存泄漏解决方案1. 检查代码逻辑无限循环递归调用内存泄漏2.

在Spring Boot中浅尝内存泄漏的实战记录

《在SpringBoot中浅尝内存泄漏的实战记录》本文给大家分享在SpringBoot中浅尝内存泄漏的实战记录,结合实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录使用静态集合持有对象引用,阻止GC回收关键点:可执行代码:验证:1,运行程序(启动时添加JVM参数限制堆大小):2,访问 htt

Python虚拟环境终极(含PyCharm的使用教程)

《Python虚拟环境终极(含PyCharm的使用教程)》:本文主要介绍Python虚拟环境终极(含PyCharm的使用教程),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录一、为什么需要虚拟环境?二、虚拟环境创建方式对比三、命令行创建虚拟环境(venv)3.1 基础命令3

使用Node.js制作图片上传服务的详细教程

《使用Node.js制作图片上传服务的详细教程》在现代Web应用开发中,图片上传是一项常见且重要的功能,借助Node.js强大的生态系统,我们可以轻松搭建高效的图片上传服务,本文将深入探讨如何使用No... 目录准备工作搭建 Express 服务器配置 multer 进行图片上传处理图片上传请求完整代码示例