【AI基础】第三步：纯天然手动安装并运行chatglm2-6b

本文主要是介绍【AI基础】第三步：纯天然手动安装并运行chatglm2-6b，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

chatglm2构建时使用了RUST，所以在安装chatglm2之前，先安装RUST。

一、安装RUST

1.1 配置安装源

如果从官方安装，速度奇慢。

配置环境变量 RUSTUP_DIST_SERVER 到国内源：

这里指定了清华源，其余国内源还有：

# 字节跳动
RUSTUP_DIST_SERVER=https://rsproxy.cn
RUSTUP_UPDATE_ROOT=https://rsproxy.cn/rustup

# 中国科学技术大学
RUSTUP_DIST_SERVER=https://mirrors.ustc.edu.cn/rust-static
RUSTUP_UPDATE_ROOT=https://mirrors.ustc.edu.cn/rust-static/rustup

# 清华大学
RUSTUP_DIST_SERVER=https://mirrors.tuna.tsinghua.edu.cn/rustup

# 上海交通大学
RUSTUP_DIST_SERVER=https://mirrors.sjtug.sjtu.edu.cn/rust-static/

1.2 安装依赖msvc

下载地址：https://aka.ms/vs/17/release/vs_BuildTools.exe

下载后双击安装，选择如下组件：

安装完成即可。

备注：msvc的安装可以参考rust官方文档：MSVC prerequisites - The rustup book

这里描述了去官方下载安装文件：下载 Visual Studio Tools - 免费安装 Windows、Mac、Linux

1.2 下载安装

下载地址：Getting started - Rust Programming Language

选择对应版本下载：

这里选择64位版本，下载文件 rustup-init.exe。下载后双击执行：

安装完成。

1.3 安装检验

运行命令：

> cargo --version
> rustc --version

1.4 配置RUST安装包的国内源

新版配置文件在 ~/.cargo/config.toml，如果没有则新建，配置如下：

其余的国内源：

# 中国科学技术大学
[source.ustc]
registry = "https://mirrors.ustc.edu.cn/crates.io-index"
#registry = "git://mirrors.ustc.edu.cn/crates.io-index"

# 上海交通大学
[source.sjtu]
registry = "https://mirrors.sjtug.sjtu.edu.cn/git/crates.io-index/"

# 清华大学
[source.tuna]
registry = "https://mirrors.tuna.tsinghua.edu.cn/git/crates.io-index.git"

# rustcc社区
[source.rustcc]
registry = "https://code.aliyun.com/rustcc/crates.io-index.git"

二、运行chatglm2

1.1 安装

> conda activate chatglm2
> git clone https://github.com/THUDM/ChatGLM2-6B
> cd chatglm2-6b
> pip install -r requirements.txt --verbose

这里添加了参数 --verbose，会显示实时进度，避免下载大文件时耗时过长，造成卡死的假象。

安装完成。

1.2 调用模型代码

创建文件 dev_hello.py，并使用官方代码：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True, device='cuda')
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)

查看第二行和第二行的 THUDM/chatglm2-6b，这是大模型的地址，表示大模型存放在当前目录下的THUDM/chatglm2-6b中。如果没有，则会从HuggingFace下载并保存在此路径中。

因为大模型文件很大，我们可以先下载到本地，然后再运行代码。