阿里云部署ChatGLM-6B及ptuning微调教程

2024-05-12 19:12

本文主要是介绍阿里云部署ChatGLM-6B及ptuning微调教程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、模型部署

1.进入阿里云人工智能平台PAI。

2.申请免费试用。

3.打开交互式建模 PAI-DSW。

4.新建实例。

5.填写配置。

6.实例准备完成后点击打开。

7.打开实例后点击Teminal。

8.在Teminal中依次输入以下命令并执行。

apt-get update
apt-get install git-lfs
git lfs install
git init
git-lfs init
git lfs install

9.继续在Teminal中输入以下命令来获取项目文件,执行完成后点击Notebook检查项目文件是否成功获取。

https://github.com/THUDM/ChatGLM-6B.git

如果获取太慢或者获取失败,就在github上下载好代码的压缩包到本地上传并进行解压。

unzip ChatGLM-6B-main_0515.zip

10.回到Teminal进入项目文件创建一个model文件夹用于存放模型,创建完成后进入model文件夹拉取模型,由于huggingface可能连接不稳定,这里采用国内的modelscope社区来拉取模型。对应的命令如下。

cd ChatGLM-6B
mkdir model
cd model
git clone https://www.modelscope.cn/ZhipuAI/ChatGLM-6B.git

11.执行完成后点击Notebook进入model文件夹检查模型是否拉取完整,发现模型与项目文件同名,我们将其改为小写。(记得仔细检查下模型是否拉取完整)

若拉取失败,也可用上述方法将文件下载到本地再上传。

12.回到Teminal输入以下命令返回上一级项目文件目录安装依赖。

cd ..
pip install -r requirements.txt

13.安装完成后点击Notebook,在项目文件目录下修改web_demo.py文件(主要是修改模型路径),修改完成后使用 Ctrl + s 保存。

14.最后回到Teminal运行web_demo.py文件。

python web_demo.py

15.执行后可能会出现以下报错,原因是gradio版本过高,需安装一个低版本的gradio。

pip install gradio==3.39.0

16.再次尝试执行web_demo.py文件,得到了一个url,点击url进入模型的web界面,再进行问答测试发现成功部署。

二、模型微调

1.首先来看下github上给出的微调数据集格式。

我们根据其格式编写一些自己的微调数据并保存为train.json文件到桌面,具体如下图所示。

2.回到项目文件,我们看到项目文件已经给了一个ptuning的文件夹。

3.将自己编写的微调数据文件train.json从桌面拖入到ptuning文件夹中。

4.修改ptuning目录下的train.sh文件。

5.点击Teminal输入以下命令进入ptuning目录下运行train.sh文件,进行微调训练。

cd ChatGLM-6B
cd ptuning
bash train.sh

如果提示出现缺少模块错误,提示缺啥就装啥(使用 pip install xx 安装)。训练的过程和训练完成后的界面如下图所示。

6.训练完成后点击Notebook,发现ptuning目录下多出了一个output文件夹,进入output文件夹看到的checkpoint-500 就是我们最后训练得到的微调模型。

7.(该步骤可以跳过)可以对evaluate.sh文件进行修改并运行来对训练得到的微调模型进行评估。

修改完成后点击Teminal,还是在ptuning目录下执行。评估完成后会在output文件中生成generated_prediction.txt文件来汇报评估结果。

bash evaluate.sh

8.最后修改ptuning目录下的web_demo.sh文件,再去Teminal中ptuning目录下输入命令运行。修改的参数和运行的命令如下。

bash web_demo.sh

9.运行完成后同样也得到一个url,点击url进入微调好的模型的web界面,进行问答测试。问的姓名与自己编写的数据有点差别,但星座准确地答出来了,这与训练过程有关,不过也算有点微调效果了。

最后说下自己也是入门学习大模型,可能理解表述有问题,欢迎指教。以上内容学习于B站up主:Joker大金宝。视频链接如下,如有侵权,联系删除。

在阿里云上部署chatGLM-6B_哔哩哔哩_bilibili

在阿里云上微调chatGLM-6B_哔哩哔哩_bilibili

这篇关于阿里云部署ChatGLM-6B及ptuning微调教程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/983494

相关文章

闲置电脑也能活出第二春?鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言,在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况,这使得“存储焦虑”不再是个别现象,而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得,我们似乎正处在互联网信息飞速增长的阶段,对于存储的需求也将会不断扩大。对于苹果用户而言,这一问题愈发严峻,毕竟512GB和1TB版本的iPhone可不是人人都消费得起的,因此成熟的外置存储方案开

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者

沁恒CH32在MounRiver Studio上环境配置以及使用详细教程

目录 1.  RISC-V简介 2.  CPU架构现状 3.  MounRiver Studio软件下载 4.  MounRiver Studio软件安装 5.  MounRiver Studio软件介绍 6.  创建工程 7.  编译代码 1.  RISC-V简介         RISC就是精简指令集计算机(Reduced Instruction SetCom

在 Windows 上部署 gitblit

在 Windows 上部署 gitblit 在 Windows 上部署 gitblit 缘起gitblit 是什么安装JDK部署 gitblit 下载 gitblit 并解压配置登录注册为 windows 服务 修改 installService.cmd 文件运行 installService.cmd运行 gitblitw.exe查看 services.msc 缘起

前端技术(七)——less 教程

一、less简介 1. less是什么? less是一种动态样式语言,属于css预处理器的范畴,它扩展了CSS语言,增加了变量、Mixin、函数等特性,使CSS 更易维护和扩展LESS 既可以在 客户端 上运行 ,也可以借助Node.js在服务端运行。 less的中文官网:https://lesscss.cn/ 2. less编译工具 koala 官网 http://koala-app.

Solr部署如何启动

Solr部署如何启动 Posted on 一月 10, 2013 in:  Solr入门 | 评论关闭 我刚接触solr,我要怎么启动,这是群里的朋友问得比较多的问题, solr最新版本下载地址: http://www.apache.org/dyn/closer.cgi/lucene/solr/ 1、准备环境 建立一个solr目录,把solr压缩包example目录下的内容复制