GPT实战系列-实战Qwen在Cuda 12+24G部署方案

2024-01-17 01:36

本文主要是介绍GPT实战系列-实战Qwen在Cuda 12+24G部署方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

GPT实战系列-实战Qwen在Cuda12+24G部署方案

ChatGLM4进行新闻发布,但还没有开源更新,在此之际,实战部署测试Qwen大模型。目前Qwen的口碑貌似还不错,测试显卡内存24G,毕竟有限,排除了Qwen14非量化方案Qwen-14B-Chat,只有 Qwen-7B-Chat,Qwen-7B-Chat-Int4,Qwen-14B-Chat-Int4 模型可用。测试过程中Qwen-7B-Chat出现显存bug,只能都用Int4方案。


LLM大模型:

GPT实战系列-探究GPT等大模型的文本生成

GPT实战系列-Baichuan2等大模型的计算精度与量化

GPT实战系列-GPT训练的Pretraining,SFT,Reward Modeling,RLHF

GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案

GPT实战系列-Baichuan2本地化部署实战方案

GPT实战系列-大话LLM大模型训练


**通义千问-7B(Qwen-7B)**是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。

一、Qwen 模型

测试显卡内存24G,毕竟有限,排除了Qwen14非量化方案Qwen-14B-Chat,只有 Qwen-7B-Chat,Qwen-7B-Chat-Int4,Qwen-14B-Chat-Int4 模型可用。测试过程中Qwen-7B-Chat出现显存bug,只能都用Int4方案。

模型类型效果备注
Qwen-7B-ChatFailed显存管理问题
Qwen-7B-Chat-Int4Pass
Qwen-14B-ChatFailed显存不足问题
Qwen-14B-Chat-Int4Pass

二、资源需求

Qwen-7B-Chat-Int4推理,多轮对话中至少需要 9.8G 显存。

Qwen-14B-Chat-Int4推理,多轮对话中,至少需要 16.8 显存。

推理速度非常慢,可能是因为速度完全依赖flash-attention,而我机器加载flash-attention失败。

三、部署安装

配置环境

项目在本地普通设备,部署量化Int4版本。

显卡双显卡Nivdia Titan XP,每块12G, 共24G显卡操作系统:ubuntu 20.04python 3.10版本,推荐3.8以上版本pytorch 2.01,推荐2.0及以上版本。CUDA 12.0,驱动525,建议使用11.4及以上版本。

安装过程

创建虚拟环境

conda create -n qwen python==3.10.6 -y
conda activate qwen

安装Qwen 依赖配套软件

pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple

其中 transformers 库版本推荐为 4.33.1,torch 推荐使用 2.0 及以上的版本,以获得最佳的推理性能。

推理所需的模型权重、源码、配置已发布在ModleScope ,见下载链接:https://www.modelscope.cn/models/qwen/Qwen-14B-Chat-Int4/summary

代码会由 transformers 自动下载模型实现和参数。完整的模型实现在 ModelScope。

低成本配置部署方案

量化模型加载

默认情况下,Qwen-7B-Chat模型以 Int4 精度加载,运行上述代码需要大概 10 GB 显存;Qwen-14B-Chat模型以Int4精度加载,运行大概需要 18 GB显存。

四、功能效果测试

Qwen-7B-Chat 的互动效果:

User: 你现在作为中医专家,为身体健康提供建议。
Qwen: 您好,为了维持身体健康,建议您多注意饮食均衡,多吃新鲜蔬菜水果,少食油腻、辛辣食物;多参加体育锻炼,保持适量的运动量;注意休息,避免熬夜和过度劳累;同时保持良好的心态,积极面对生活。如果身体有不适,应及时就医,并在医生的指导下进行治疗。希望这些建议对您有所帮助!

User: 中医理论中内脏的相互关系,用五行怎么解读?
Qwen: 中医理论认为,五脏(心、肝、脾、肺、肾)之间的相互关系是五行相生相克的关系。心脏是“生”木的器官,肝脏是“克”木的器官,脾脏是“生”土的器官,肺部是“克”土的器官,肾脏是“生”水的器官,而心脏又是“克”水的器官。这种相生相克的关系是中医理论的核心思想之一,也是指导临床实践的重要依据。

User: 肾和胃,肾和肝是什么相生相克关系?
Qwen: 根据中医理论,肾和胃之间是“克”关系,即肾脏克制胃部的功能;而肾和肝之间则是“生”关系,即肾脏滋养肝脏的功能。这两种关系都是中医理论的核心内容之一,也影响着人体的健康状况。因此,在日常生活中要注意保护肾脏和胃部,加强锻炼,适当调整饮食结构,保持良好的生活习惯,以维持健康的身体状态。

User: 中医药方中,精力旺盛和什么相关?如何补肾,健脾?
Qwen: 中医药方中的“精力旺盛”与肾脏和脾胃密切相关。要补肾和健脾,可以采用中药调理方法,例如:可以选择当归、熟地黄、白芍等药物搭配食用,可以帮助滋阴养血、调节内分泌、改善肾虚等问题;此外,还可以选择陈皮、山药、茯苓等药物搭配食用,有助于健脾养胃、改善消化功能。但是,具体用药应在医生的指导下进行,不可随意使用。

User: 平时饮食中,如何补肾?
Qwen: 在平时饮食中,可以通过多吃一些富含蛋白质的食物来补肾,如鱼肉、鸡肉、鸡蛋、豆腐等;同时也可以多吃一些富含矿物质的食物,如虾米、海带、海苔等;此外,还可以多吃一些富含维生素的食物,如水果、蔬菜、豆类等。同时,也要注意饮食的搭配,尽量避免吃过于油腻、辛辣的食物,以免伤害肾脏。

User: 平时按摩锻炼中,如何补肾,清肝?
Qwen: 在平时按摩锻炼中,可以按摩腰部、背部和腹部,以缓解腰酸背痛等症状,从而达到补肾清肝的效果。此外,还可以通过瑜伽、太极拳等运动,来改善血液循环,增强肌肉力量,提高身体的活力,帮助达到补肾清肝的目的。需要注意的是,平时锻炼时要注意安全,尽量不要过度疲劳,以免对身体造成不必要的损害。

User: 你好!
Qwen: 你好!有什么我可以帮助你的吗?

User: 给我讲一个年轻人奋斗创业最终取得成功的故事。
Qwen: 当然可以,这是一个关于年轻人奋斗创业最终取得成功的真实故事:
一位名叫李华的年轻人,在大学毕业后一直梦想着开创自己的事业。他决定创业做一家电子商务公司,但是他没有足够的资金和经验。于是,他开始在网上学习有关电子商务的知识,并寻找投资机会。
经过一年的努力,李华终于找到了一位投资者,他的公司也因此获得了启动资金。然而,刚开始的时候,公司的运营并不顺利,但是李华并没有放弃,而是不断尝试新的方法来提高销售额。
在经历了多次失败后,李华发现了一种新的商业模式,这种模式让他公司的销售额有了显著的提升。他也逐渐建立了稳定的客户群,得到了市场的认可。
最终,李华的公司取得了巨大的成功,他在年轻时就实现了自己的梦想。这个故事告诉我们,只要有决心和毅力,即使面临困难和挫折,也能最终实现自己的梦想。

User: 给这个故事起一个标题
Qwen: 《从零到一:一个年轻人的创业历程》

Qwen-14B-Chat的互动效果:

User:  你现在作为中医专家,为身体健康提供建议。
Qwen:  1. 保持良好的生活习惯:包括合理饮食、适量运动、充足睡眠等。
2. 调整心态,避免情绪波动过大。
3. 注意个人卫生,避免传染病的发生。
4. 避免过度劳累和长时间熬夜。
5. 定期体检,及时发现并治疗疾病。
6. 中医养生保健方面可以结合食疗、气功、按摩等方式进行调理。
7. 注意保暖,尤其是在寒冷的季节要注意防寒保暖,避免感冒和其他呼吸系统疾病的发生。
8. 合理使用药物,避免滥用抗生素等对身体有害的药物。
9. 慎重对待保健品市场,选择正规渠道购买,并在医生指导下使用。
10. 加强自我保健意识,积极学习相关知识,提高自身免疫力和健康水平。User:  中医理论中内脏的相互关系,用五行怎么解读?
Qwen:  中医理论中的五脏分别是心、肝、脾、肺、肾,这五个脏器之间存在着密切的关系。根据中医五行学说,每个脏器都对应着一种元素,即木、火、土、金、水。这五种元素之间有着相生相克的关系,而五脏之间的关系也遵循这一规律。- 心属火,肝属木,心火能够滋养肝脏,促进肝功能的正常发挥;
- 肝属木,脾属土,肝脏能够滋润脾脏,增强脾脏的功能;
- 脾属土,肺属金,脾脏能够滋润肺脏,提高肺脏的活力;
- 肺属金,肾属水,肺脏能够滋润肾脏,保护肾脏的健康;
- 肾属水,心属火,肾脏能够滋润心脏,维持心脏的正常运行。因此,在中医理论上,要想让各个脏器得到充分的营养和保护,就需要按照五行相生相克的原则来调节各脏器之间的关系。比如,在调养肝脏时,可以通过补益心火来加强肝脏的功能;在调养脾脏时,可以通过补充肺金来提升脾脏的能力等等。这些方法都可以通过中药或饮食来进行调理。User:  肾和胃,肾和肝是什么相生相克关系?
Qwen:  肾和胃以及肾和肝是相生相克关系。
肾是人体的内分泌器官之一,负责控制体内水分平衡、排出废物等重要功能。肾主水,如果肾虚则可能导致水肿、尿频等症状。同时,肾还与心、肝、脾、肺等多个脏腑有密切联系,其营养供应和活动状况都会影响到其他脏腑的正常运转。胃是人体消化系统的中心部分,负责将食物分解成小分子以便吸收利用。胃主纳,胃虚则可能导致食欲不振、腹胀等症状。肝则是人体的主要解毒器官之一,负责清除体内的有毒物质。肝主疏泄,肝虚则可能导致抑郁、焦虑等症状。而肾和胃以及肾和肝的关系主要表现在以下几点:
1. 肾藏精,精能生气血,气血又能温煦脾胃,使脾胃的运化功能得以正常发挥;
2. 肾藏志,志又影响肝,肝气通达,情志得以舒畅,有利于改善肾功能。因此,要维护好肾的健康,不仅要注重补充营养,还需要注意调整好饮食习惯,保证充足的休息和适当的锻炼,以及保持心情愉快等多方面的因素。

相比较而言,两个版本的效果相差还是非常明显的,可以根据实际情况选择适合的方案。

觉得有用 收藏 收藏 收藏

点个赞 点个赞 点个赞

End


GPT专栏文章:

GPT实战系列-Baichuan2等大模型的计算精度与量化-CSDN博客

GPT实战系列-GPT训练的Pretraining,SFT,Reward Modeling,RLHF-CSDN博客

GPT实战系列-GPT训练的Pretraining,SFT,Reward Modeling,RLHF

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型,到底做了什么?(二)

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型,到底做了什么?(一)

GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案

GPT实战系列-ChatGLM2模型的微调训练参数解读

GPT实战系列-如何用自己数据微调ChatGLM2模型训练

GPT实战系列-ChatGLM2部署Ubuntu+Cuda11+显存24G实战方案

GPT实战系列-Baichuan2本地化部署实战方案

GPT实战系列-探究GPT等大模型的文本生成-CSDN博客


决策引擎专栏:
Falcon构建轻量级的REST API服务

决策引擎-利用Drools实现简单防火墙策略

这篇关于GPT实战系列-实战Qwen在Cuda 12+24G部署方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/614532

相关文章

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

闲置电脑也能活出第二春?鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言,在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况,这使得“存储焦虑”不再是个别现象,而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得,我们似乎正处在互联网信息飞速增长的阶段,对于存储的需求也将会不断扩大。对于苹果用户而言,这一问题愈发严峻,毕竟512GB和1TB版本的iPhone可不是人人都消费得起的,因此成熟的外置存储方案开

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

高效+灵活,万博智云全球发布AWS无代理跨云容灾方案!

摘要 近日,万博智云推出了基于AWS的无代理跨云容灾解决方案,并与拉丁美洲,中东,亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础,将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合,为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日,万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频,介绍了

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

Android平台播放RTSP流的几种方案探究(VLC VS ExoPlayer VS SmartPlayer)

技术背景 好多开发者需要遴选Android平台RTSP直播播放器的时候,不知道如何选的好,本文针对常用的方案,做个大概的说明: 1. 使用VLC for Android VLC Media Player(VLC多媒体播放器),最初命名为VideoLAN客户端,是VideoLAN品牌产品,是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及文件格式,并支持DVD影音光盘,VCD影

科研绘图系列:R语言扩展物种堆积图(Extended Stacked Barplot)

介绍 R语言的扩展物种堆积图是一种数据可视化工具,它不仅展示了物种的堆积结果,还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异,为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl