linux部署Mixtral-8x7B-Instruct实践(使用vLLM/ transformer+fastapi)

本文主要是介绍linux部署Mixtral-8x7B-Instruct实践(使用vLLM/ transformer+fastapi),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前提说明:

  • 这次实践用了两张A800(80G),每张卡消耗70G显存,总计140G

step1:下载模型

从huggingface(需科学上网)和modelscope两个平台下载模型
模型目录

step2:安装vLLM

之前部署大模型用transformer库+OpenAI api,会有推理速度慢,server部署起来比较复杂的缺点,vLLM是一个LLM推理和服务库,原理类似于操作系统的虚拟内存。
在这里插入图片描述
现在说怎么安装,安装很简单

pip install vLLM	

要安装3G左右的包。
#step3 使用vLLM部署Mixtral 8*7b(重点)
先丢一串命令

python -u -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --model /data/models/Mixtral-8x7B-Instruct-v0.1 --tensor-parallel-size 2

别着急,一个一个解释,先说跟python命令相关的,-u指python输出不缓冲,-m告诉python运行一个库模块,--host 指定服务器监听的主机地址,--model指定要使用的模型的路径,--tensor-parallel-size使得模型的张量可以分布在两个及以上GPU上,一张80G的A800放不下Mixtral 8*7b的参数(140),指定tensor-parallel-size=2将参数拆到两块上面,一张卡70G。

  • --host 0.0.0.0 允许任何IP地址的设备都能访问这个服务
  • --port 指定服务端口,默认是8000
  • --model /data/models/Mixtral-8x7B-Instruct-v0.1 可以是模型名称或者本地路径。指定咱们使用Mixtral-8x7B-Instruct-v0.1模型,注意这里指定了模型所在路径,如果模型需要在线下载,直接指定模型名称,超大模型不建议在线下载,因为不稳定,而且代理没有那么多流量啊。
  • --tensor-parallel-size 2指定张量并行的GPU数量,Mixtral模型有32个注意力头,必须均匀的分在GPU中,所以必须是32的因数(2、4、8、16),否则会报ValueError: Total number of attention heads (32) must be divisible by tensor parallel size (3).错误

其他没有用到的参数:

  • --chat-template 聊天的模板,用户的输入+模板=最后的prompt
  • --trust-remote-code 默认为false,如果人为修改过下载后的模型的话,会报错,建议设置成True
  • --download-dir 在线下载模型权重时,指定的下载路径,默认是~/.cache
  • --worker-use-ray 是否用ray来实现分布式推理服务,在GPU>2时默认开启
  • --gpu-memory-utilizationGPU的利用率,0~1之间,默认是0.9,比如我是两张80G的卡,参数0.9,每张卡最高使用72G显存。如果显卡多,4张80G的卡,参数设置成0.5,就是每张显卡最多占40G显存,需要4张卡才能跑。感觉用不到,设置成0.5四张卡,不如0.9两张卡,还能有两张卡空闲着,除非四张卡的并行推理能提高推理速度。
    在这里插入图片描述

step4 发请求

requests库来模拟请求。model换成模型的目录

import requests
import json# 定义请求的 URL 和数据
url = "http://<IP>:8000/v1/completions"
data = {"model": "/data/models/Mixtral-8x7B-Instruct-v0.1","prompt": "请介绍一下AI的发展历史,AI的未来会如何发展?","max_tokens": 1000,"temperature": 0.2
}# 发送 POST 请求
response = requests.post(url, json=data)# 检查响应
if response.status_code == 200:print("请求成功!")print("响应内容:", response.json()['choices'][0]["text"])
else:print("请求失败,状态码:", response.status_code)

解释一下参数:

  • max-tokens:inputs_tokens+response_tokens的最大值,这里设置成1000
  • temperature:温度越低,选可能性更高的token作为response,也就是回答越精炼、准确、字数越少。反之,更有多样性、发散、字数更多。建议值是0.2~1,如果设置成0,会导致每次询问都是同样的回答。

在这里插入图片描述

总结

vLLM作为一个推理和部署库,一条命令就能部署大模型推理服务。覆盖了用transformer和openapi或者FastAPI部署服务的过程,用起来很方便。

使用Transformer+fastapi

Step1:从本地加载模型

model_id = "/data/models/Mixtral-8x7B-Instruct-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id, padding_side='left')
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")	

float16精度下只能在GPU上推理,占用显存90G在这里插入图片描述
device_map="auto"自动把模型的不同层放到三块GPU上。
Step2:构造prompt模板
参考:huggingface Mixtral-8x7B-Instruct-v0.1主页 Instruction format部分
prompt必须严格遵循下面的格式,否则模型会胡言乱语(盲猜模型训练格式就是这个)

<s> [INST] Instruction [/INST] Model answer</s> [INST] Follow-up instruction [/INST]
def add_template_to_prompt(prompt):# prompt_templated = f"<s> [INST] {prompt} [/INST] Model answer </s> [INST] Follow-up instruction [/INST]"prompt_templated = f"<s> [INST] {prompt} [/INST] </s>"return prompt_templated

Step3: fastapi

app = FastAPI()
@app.post("/v1/completions")
async def chat(argument: ModelAugument):prompt_templated = add_template_to_prompt(argument.prompt)inputs = tokenizer(text=prompt_templated, return_tensors="pt")outputs = model.generate(**inputs, max_new_tokens=argument.max_tokens)outputs_text = tokenizer.decode(outputs[0], skip_special_tokens=True)return outputs_text[outputs_text.find("[/INST]") + 7:] # truncate the prompt(as prefix)

Mixtral的又把prompt作为前缀输出了一遍,在Mistral的回答中prompt后面的才是真正的回答,所以做了个截断。举个例子:
prompt:

你好

模板化后:

<s> [INST] 你好 [/INST] </s>

Mistral回答

  [INST] 你好 [/INST] Hello! 你需要什么帮助吗?(Hello! Do you need any help?)

完整代码:

from transformers import AutoTokenizer, AutoModelForCausalLM
from fastapi import FastAPI
from pydantic import BaseModelapp = FastAPI()model_id = "/data/models/Mixtral-8x7B-Instruct-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id, padding_side='left')
model = AutoModelForCausalLM.from_pretrained(model_id)class ModelAugument(BaseModel):prompt: strtemperature: floatmax_tokens: intdef add_template_to_prompt(prompt):# prompt_templated = f"<s> [INST] {prompt} [/INST] Model answer </s> [INST] Follow-up instruction [/INST]"prompt_templated = f"<s> [INST] {prompt} [/INST] </s>"return prompt_templated@app.post("/v1/completions")
async def chat(argument: ModelAugument):prompt_templated = add_template_to_prompt(argument.prompt)inputs = tokenizer(text=prompt_templated, return_tensors="pt")outputs = model.generate(**inputs, max_new_tokens=argument.max_tokens)outputs_text = tokenizer.decode(outputs[0], skip_special_tokens=True)# outputs_text = outputs_text[outputs_text.find("[/INST]") + 7:] # truncate the prompt(as prefix)return outputs_text

这篇关于linux部署Mixtral-8x7B-Instruct实践(使用vLLM/ transformer+fastapi)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/828643

相关文章

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

Linux在线解压jar包的实现方式

《Linux在线解压jar包的实现方式》:本文主要介绍Linux在线解压jar包的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux在线解压jar包解压 jar包的步骤总结Linux在线解压jar包在 Centos 中解压 jar 包可以使用 u

linux解压缩 xxx.jar文件进行内部操作过程

《linux解压缩xxx.jar文件进行内部操作过程》:本文主要介绍linux解压缩xxx.jar文件进行内部操作,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、解压文件二、压缩文件总结一、解压文件1、把 xxx.jar 文件放在服务器上,并进入当前目录#

SpringBoot中如何使用Assert进行断言校验

《SpringBoot中如何使用Assert进行断言校验》Java提供了内置的assert机制,而Spring框架也提供了更强大的Assert工具类来帮助开发者进行参数校验和状态检查,下... 目录前言一、Java 原生assert简介1.1 使用方式1.2 示例代码1.3 优缺点分析二、Spring Fr

Linux系统性能检测命令详解

《Linux系统性能检测命令详解》本文介绍了Linux系统常用的监控命令(如top、vmstat、iostat、htop等)及其参数功能,涵盖进程状态、内存使用、磁盘I/O、系统负载等多维度资源监控,... 目录toppsuptimevmstatIOStatiotopslabtophtopdstatnmon

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

java使用protobuf-maven-plugin的插件编译proto文件详解

《java使用protobuf-maven-plugin的插件编译proto文件详解》:本文主要介绍java使用protobuf-maven-plugin的插件编译proto文件,具有很好的参考价... 目录protobuf文件作为数据传输和存储的协议主要介绍在Java使用maven编译proto文件的插件

如何在Ubuntu 24.04上部署Zabbix 7.0对服务器进行监控

《如何在Ubuntu24.04上部署Zabbix7.0对服务器进行监控》在Ubuntu24.04上部署Zabbix7.0监控阿里云ECS服务器,需配置MariaDB数据库、开放10050/1005... 目录软硬件信息部署步骤步骤 1:安装并配置mariadb步骤 2:安装Zabbix 7.0 Server

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置(核心数、队列容量、拒绝策略等)及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略(Rejected

C++ Log4cpp跨平台日志库的使用小结

《C++Log4cpp跨平台日志库的使用小结》Log4cpp是c++类库,本文详细介绍了C++日志库log4cpp的使用方法,及设置日志输出格式和优先级,具有一定的参考价值,感兴趣的可以了解一下... 目录一、介绍1. log4cpp的日志方式2.设置日志输出的格式3. 设置日志的输出优先级二、Window