使用docker部署tensorrtllm推理大模型baichuan2-7b

2024-09-04 02:04
文章标签 部署 使用 docker 模型 推理 baichuan2 7b tensorrtllm

本文主要是介绍使用docker部署tensorrtllm推理大模型baichuan2-7b，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

简介

大模型的推理框架，我之前用过vllm和mindie。近期有项目要用tensorrtllm，这里将摸索的过程记录下，特别是遇到的问题。
我的环境是Linux+rt3090

准备docker环境

本次使用docker镜像部署，需要从网上拉取：

docker pull nvcr.io/nvidia/tritonserver:24.08-trtllm-python-py3

The Triton Inference Server的docker的tag可以从这里浏览:https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver

他要用更新或者更久的版本，都可以从这里获取。

拉取的时间较久，拉完镜像启动本地的docker容器并进入：

#  docker run  -dit --ipc=host --runtime=nvidia --gpus '"device=6,7"' -v /home/xxxxx/docker_shared/:/docker_shared --name triton-llm-test  nvcr.io/nvidia/tritonserver:24.08-trtllm-python-py3# docker exec -it   triton-llm-test bash

上面的命令中，我将一个磁盘目录映射到docker内的/docker_shared，并指定映射了2张显卡。

我预先下载了baichuan2-7b-chat的模型，在docker内它的目录是/docker_shared/Baichuan2-7B-Chat

转换模型

转换模型的方法可参考：https://nvidia.github.io/TensorRT-LLM/quick-start-guide.html

下载https://github.com/NVIDIA/TensorRT-LLM的代码放到docker中，解压后然后到它的目录中,解压后进入其目录：

cd /docker_shared/TensorRT-LLM-main/examples/baichuan/

提前建好转换模型的输出目录/docker_shared/Baichuan2-7B-trllm/convert_out/ ， 然后执行转换脚本：

python3 convert_checkpoint.py --model_version v2_7b --model_dir /docker_shared/Baichuan2-7B-Chat --output_dir /docker_shared/Baichuan2-7B-trllm/convert_out/ --tp_size 2
>> Total time of converting checkpoints: 00:01:35# ls /docker_shared/Baichuan2-7B-trllm/convert_out/
config.json  rank0.safetensors  rank1.safetensors

这里我指定了tensor并行度 --tp_size为2，所以生成了2个safetensors文件。

创建引擎目录/docker_shared/Baichuan2-7B-trllm/build_out/，然后将模型编译为tensorrt的引擎文件：

trtllm-build --checkpoint_dir /docker_shared/Baichuan2-7B-trllm/convert_out/  --output_dir /docker_shared/Baichuan2-7B-trllm/build_out/    --gpt_attention_plugin float16 --gemm_plugin float16  --max_batch_size 64# ls  /docker_shared/Baichuan2-7B-trllm/build_out/
config.json  rank0.engine  rank1.engine

到这里，模型转换的工作就做完了。

简单测试

cd /docker_shared/TensorRT-LLM-main/examplesmpirun -n 2 --allow-run-as-root python3 ./run.py --engine_dir /docker_shared/Baichuan2-7B-trllm/build_out/  --max_output_len 500 --tokenizer_dir /docker_shared/Baichuan2-7B-Chat --input_text "讲一个200字左右的故事"Output [Text 0 Beam 0]: "
从前，有一个小村庄，村子里住着许多勤劳、善良的人们。他们和睦相处，互相帮助，生活得非常幸福。在这个村子里，有一个年轻人叫小明，他聪明、勇敢，深受村民们的喜爱。有一天，村子里来了一个陌生的老人，他看起来非常疲惫，小明见状，便主动上前帮助他。老人感激地说：“谢谢你，年轻人。我是从远方来的，我的家乡遭受了一场大旱，庄稼枯萎，水源干涸，我带着唯一的希望——一颗神奇的种子，来寻求帮助。”小明听了非常同情，他决定帮助老人，于是他们一起回到了村子里。小明将神奇的种子种在了村子的中心，村民们纷纷前来观看。不久，神奇的种子长出了一棵大树，树上结满了晶莹剔透的水珠。村民们欣喜若狂，纷纷取水，不久，村子里的水源恢复了，庄稼也重新焕发生机。老人感激不已，他告诉小明，这颗神奇的种子叫做“希望之树”，它能给人们带来希望和力量。小明和村民们为了纪念这次奇迹，将这棵树作为村子的象征，代代相传。从此，这个村子变得更加美好，人们过上了幸福美满的生活。"

如果之前设置的-tp_size为1，则不需要mpirun命令，直接执行run.py脚本就行。如果tp_size大于1则需要借助mpirun 并指定-n参数，否则会出错：

RuntimeError: [TensorRT-LLM][ERROR] Assertion failed: MPI size 1 != TP size 2 * PP size 1

准备配置文件

下载https://github.com/triton-inference-server/tensorrtllm_backend的v0.12.0版本，放到docker内解压。

使用模板新建一个目录：

cd  /docker_shared/tensorrtllm_backend-0.12.0
cp all_models/inflight_batcher_llm/ triton_model_repo/ -rf

使用脚本fill_template.py填充配置文件：

python3 tools/fill_template.py -i triton_model_repo/preprocessing/config.pbtxt tokenizer_dir:/docker_shared/Baichuan2-7B-Chat,triton_max_batch_size:64,preprocessing_instance_count:1
python3 tools/fill_template.py -i triton_model_repo/postprocessing/config.pbtxt tokenizer_dir:/docker_shared/Baichuan2-7B-Chat,triton_max_batch_size:64,postprocessing_instance_count:1
python3 tools/fill_template.py -i triton_model_repo/tensorrt_llm_bls/config.pbtxt triton_max_batch_size:64,decoupled_mode:False,bls_instance_count:1,accumulate_tokens:False
python3 tools/fill_template.py -i triton_model_repo/ensemble/config.pbtxt triton_max_batch_size:64
python3 tools/fill_template.py -i triton_model_repo/tensorrt_llm/config.pbtxt triton_backend:tensorrtllm,triton_max_batch_size:64,decoupled_mode:False,max_beam_width:1,engine_dir:/docker_shared/Baichuan2-7B-trllm/build_out/,max_tokens_in_paged_kv_cache:2560,max_attention_window_size:2560,kv_cache_free_gpu_mem_fraction:0.1,exclude_input_in_output:True,enable_kv_cache_reuse:False,batching_strategy:inflight_fused_batching,max_queue_delay_microseconds:0

启动服务并检测测试

cd  /docker_shared/tensorrtllm_backend-0.12.0
python3 scripts/launch_triton_server.py --world_size 2 --model_repo ./triton_model_repo/

启动成功，命令行最后会输出：

I0903 11:20:25.664256 203 grpc_server.cc:2463] "Started GRPCInferenceService at 0.0.0.0:8001"
I0903 11:20:25.664504 203 http_server.cc:4694] "Started HTTPService at 0.0.0.0:8000"
I0903 11:20:25.717022 203 http_server.cc:362] "Started Metrics Service at 0.0.0.0:8002"

简单测试：

测试服务：
curl -X POST localhost:8000/v2/models/ensemble/generate -d '{"text_input": "啥是机器学习啊?", "max_tokens": 500, "bad_words": "", "stop_words": ""}'
返回：
{"batch_index":0,"context_logits":0.0,"cum_log_probs":0.0,"generation_logits":0.0,"model_name":"ensemble","model_version":"1","output_log_probs":[0.0,0.0,0.0,0.0,0.0],"sequence_end":false,"sequence_id":0,"sequence_start":false,"text_output":"\n机器学习（Machine Learning）是人工智能（Artificial Intelligence）的一个子领域，它关注的是如何让计算机系统通过数据和算法自动地学习和改进。简单来说，机器学习就是让计算机从数据中学习规律，并根据这些规律进行预测和决策。\n\n在机器学习中，我们使用算法（Algorithm）来训练模型（Model），使它能够在新的数据上进行预测。这些算法可以分为监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）和强化学习（Reinforcement Learning）等类型。\n\n监督学习是指在训练过程中，我们为模型提供输入数据和对应的正确输出，模型通过学习这些数据之间的映射关系来进行预测。无监督学习则是在没有正确输出的情况下，让模型自己发现数据中的结构和规律。强化学习则是让模型通过与环境的交互，学习如何采取最优行动以获得最大回报。\n\n机器学习已经广泛应用于各个领域，如自然语言处理、计算机视觉、推荐系统、医疗诊断等。随着技术的不断发展，机器学习将继续为我们的生活带来更多便利和创新。"}查询服务元数据
curl -X GET localhost:8000/v2
返回：
{"name":"triton","version":"2.49.0","extensions":["classification","sequence","model_repository","model_repository(unload_dependents)","schedule_policy","model_configuration","system_shared_memory","cuda_shared_memory","binary_tensor_data","parameters","statistics","trace","logging"]}

错误集锦

Error parsing text-format inference.ModelConfig: 29:17: Expected integer, got: $

I0903 06:55:43.852157 202 model_lifecycle.cc:472] "loading: tensorrt_llm:1"
[libprotobuf ERROR /tmp/tritonbuild/tritonserver/build/_deps/repo-third-party-build/grpc-repo/src/grpc/third_party/protobuf/src/google/protobuf/text_format.cc:337] Error parsing text-format inference.ModelConfig: 29:17: Expected integer, got: $
.......
error: creating server: Internal - failed to load all models

这个报错表示加载配置文件出错，需要借助tools/fill_template.py脚本将各个配置文件进行配置就能解决。

Cuda Runtime (out of memory)

报错信息

[TensorRT-LLM][ERROR] [defaultAllocator.cpp::allocate::31] Error Code 1: Cuda Runtime (out of memory)
[TensorRT-LLM][WARNING] Requested amount of GPU memory (6992953856 bytes) could not be allocated. There may not be enough free memory for allocation to succeed.
[TensorRT-LLM][ERROR] [safeDeserialize.cpp::load::284] Error Code 2: OutOfMemory (Requested size was 6992953856 bytes.)

我之前设置kv_cache_free_gpu_mem_fraction:0.3，结果显存不够，改为0.1就够了。

如果还不够，可以试试量化模型。

AttributeError: ‘BaichuanTokenizer’ object has no attribute ‘vocab’

报错信息

 "Failed to process the request(s) for model 'postprocessing_0_0', message: AttributeError: 'BaichuanTokenizer' object has no attribute 'vocab'\n\nAt:\n /docker_shared/tensorrtllm_backend-main/./triton_model_repo/postprocessing/1/model.py(243): _postprocessing\n/docker_shared/tensorrtllm_backend-main/./triton_model_repo/postprocessing/1/model.py(154): execute\n"

我本来下载的是tensorrtllm_backend的最新main分支代码，错误原因在all_models/inflight_batcher_llm/postprocessing/1/model.py的243行，这里使用了tokenizer的vocab成员，但是这个成员不存在：

在这里插入图片描述
网上有类似的问题说是要降transformers的版本，我试了没啥用，将tensorrtllm_backend替换为V0.12.0版本就好了。

这篇关于使用docker部署tensorrtllm推理大模型baichuan2-7b的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1134682。

相关文章

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
如何用Docker运行Django项目

如何用Docker运行Django项目

本章教程，介绍如何用Docker创建一个Django，并运行能够访问。 一、拉取镜像 这里我们使用python3.11版本的docker镜像 docker pull python:3.11 二、运行容器 这里我们将容器内部的8080端口，映射到宿主机的80端口上。 docker run -itd --name python311 -p
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2