使用docker部署tensorrtllm推理大模型baichuan2-7b

2024-09-04 02:04

本文主要是介绍使用docker部署tensorrtllm推理大模型baichuan2-7b,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

简介

大模型的推理框架,我之前用过vllm和mindie。近期有项目要用tensorrtllm,这里将摸索的过程记录下,特别是遇到的问题。
我的环境是Linux+rt3090

准备docker环境

本次使用docker镜像部署,需要从网上拉取:

docker pull nvcr.io/nvidia/tritonserver:24.08-trtllm-python-py3

The Triton Inference Server的docker的tag可以从这里浏览:https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver

他要用更新或者更久的版本,都可以从这里获取。

拉取的时间较久,拉完镜像启动本地的docker容器并进入:

#  docker run  -dit --ipc=host --runtime=nvidia --gpus '"device=6,7"' -v /home/xxxxx/docker_shared/:/docker_shared --name triton-llm-test  nvcr.io/nvidia/tritonserver:24.08-trtllm-python-py3# docker exec -it   triton-llm-test bash

上面的命令中,我将一个磁盘目录映射到docker内的/docker_shared,并指定映射了2张显卡。

我预先下载了baichuan2-7b-chat的模型,在docker内它的目录是/docker_shared/Baichuan2-7B-Chat

转换模型

转换模型的方法可参考:https://nvidia.github.io/TensorRT-LLM/quick-start-guide.html

下载https://github.com/NVIDIA/TensorRT-LLM的代码放到docker中,解压后然后到它的目录中,解压后进入其目录:

cd /docker_shared/TensorRT-LLM-main/examples/baichuan/

提前建好转换模型的输出目录/docker_shared/Baichuan2-7B-trllm/convert_out/ , 然后执行转换脚本:

python3 convert_checkpoint.py --model_version v2_7b --model_dir /docker_shared/Baichuan2-7B-Chat --output_dir /docker_shared/Baichuan2-7B-trllm/convert_out/ --tp_size 2
>> Total time of converting checkpoints: 00:01:35# ls /docker_shared/Baichuan2-7B-trllm/convert_out/
config.json  rank0.safetensors  rank1.safetensors

这里我指定了tensor并行度 --tp_size为2,所以生成了2个safetensors文件。

创建引擎目录/docker_shared/Baichuan2-7B-trllm/build_out/,然后将模型编译为tensorrt的引擎文件:

trtllm-build --checkpoint_dir /docker_shared/Baichuan2-7B-trllm/convert_out/  --output_dir /docker_shared/Baichuan2-7B-trllm/build_out/    --gpt_attention_plugin float16 --gemm_plugin float16  --max_batch_size 64# ls  /docker_shared/Baichuan2-7B-trllm/build_out/
config.json  rank0.engine  rank1.engine

到这里,模型转换的工作就做完了。

简单测试

cd /docker_shared/TensorRT-LLM-main/examplesmpirun -n 2 --allow-run-as-root python3 ./run.py --engine_dir /docker_shared/Baichuan2-7B-trllm/build_out/  --max_output_len 500 --tokenizer_dir /docker_shared/Baichuan2-7B-Chat --input_text "讲一个200字左右的故事"Output [Text 0 Beam 0]: "
从前,有一个小村庄,村子里住着许多勤劳、善良的人们。他们和睦相处,互相帮助,生活得非常幸福。在这个村子里,有一个年轻人叫小明,他聪明、勇敢,深受村民们的喜爱。有一天,村子里来了一个陌生的老人,他看起来非常疲惫,小明见状,便主动上前帮助他。老人感激地说:“谢谢你,年轻人。我是从远方来的,我的家乡遭受了一场大旱,庄稼枯萎,水源干涸,我带着唯一的希望——一颗神奇的种子,来寻求帮助。”小明听了非常同情,他决定帮助老人,于是他们一起回到了村子里。小明将神奇的种子种在了村子的中心,村民们纷纷前来观看。不久,神奇的种子长出了一棵大树,树上结满了晶莹剔透的水珠。村民们欣喜若狂,纷纷取水,不久,村子里的水源恢复了,庄稼也重新焕发生机。老人感激不已,他告诉小明,这颗神奇的种子叫做“希望之树”,它能给人们带来希望和力量。小明和村民们为了纪念这次奇迹,将这棵树作为村子的象征,代代相传。从此,这个村子变得更加美好,人们过上了幸福美满的生活。"

如果之前设置的-tp_size为1,则不需要mpirun命令,直接执行run.py脚本就行。如果tp_size大于1则需要借助mpirun 并指定-n参数,否则会出错:

RuntimeError: [TensorRT-LLM][ERROR] Assertion failed: MPI size 1 != TP size 2 * PP size 1

准备配置文件

下载https://github.com/triton-inference-server/tensorrtllm_backend的v0.12.0版本,放到docker内解压。

使用模板新建一个目录:

cd  /docker_shared/tensorrtllm_backend-0.12.0
cp all_models/inflight_batcher_llm/ triton_model_repo/ -rf

使用脚本fill_template.py填充配置文件:

python3 tools/fill_template.py -i triton_model_repo/preprocessing/config.pbtxt tokenizer_dir:/docker_shared/Baichuan2-7B-Chat,triton_max_batch_size:64,preprocessing_instance_count:1
python3 tools/fill_template.py -i triton_model_repo/postprocessing/config.pbtxt tokenizer_dir:/docker_shared/Baichuan2-7B-Chat,triton_max_batch_size:64,postprocessing_instance_count:1
python3 tools/fill_template.py -i triton_model_repo/tensorrt_llm_bls/config.pbtxt triton_max_batch_size:64,decoupled_mode:False,bls_instance_count:1,accumulate_tokens:False
python3 tools/fill_template.py -i triton_model_repo/ensemble/config.pbtxt triton_max_batch_size:64
python3 tools/fill_template.py -i triton_model_repo/tensorrt_llm/config.pbtxt triton_backend:tensorrtllm,triton_max_batch_size:64,decoupled_mode:False,max_beam_width:1,engine_dir:/docker_shared/Baichuan2-7B-trllm/build_out/,max_tokens_in_paged_kv_cache:2560,max_attention_window_size:2560,kv_cache_free_gpu_mem_fraction:0.1,exclude_input_in_output:True,enable_kv_cache_reuse:False,batching_strategy:inflight_fused_batching,max_queue_delay_microseconds:0

启动服务并检测测试

cd  /docker_shared/tensorrtllm_backend-0.12.0
python3 scripts/launch_triton_server.py --world_size 2 --model_repo ./triton_model_repo/

启动成功,命令行最后会输出:

I0903 11:20:25.664256 203 grpc_server.cc:2463] "Started GRPCInferenceService at 0.0.0.0:8001"
I0903 11:20:25.664504 203 http_server.cc:4694] "Started HTTPService at 0.0.0.0:8000"
I0903 11:20:25.717022 203 http_server.cc:362] "Started Metrics Service at 0.0.0.0:8002"

简单测试:

测试服务:
curl -X POST localhost:8000/v2/models/ensemble/generate -d '{"text_input": "啥是机器学习啊?", "max_tokens": 500, "bad_words": "", "stop_words": ""}'
返回:
{"batch_index":0,"context_logits":0.0,"cum_log_probs":0.0,"generation_logits":0.0,"model_name":"ensemble","model_version":"1","output_log_probs":[0.0,0.0,0.0,0.0,0.0],"sequence_end":false,"sequence_id":0,"sequence_start":false,"text_output":"\n机器学习(Machine Learning)是人工智能(Artificial Intelligence)的一个子领域,它关注的是如何让计算机系统通过数据和算法自动地学习和改进。简单来说,机器学习就是让计算机从数据中学习规律,并根据这些规律进行预测和决策。\n\n在机器学习中,我们使用算法(Algorithm)来训练模型(Model),使它能够在新的数据上进行预测。这些算法可以分为监督学习(Supervised Learning)、无监督学习(Unsupervised Learning)和强化学习(Reinforcement Learning)等类型。\n\n监督学习是指在训练过程中,我们为模型提供输入数据和对应的正确输出,模型通过学习这些数据之间的映射关系来进行预测。无监督学习则是在没有正确输出的情况下,让模型自己发现数据中的结构和规律。强化学习则是让模型通过与环境的交互,学习如何采取最优行动以获得最大回报。\n\n机器学习已经广泛应用于各个领域,如自然语言处理、计算机视觉、推荐系统、医疗诊断等。随着技术的不断发展,机器学习将继续为我们的生活带来更多便利和创新。"}查询服务元数据
curl -X GET localhost:8000/v2
返回:
{"name":"triton","version":"2.49.0","extensions":["classification","sequence","model_repository","model_repository(unload_dependents)","schedule_policy","model_configuration","system_shared_memory","cuda_shared_memory","binary_tensor_data","parameters","statistics","trace","logging"]}

错误集锦

Error parsing text-format inference.ModelConfig: 29:17: Expected integer, got: $

I0903 06:55:43.852157 202 model_lifecycle.cc:472] "loading: tensorrt_llm:1"
[libprotobuf ERROR /tmp/tritonbuild/tritonserver/build/_deps/repo-third-party-build/grpc-repo/src/grpc/third_party/protobuf/src/google/protobuf/text_format.cc:337] Error parsing text-format inference.ModelConfig: 29:17: Expected integer, got: $
.......
error: creating server: Internal - failed to load all models

这个报错表示加载配置文件出错,需要借助tools/fill_template.py脚本将各个配置文件进行配置就能解决。

Cuda Runtime (out of memory)

报错信息

[TensorRT-LLM][ERROR] [defaultAllocator.cpp::allocate::31] Error Code 1: Cuda Runtime (out of memory)
[TensorRT-LLM][WARNING] Requested amount of GPU memory (6992953856 bytes) could not be allocated. There may not be enough free memory for allocation to succeed.
[TensorRT-LLM][ERROR] [safeDeserialize.cpp::load::284] Error Code 2: OutOfMemory (Requested size was 6992953856 bytes.)

我之前设置kv_cache_free_gpu_mem_fraction:0.3,结果显存不够,改为0.1就够了。

如果还不够,可以试试量化模型。

AttributeError: ‘BaichuanTokenizer’ object has no attribute ‘vocab’

报错信息

 "Failed to process the request(s) for model 'postprocessing_0_0', message: AttributeError: 'BaichuanTokenizer' object has no attribute 'vocab'\n\nAt:\n /docker_shared/tensorrtllm_backend-main/./triton_model_repo/postprocessing/1/model.py(243): _postprocessing\n/docker_shared/tensorrtllm_backend-main/./triton_model_repo/postprocessing/1/model.py(154): execute\n"

我本来下载的是tensorrtllm_backend的最新main分支代码,错误原因在all_models/inflight_batcher_llm/postprocessing/1/model.py的243行,这里使用了tokenizer的vocab成员,但是这个成员不存在:

在这里插入图片描述
网上有类似的问题说是要降transformers的版本,我试了没啥用,将tensorrtllm_backend替换为V0.12.0版本就好了。

这篇关于使用docker部署tensorrtllm推理大模型baichuan2-7b的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1134682

相关文章

vue使用docxtemplater导出word

《vue使用docxtemplater导出word》docxtemplater是一种邮件合并工具,以编程方式使用并处理条件、循环,并且可以扩展以插入任何内容,下面我们来看看如何使用docxtempl... 目录docxtemplatervue使用docxtemplater导出word安装常用语法 封装导出方

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Elasticsearch 在 Java 中的使用教程

《Elasticsearch在Java中的使用教程》Elasticsearch是一个分布式搜索和分析引擎,基于ApacheLucene构建,能够实现实时数据的存储、搜索、和分析,它广泛应用于全文... 目录1. Elasticsearch 简介2. 环境准备2.1 安装 Elasticsearch2.2 J

使用C#代码在PDF文档中添加、删除和替换图片

《使用C#代码在PDF文档中添加、删除和替换图片》在当今数字化文档处理场景中,动态操作PDF文档中的图像已成为企业级应用开发的核心需求之一,本文将介绍如何在.NET平台使用C#代码在PDF文档中添加、... 目录引言用C#添加图片到PDF文档用C#删除PDF文档中的图片用C#替换PDF文档中的图片引言在当

Java中List的contains()方法的使用小结

《Java中List的contains()方法的使用小结》List的contains()方法用于检查列表中是否包含指定的元素,借助equals()方法进行判断,下面就来介绍Java中List的c... 目录详细展开1. 方法签名2. 工作原理3. 使用示例4. 注意事项总结结论:List 的 contain

C#使用SQLite进行大数据量高效处理的代码示例

《C#使用SQLite进行大数据量高效处理的代码示例》在软件开发中,高效处理大数据量是一个常见且具有挑战性的任务,SQLite因其零配置、嵌入式、跨平台的特性,成为许多开发者的首选数据库,本文将深入探... 目录前言准备工作数据实体核心技术批量插入:从乌龟到猎豹的蜕变分页查询:加载百万数据异步处理:拒绝界面

Android中Dialog的使用详解

《Android中Dialog的使用详解》Dialog(对话框)是Android中常用的UI组件,用于临时显示重要信息或获取用户输入,本文给大家介绍Android中Dialog的使用,感兴趣的朋友一起... 目录android中Dialog的使用详解1. 基本Dialog类型1.1 AlertDialog(

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意