本文主要是介绍用TensorRT-LLM进行LLama的推理和部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
Deploy an AI Coding Assistant with NVIDIA TensorRT-LLM and NVIDIA Triton | NVIDIA Technical Blog
Quick Start Guide — tensorrt_llm documentation (nvidia.github.io)
使用TensorRT-LLM的源码，来下载docker并在docker里编译TensorRT-LLM；
模型格式先Huggingface转为FasterTransformer；再用TensorRT-LLM将其compile为TensorRT engine；然后可用TensorRT-LLM的C++ runtime来跑推理（或者模型放到Triton Repo上，并指定TensorRT-LLM为backend）
Input的Tokenizing和Output的De-Tokenizing，视作前处理、后处理，创建"Python Model"；整个流程用一个"Ensemble Model"来表示，包含以上两个"Model"以及真正的GPT-Model;
LLama:
https://github.com/NVIDIA/TensorRT-LLM/blob/main/examples/llama/README.md
TensorRT-LLM支持很多常用模型；例如：baichuan、internlm、chatglm、qwen、bloom、gpt、gptneox、llama;
convert_checkpoint.py，是每种模型用自己的；run.py，是所有模型共享；
每种模型，支持的技术完善程度不同。
支持LLama的以下功能：
- FP16
- FP8
- INT8 & INT4 Weight-Only
- SmoothQuant
- Groupwise quantization (AWQ/GPTQ)
- FP8 KV CACHE
- INT8 KV CACHE (+ AWQ/per-channel weight-only)
- Tensor Parallel
- STRONGLY TYPED
量化相关：
Numerical Precision — tensorrt_llm documentation (nvidia.github.io)
这篇关于用TensorRT-LLM进行LLama的推理和部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
