vllm lora、gptq、awq推理使用

本文主要是介绍vllm lora、gptq、awq推理使用，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1）lora推理

docker run  --gpus all  -v /ai/Qwen1.5-7B-Chat:/qwen-7b -v /ai/lora:/lora  -p 10860:10860 --ipc

这篇关于vllm lora、gptq、awq推理使用的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---