guidance快速配置流程-for LLM inference

本文主要是介绍guidance快速配置流程-for LLM inference，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

conda create

conda create -n guidance python=3.10

pytorch

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

pip install guidance

guidance copy code

pip transformers版本坑

pip install transformer==4.37.0
4.38会报错

pip install accelerate

安装即可

cora需要打包

sentencepiece
protobuf
bitsandbytes
scipy

guidance prompt

download from github
添加链接描述

problem

输出格式问题

模型路径需要用/根路径

这篇关于guidance快速配置流程-for LLM inference的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---