本文主要是介绍本地部署Xinference实现智能体推理工作流（一），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
提示：没有安装Docker的需要先提前安装好Docker
第一篇章 使用AutoDL平台快速部署xinference
备注：若使用AutoDL平台，以下过程使用无卡模型开机即可(省钱)
1. 下载Dify源码
Github下载Dify:https://github.com/langgenius/dify
2. 快速启动
启动 Dify 服务器的最简单方法是运行我们的 [docker-compose.yml] 文件。在运行安装命令之前，请确保您的机器上安装了 [Docker](https://docs.docker.com/get-docker/) 和 [Docker Compose](https://docs.docker.com/compose/install/)：
```bash
cd docker
cp .env.example .env
docker compose up -d
```
启动后依次点击 头像->设置->模型供应商->ChatGLM，这样要求输入API地址，所以我们需要本地部署一个GLM，并暴露API地址给用户。
3. 本地部署ChatGLM
因为我本地电脑性能不够，所有这里我在AutoDL平台部署ChatGLM
① 首先创建一个实例，然后安装Xinference(安装原因：用Xinference安装会自己生成API接口，但使用其他人创建好的模型或官方模型不好使，不知道原因，有知道的可以打在评论区)
② 运行命令(需要下载很久，嫌慢的可以使用我下载安装好的镜像)：
$ pip install "xinference[all]"
③ 创建xinference运行的python虚拟环境
运行命令：conda create -n xinference python=3.10
④ 运行虚拟环境
执行命令：conda activate xinference
⑤ 在虚拟环境中运行xinference
执行命令：
xinference-local --host 0.0.0.0 --port 9997
⑥ 可以看到服务已经起来了，然后我们用linux的隧道传输功能将AutoDL中的端口映射到自己的本地电脑。
⑦ 本来想用MAC代理的，但不知道什么原因，MAC无法建立连接，所以只能用另一台Windows系统了。
代理成功后后如图所示：
(坑：要代理的端口号必须和服务器上运行的服务的端口号保持一样，不然无法代理成功)：
其他问题：conda activate xinference命令好像只有第一次运行的时候需要输入这个命令，后面再启动服务的话直接输入：xinference-local --host 0.0.0.0 --port 9997命令就可以了。
这篇关于本地部署Xinference实现智能体推理工作流（一）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
