本地部署Xinference实现智能体推理工作流（一）

本文主要是介绍本地部署Xinference实现智能体推理工作流（一），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

提示：没有安装Docker的需要先提前安装好Docker

第一篇章 使用AutoDL平台快速部署xinference

备注：若使用AutoDL平台，以下过程使用无卡模型开机即可(省钱)

1. 下载Dify源码

Github下载Dify:https://github.com/langgenius/dify

2. 快速启动

启动 Dify 服务器的最简单方法是运行我们的 [docker-compose.yml] 文件。在运行安装命令之前，请确保您的机器上安装了 [Docker](https://docs.docker.com/get-docker/) 和 [Docker Compose](https://docs.docker.com/compose/install/)：

```bash

cd docker

cp .env.example .env

docker compose up -d

```

启动后依次点击 头像->设置->模型供应商->ChatGLM，这样要求输入API地址，所以我们需要本地部署一个GLM，并暴露API地址给用户。

3. 本地部署ChatGLM

因为我本地电脑性能不够，所有这里我在AutoDL平台部署ChatGLM

① 首先创建一个实例，然后安装Xinference(安装原因：用Xinference安装会自己生成API接口，但使用其他人创建好的模型或官方模型不好使，不知道原因，有知道的可以打在评论区)

② 运行命令(需要下载很久，嫌慢的可以使用我下载安装好的镜像)：

$ pip install "xinference[all]"

③ 创建xinference运行的python虚拟环境

运行命令：conda create -n xinference python=3.10

④ 运行虚拟环境

执行命令：conda activate xinference

⑤ 在虚拟环境中运行xinference

执行命令：

xinference-local --host 0.0.0.0 --port 9997

⑥ 可以看到服务已经起来了，然后我们用linux的隧道传输功能将AutoDL中的端口映射到自己的本地电脑。

⑦ 本来想用MAC代理的，但不知道什么原因，MAC无法建立连接，所以只能用另一台Windows系统了。

代理成功后后如图所示：

(坑：要代理的端口号必须和服务器上运行的服务的端口号保持一样，不然无法代理成功)：

其他问题：conda activate xinference命令好像只有第一次运行的时候需要输入这个命令，后面再启动服务的话直接输入：xinference-local --host 0.0.0.0 --port 9997命令就可以了。

这篇关于本地部署Xinference实现智能体推理工作流（一）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---