本文主要是介绍使用FastGPT+OneAPI在本地使用Llama3，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！他的重要特点就是工作流编排。
工作流编排：基于 Flow 模块的工作流编排，可以帮助你设计更加复杂的问答流程。例如查询数据库、查询库存、预约实验室等。
FastGPT 遵循附加条件 Apache License 2.0 开源协议，你可以 Fork 之后进行二次开发和发布。但要注意他的开源条款外的要求。
下面我们就开始部署FastGPT，目前该项目只公布了docker私有化部署方式。
一：安装docker
# 安装 Docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
# 安装 docker-compose
curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
# 验证安装
docker -v
docker-compose -v
二：下载FastGPT的docker文件
创建 FastGPT 文件，依次执行下面命令，并拉取docker-compose.yml和config.json，执行完后目录下会有 2 个文件。
mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json三：启动容器
# 启动容器
docker-compose up -d
# 等待10s，OneAPI第一次总是要重启几次才能连上Mysql
sleep 10
# 重启一次oneapi(由于OneAPI的默认Key有点问题，不重启的话会提示找不到渠道，临时手动重启一次解决，等待作者修复)
docker restart oneapi四：配置OneAPI
本项目OneAPI的进入地址：http://ip:3001
OneAPI配置方法请参照之前的文件：使用OneAPI创建LLM访问API Key-CSDN博客
五：访问FastGPT
访问地址：http://ip:3000
登录用户名：root
默认密码：1234
六：如何使用
我们先使用“简易模型”创建一个应用。
如何设置这些模型，到安装目录fastgpt编辑config.json
vim /fastgpt/config.json
#将llmModels下面的模型替换成你在oneapi设置的内容。
{"feConfigs": {"lafEnv": "https://laf.dev"},"systemEnv": {"openapiPrefix": "fastgpt","vectorMaxProcess": 15,"qaMaxProcess": 15,"pgHNSWEfSearch": 100},"llmModels": [{"model": "llama3:8b","name": "Ollama-8B","maxContext": 16000,"avatar": "/imgs/model/openai.svg","maxResponse": 4000,"quoteMaxToken": 13000,"maxTemperature": 1.2,"charsPointsPrice": 0,"censor": false,"vision": false,"datasetProcess": true,"usedInClassify": true,"usedInExtractFields": true,"usedInToolCall": true,"usedInQueryExtension": true,"toolChoice": true,"functionCall": true,"customCQPrompt": "","customExtractPrompt": "","defaultSystemChatPrompt": "","defaultConfig": {}},{"model": "llama3:70b","name": "Ollama-70B","avatar": "/imgs/model/openai.svg","maxContext": 125000,"maxResponse": 4000,"quoteMaxToken": 100000,"maxTemperature": 1.2,"charsPointsPrice": 0,"censor": false,"vision": false,"datasetProcess": false,"usedInClassify": true,"usedInExtractFields": true,"usedInToolCall": true,"usedInQueryExtension": true,"toolChoice": true,"functionCall": false,"customCQPrompt": "","customExtractPrompt": "","defaultSystemChatPrompt": "",
编辑后重启docker
docker-compose down
docker-compose up -d然后你再打开界面就可以看到刚才的模型已经变上图的样子了。
有关高级编排的使用：
可以参考官方文档：高级编排介绍 | FastGPT (fastai.site)
接下来你就可以跟他对话了。
这篇关于使用FastGPT+OneAPI在本地使用Llama3的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
