本文主要是介绍第三十一篇-OneAPI+Ollama实现配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本文介绍使用oneapi+ollama实现openai接口实现
环境要求
Docker version 26.1.3
具体安装不会,百度
安装oneapi
mkdir /home/oneapi/data
docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/oneapi/data:/data justsong/one-api
登录oneapi
http://192.168.31.111:3000
默认密码 root 123456
需要自己改新密码
启动ollama
本次使用本地ollama
ollama run qwen:0.5b-chat-v1.5-q4_1 启动ollama
验证http://192.168.31.161:11434Ollama is running
配置oneapi渠道
渠道-->添加新的渠道类型 Ollama名称 自己填写分组 随意模型 点击输入自定义模型名称 --> 填入我输入的是qwen:0.5b-chat-v1.5-q4_1秘钥 111111随意代理http://192.168.31.161:11434
配置oneapi渠道-测试
点击渠道选择相应渠道的【测试】右上角显示 渠道xx测试成功
配置oneapi令牌
点击令牌输入一个名字点击提交
测试openai
import openai# 设置您的 API 密钥
openai.api_key = "sk-PpZaxFu0pyOsvgQP8eE7073c5a014aD8858eE80c941aD129"# 设置自定义的 API 请求地址
openai.api_base = "http://192.168.31.111:3000/v1"# 设置对话的 prompt
messages = [{"role": "system", "content": ""},{"role": "user", "content": "1+1=?"}
]
# 使用 OpenAI API 进行聊天
response = openai.ChatCompletion.create(model="qwen:0.5b-chat-v1.5-q4_1",messages=messages,max_tokens=100,n=1,stop=None,temperature=0.5,
)# 输出回复
assistant_message = response.choices[0].message
print(assistant_message.content)
openai.api_key 是点击自己创建令牌的复制按钮
完成
到目前为值,一个openai接口协议的接口完成了配置,后端是自己的ollama
这篇关于第三十一篇-OneAPI+Ollama实现配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!