AI-Gateway:一款整合了OpenAI、Anthropic、LLama2等大语言模型的统一API接口

本文主要是介绍AI-Gateway:一款整合了OpenAI、Anthropic、LLama2等大语言模型的统一API接口,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

关于AI-Gateway

AI-Gateway是一款针对大语言模型的统一API接口,该接口可以用在应用程序和托管的大语言模型(LLM)之间,该工具可以允许我们通过一个统一的API接口将API请求转发给OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等大语言模型。

功能特性

1、功能非常快,体积非常小;

2、跨多模型和提供商实现负载均衡;

3、支持回退以确保应用程序保持弹性;

4、默认配置下,支持自动重试;

5、可根据需要安装中间件;

6、支持多种大语言模型;

支持的SDK

编程语言

支持的SDK

Node.js / JS / TS

Portkey SDK
OpenAI SDK
LangchainJS
LlamaIndex.TS

Python

Portkey SDK
OpenAI SDK
Langchain
LlamaIndex

Go

go-openai

Java

openai-java

Rust

async-openai

Ruby

ruby-openai

工具安装&部署

本地部署

如果你熟悉Node.js和npx的话,可以直接在本地安装和部署你自己的AI-Gateway:

npx @portkey-ai/gateway

安装完成后,就可以打开浏览器并访问下列地址使用AI-Gateway了:

http://localhost:8787

Cloudflare Worker部署

使用下列命令将该项目源码克隆至本地:

git clone https://github.com/portkey-ai/gateway

然后安装NPM依赖:

cd gatewaynpm i

使用wrangler部署即可:

npm run deploy

Node.js部署

使用下列命令将该项目源码克隆至本地:

git clone https://github.com/portkey-ai/gateway

然后安装NPM依赖:

cd gatewaynpm inpm run build

然后运行Node服务器:

node build/start-server.js

Docker部署

广大研究人员也可以直接使用Docker来运行AI-Gateway:

docker run -d -p 8787:8787 portkeyai/gateway:latest

Docker-Compose部署

使用下列命令下载Compose文件:

wget "https://raw.githubusercontent.com/Portkey-AI/gateway/main/docker-compose.yaml"

然后运行Docker-Compose即可:

docker compose up -d

服务当前会运行并监听8787端口。

AI-Gateway配置

AI-Gateway支持通过自定义配置来实现多功能路由策略,例如回退、负载均衡和自动重连等。

我们可以通过x-portkey-config Header在调用OpenAI时应用下列配置信息:

// 使用OpenAI JS SDK时const client = new OpenAI({baseURL: "http://127.0.0.1:8787", // The gateway URLdefaultHeaders: {'x-portkey-config': {.. your config here ..},}});

下面给出的样例配置会在回退至Gemini Pro之前尝试向OpenAI发送5次请求:

{"retry": { "count": 5 },"strategy": { "mode": "fallback" },"targets": [{"provider": "openai","api_key": "sk-***"},{"provider": "google","api_key": "gt5***","override_params": {"model": "gemini-pro"}}]}

下面的配置将启动负载均衡功能:

{"strategy": { "mode": "loadbalance" },"targets": [{"provider": "openai","api_key": "sk-***","weight": "0.5"},{"provider": "openai","api_key": "sk-***","weight": "0.5"}]}

工具使用

下面的例子中,我们将通过AI-Gateway尝试向OpenAI发送一个Chat completions调用:

curl '127.0.0.1:8787/v1/chat/completions' \-H 'x-portkey-provider: openai' \-H "Authorization: Bearer $OPENAI_KEY" \-H 'Content-Type: application/json' \-d '{"messages": [{"role": "user","content": "Say this is test."}], "max_tokens": 20, "model": "gpt-4"}'

许可证协议

本项目的开发与发布遵循MIT开源许可证协议。

项目地址

AI-Gateway:【GitHub传送门】

参考资料

AI Gateway - Simplify Your LLM Integrations | Portkey

https://hub.docker.com/r/portkeyai/gateway

这篇关于AI-Gateway:一款整合了OpenAI、Anthropic、LLama2等大语言模型的统一API接口的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/741116

相关文章

go中空接口的具体使用

《go中空接口的具体使用》空接口是一种特殊的接口类型,它不包含任何方法,本文主要介绍了go中空接口的具体使用,具有一定的参考价值,感兴趣的可以了解一下... 目录接口-空接口1. 什么是空接口?2. 如何使用空接口?第一,第二,第三,3. 空接口几个要注意的坑坑1:坑2:坑3:接口-空接口1. 什么是空接

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

一文详解如何从零构建Spring Boot Starter并实现整合

《一文详解如何从零构建SpringBootStarter并实现整合》SpringBoot是一个开源的Java基础框架,用于创建独立、生产级的基于Spring框架的应用程序,:本文主要介绍如何从... 目录一、Spring Boot Starter的核心价值二、Starter项目创建全流程2.1 项目初始化(

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Spring Boot 整合 MyBatis 连接数据库及常见问题

《SpringBoot整合MyBatis连接数据库及常见问题》MyBatis是一个优秀的持久层框架,支持定制化SQL、存储过程以及高级映射,下面详细介绍如何在SpringBoot项目中整合My... 目录一、基本配置1. 添加依赖2. 配置数据库连接二、项目结构三、核心组件实现(示例)1. 实体类2. Ma

C语言中的数据类型强制转换

《C语言中的数据类型强制转换》:本文主要介绍C语言中的数据类型强制转换方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C语言数据类型强制转换自动转换强制转换类型总结C语言数据类型强制转换强制类型转换:是通过类型转换运算来实现的,主要的数据类型转换分为自动转换

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

C语言实现两个变量值交换的三种方式

《C语言实现两个变量值交换的三种方式》两个变量值的交换是编程中最常见的问题之一,以下将介绍三种变量的交换方式,其中第一种方式是最常用也是最实用的,后两种方式一般只在特殊限制下使用,需要的朋友可以参考下... 目录1.使用临时变量(推荐)2.相加和相减的方式(值较大时可能丢失数据)3.按位异或运算1.使用临时

使用C语言实现交换整数的奇数位和偶数位

《使用C语言实现交换整数的奇数位和偶数位》在C语言中,要交换一个整数的二进制位中的奇数位和偶数位,重点需要理解位操作,当我们谈论二进制位的奇数位和偶数位时,我们是指从右到左数的位置,本文给大家介绍了使... 目录一、问题描述二、解决思路三、函数实现四、宏实现五、总结一、问题描述使用C语言代码实现:将一个整

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密