如何选择一个向量数据库|Qdrant Cloud v.s. Zilliz Cloud

2023-11-10 14:45

本文主要是介绍如何选择一个向量数据库|Qdrant Cloud v.s. Zilliz Cloud,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

随着向量数据库的热度不断攀升,越来越多人开始关注到这一赛道,传统数据库和检索系统也在快速集成专门的向量检索插件方面展开角逐。Qdrant 因其易用性和用户友好的开发者文档,面世不久即获得关注。

Qdrant 以 Rust 语言构建,提供 Rust、Python、Golang 等客户端 API,能够满足当今主流开发人员的需求。不过, Qdrant 作为后起之秀,和其他竞品仍然存在一定差距,例如界面及查询功能不够完善。

那么,Qdrant 和 Zilliz Cloud/Milvus 有何不同?可以这样理解,二者都专为向量数据打造,但适用于不同场景。Qdrant 更适合追求低成本基础设施维护的开发人员。而如果应用系统更注重性能和可扩展性,Zilliz Cloud/Milvus 是更合适的选择。因为 Zilliz Cloud/Milvus 具备可扩展性极强、性能更佳、延时更低的特点,适用于对性能指标有着严格要求的场景。

本文中将撇开这些表面差异,通过比较二者的性能基准测试结果和 Qdrant Cloud 的相关特性,深入探究 Qdrant Cloud 和 Zilliz Cloud 的差异。

01.Qdrant Cloud v.s. Zilliz Cloud:性能大比拼

最近,随着检索增强生成系统(RAG)的持续火爆,开发者对于“如何选择一个向量数据库”的疑惑也越来越多。过去几周,我们从性能和特性能力两个方面对 Qdrant Cloud 和 Zilliz Cloud 进行了详细的对比。

在对比过程中,我们使用了开源的性能基准测试套件 VectorDBBench,围绕诸如每秒查询次数(QPS)、每美元查询次数(QP$)以及时延等关键指标展开测试。

【大型测试数据集(≥ 500 万向量数据)】

以下为测试中使用的两类数据集:

  • 数据集 1 包含 10,000,000 条 768 维的向量数据。

  • 数据集 2 包含 5,000,000 条 1,536 维的向量数据。

测试对象

以下为测试时使用的实例,这些实例在硬件配置上基本相近:

  • Zilliz Cloud (8cu-perf):Zilliz Cloud 8 CU 性能型实例

  • Zilliz Cloud (2cu-cap):Zilliz Cloud 2 CU 容量型实例

  • Qdrant Cloud (4c16g-5node): Qdrant Cloud 4 CPU 16G 内存,使用 5 台机器的实例

每秒查询次数(QPS)

测试结果显示,在 10,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QPS 分别是 Qdrant Cloud 实例的 7 倍和 1 倍。

alt

在 5,000,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud(8cu-perf) 实例的 QPS 是 Qdrant Cloud 实例的 8 倍,但 Zilliz Cloud (2cu-cap) 实例的 QPS 低于 Qdrant Cloud 实例。

alt
每美元查询次数(QP$)

在 10,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 8 倍和 5 倍。

alt

在 5,000,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 7 倍和 3 倍。

alt
时延

在 10,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 延时分别是 Qdrant Cloud 实例的 1/12 倍和 1/3 倍。

alt

在 5,000,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 时延分别比 Qdrant Cloud 实例快 8 倍和 1 倍。

alt

【中型测试数据集(< 500 万向量数据)】

以下为测试中使用的两类数据集:

  • 数据集 3 包含 1,000,000 条 768 维的向量数据。

  • 数据集 4 包含 500,000 条1,536 维的向量数据。

测试对象

以下为测试时使用的实例,这些实例在硬件配置上基本相近:

  • Zilliz Cloud (1cu-perf):Zilliz Cloud 1 CU 性能型实例

  • Zilliz Cloud (1cu-cap):Zilliz Cloud 1 CU 容量型实例

  • Qdrant Cloud (4c16g-1node): Qdrant Cloud 4 CPU 16G 内存,使用 1 台机器的实例

每秒查询次数(QPS)

测试结果显示,在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QPS 分别是 Qdrant Cloud 实例的 2 倍和 1 倍。

alt

在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud(1cu-perf) 实例的 QPS 是 Qdrant Cloud 实例的 2 倍,但 Zilliz Cloud (1cu-cap) 实例的 QPS 低于 Qdrant Cloud 实例。

alt
每美元查询次数(QP$)

在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 4 倍和 2 倍。

alt

在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 3 倍和 1 倍。

alt
时延

在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 时延均比 Qdrant Cloud 实例快 2 倍。

alt

在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 时延分别是 Qdrant Cloud 实例的 127 倍和 27 倍。

alt

【结果:综合评分】

alt
alt

上图展示了各实例在不同用例下的性能评分(百分制)情况,分数越高,性能越强。具体的评分标准可以参考此处

https://github.com/zilliztech/VectorDBBench/tree/main#leaderboard。

alt

上图展示了各实例在不同用例(https://zilliz.com/vector-database-benchmark-tool#comparison-section)下的性能评分(>1) 情况,分数越低,性能越强。

上述性能基准测试结果由开源的 VectorDBBench(https://github.com/zilliztech/VectorDBBench) 工具提供。在工具的 GitHub 主页上,还可以看到向量数据库的排行榜。VectorDBBench 为主流的向量数据库和相关云服务提供了公正的性能测试基准(https://zilliz.com.cn/benchmark)。该工具有着良好的易用性,可以轻而易举地在众多向量数据库云服务和开源向量数据库中找到最佳选择。

02.Qdrant Cloud 特性对比

随着向量数据库可以存储的数据量呈几何级数的增长,性能也成为了向量数据库的重大挑战。为了保障数据检索性能,数据库的跨节点横向扩展能力至关重要。另外,数据插入速率、检索速率以及底层硬件的不同可能会衍生出不同的应用需求,这也让全局参数调节能力成为向量数据库的必备能力之一。

向量数据库为何而生

向量数据库是用来存储通过机器学习模型生成的非结构化数据的向量表示,为其创建索引,并在其中进行检索的一套全托管解决方案。它应该提供如下特性:

  • 可扩展性和参数调节能力

  • 多租户和数据隔离

  • 完整的 API 套件

  • 直观的用户界面和控制台

可扩展性
alt
功能
alt
专门打造
alt

关于更多详情,请参见比较页面(https://zilliz.com.cn/comparison/milvus-vs-qdrant)。

本文由 mdnice 多平台发布

这篇关于如何选择一个向量数据库|Qdrant Cloud v.s. Zilliz Cloud的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/383355

相关文章

Python调用Orator ORM进行数据库操作

《Python调用OratorORM进行数据库操作》OratorORM是一个功能丰富且灵活的PythonORM库,旨在简化数据库操作,它支持多种数据库并提供了简洁且直观的API,下面我们就... 目录Orator ORM 主要特点安装使用示例总结Orator ORM 是一个功能丰富且灵活的 python O

Spring Cloud LoadBalancer 负载均衡详解

《SpringCloudLoadBalancer负载均衡详解》本文介绍了如何在SpringCloud中使用SpringCloudLoadBalancer实现客户端负载均衡,并详细讲解了轮询策略和... 目录1. 在 idea 上运行多个服务2. 问题引入3. 负载均衡4. Spring Cloud Load

使用 sql-research-assistant进行 SQL 数据库研究的实战指南(代码实现演示)

《使用sql-research-assistant进行SQL数据库研究的实战指南(代码实现演示)》本文介绍了sql-research-assistant工具,该工具基于LangChain框架,集... 目录技术背景介绍核心原理解析代码实现演示安装和配置项目集成LangSmith 配置(可选)启动服务应用场景

使用Navicat工具比对两个数据库所有表结构的差异案例详解

《使用Navicat工具比对两个数据库所有表结构的差异案例详解》:本文主要介绍如何使用Navicat工具对比两个数据库test_old和test_new,并生成相应的DDLSQL语句,以便将te... 目录概要案例一、如图两个数据库test_old和test_new进行比较:二、开始比较总结概要公司存在多

MySQL数据库函数之JSON_EXTRACT示例代码

《MySQL数据库函数之JSON_EXTRACT示例代码》:本文主要介绍MySQL数据库函数之JSON_EXTRACT的相关资料,JSON_EXTRACT()函数用于从JSON文档中提取值,支持对... 目录前言基本语法路径表达式示例示例 1: 提取简单值示例 2: 提取嵌套值示例 3: 提取数组中的值注意

查询SQL Server数据库服务器IP地址的多种有效方法

《查询SQLServer数据库服务器IP地址的多种有效方法》作为数据库管理员或开发人员,了解如何查询SQLServer数据库服务器的IP地址是一项重要技能,本文将介绍几种简单而有效的方法,帮助你轻松... 目录使用T-SQL查询方法1:使用系统函数方法2:使用系统视图使用SQL Server Configu

SQL Server数据库迁移到MySQL的完整指南

《SQLServer数据库迁移到MySQL的完整指南》在企业应用开发中,数据库迁移是一个常见的需求,随着业务的发展,企业可能会从SQLServer转向MySQL,原因可能是成本、性能、跨平台兼容性等... 目录一、迁移前的准备工作1.1 确定迁移范围1.2 评估兼容性1.3 备份数据二、迁移工具的选择2.1

Python中连接不同数据库的方法总结

《Python中连接不同数据库的方法总结》在数据驱动的现代应用开发中,Python凭借其丰富的库和强大的生态系统,成为连接各种数据库的理想编程语言,下面我们就来看看如何使用Python实现连接常用的几... 目录一、连接mysql数据库二、连接PostgreSQL数据库三、连接SQLite数据库四、连接Mo

Oracle数据库如何切换登录用户(system和sys)

《Oracle数据库如何切换登录用户(system和sys)》文章介绍了如何使用SQL*Plus工具登录Oracle数据库的system用户,包括打开登录入口、输入用户名和口令、以及切换到sys用户的... 目录打开登录入口登录system用户总结打开登录入口win+R打开运行对话框,输php入:sqlp

数据库使用之union、union all、各种join的用法区别解析

《数据库使用之union、unionall、各种join的用法区别解析》:本文主要介绍SQL中的Union和UnionAll的区别,包括去重与否以及使用时的注意事项,还详细解释了Join关键字,... 目录一、Union 和Union All1、区别:2、注意点:3、具体举例二、Join关键字的区别&php