如何选择向量数据库|Weaviate Cloud v.s. Zilliz Cloud

2023-10-27 18:12

本文主要是介绍如何选择向量数据库|Weaviate Cloud v.s. Zilliz Cloud,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

随着以 Milvus 为代表的向量数据库在 AI 产业界越来越受欢迎,传统数据库和检索系统也开始在快速集成专门的向量检索插件方面展开角逐。

例如 Weaviate 推出开源向量数据库,凭借其易用、开发者友好、上手快速、API 文档齐全等特点脱颖而出。同样,Zilliz Cloud/Milvus 向量数据库因为能够高性能、低时延处理海量数据而备受瞩目。

二者都是专为向量数据打造,但适用于不同场景。Weaviate 更适合需要快速集成向量数据库的开发人员。如果应用系统更注重可扩展性、高性能、低时延,Zilliz Cloud/Milvus 是更合适的选择,因为其架构更灵活,性能更佳,更稳定,适用于对性能指标有着严格要求的场景。

本文将撇开这些表面差异,通过比较二者的性能基准测试结果和 Weaviate Cloud 的相关特性,深入探究 Weaviate Cloud 和 Zilliz Cloud 的差异。

01.Weaviate Cloud v.s. Zilliz Cloud:性能大比拼

最近,随着检索增强生成系统(RAG)的持续火爆,开发者对于“如何选择一个向量数据库”的疑惑也越来越多。过去几周,我们从性能和特性能力两个方面对 Weaviate Cloud 和 Zilliz Cloud 进行了详细的对比。在对比过程中,我们使用了开源的性能基准测试套件 VectorDBBench,围绕诸如每秒查询次数(QPS)、每美元查询次数(QP$)以及时延等关键指标展开测试。

测试用数据集

以下为测试中使用的两类数据集:

  • 数据集 1 包含 1,000,000 条 768 维的向量数据。

  • 数据集 2 包含 500,000 条1,536 维的向量数据。

测试对象

以下为测试时使用的实例。这些实例在硬件配置上基本相近:

  • Zilliz Cloud (1cu-perf):Zilliz Cloud 1 CU 性能型实例

  • Zilliz Cloud (1cu-cap):Zilliz Cloud 1 CU 容量型实例

  • Zilliz Cloud (2cu-cap):Zilliz Cloud 2 CU 容量型实例

  • Weaviate Cloud (Standard)

  • Weaviate Cloud (Business Critical)

注意:关于 Zilliz Cloud 计算单元(CU)的更多信息,可以参考适配各类大模型应用!手把手教你选择 Zilliz Cloud 实例类型。

每秒查询次数(QPS)

测试结果显示,在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 三款实例的 QPS 分别是 Weaviate Cloud (Business Critical) 实例的 9 倍、8 倍和 5 倍。

alt

在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 三款实例的 QPS 分别是 Weaviate Cloud (standard) 实例的 8 倍、6 倍和 3 倍。

alt

下图展示了各实例在不同用例下的性能评分(百分制)情况,分数越高,性能越强。具体的可参考https://github.com/zilliztech/VectorDBBench/tree/main#leaderboard。

alt

由此可以看出,Zilliz Cloud 在该指标上全面碾压 Weaviate Cloud。

每美元查询次数(QP$)

在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 三款实例的 QP$ 分别是 Weaviate Cloud (Standard) 实例的 520 倍、332 倍和 292 倍。

alt

在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 三款实例的 QP$ 分别是 Weaviate Cloud (Standard) 实例的 403 倍、258 倍和 194 倍。

alt

下图展示了各实例在不同用例下的性能评分(百分制)情况,分数越高,性能越强。

alt

由此可以看出,Zilliz Cloud 在该指标上全面碾压 Weaviate Cloud。

时延

在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 三款实例的 P99 时延分别是 Weaviate Cloud (Business Critical) 实例的 26 倍、20 倍和 19 倍。

alt

在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 三款实例的 P99 时延分别是 Weaviate Cloud (Business Critical) 实例的 32 倍、18 倍和 7 倍。

alt

下图展示了各实例在不同用例https://zilliz.com/vector-database-benchmark-tool#comparison-section下的性能评分(>1 分制)情况,分数越接近 1,性能越强。

alt

由此可以看出,Zilliz Cloud 在该指标上全面碾压 Weaviate Cloud。

上述性能基准测试结果由开源的 VectorDBBench https://github.com/zilliztech/VectorDBBench工具提供。在工具的 GitHub 主页上,还可以看到向量数据库的排行榜。VectorDBBench 为主流的向量数据库和相关云服务提供了公正的性能测试基准。该工具有着良好的易用性,帮助开发者轻而易举地在众多的向量数据库云服务和开源向量数据库中找到最佳选择。

02.Weaviate Cloud 特性对比

随着向量数据库可以存储的数据量呈几何级数的增长,性能也成为了向量数据库的重大挑战。为了保障数据检索性能,数据库的跨节点横向扩展能力至关重要。另外,数据插入速率、检索速率以及底层硬件的不同可能会衍生出不同的应用需求,这也让全局参数调节能力成为向量数据库的必备能力之一。

向量数据库为何而生

向量数据库是用来存储通过机器学习模型生成的非结构化数据的向量表征,为其创建索引,并在其中进行检索的一套全托管解决方案。它应该提供如下特性:

  • 可扩展性和参数调节能力

  • 多租户和数据隔离

  • 完整的 API 套件

  • 直观的用户界面和控制台

可扩展性

alt

功能

alt

专门打造

alt

关于更多详情,参见比较页面https://zilliz.com.cn/comparison/milvus-vs-weaviate。

本文由 mdnice 多平台发布

这篇关于如何选择向量数据库|Weaviate Cloud v.s. Zilliz Cloud的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/287460

相关文章

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

mysql数据库重置表主键id的实现

《mysql数据库重置表主键id的实现》在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,本文主要介绍了mysql数据库重置表主键id的实现,具有一定的参考价值,感兴趣的可以了... 目录关键语法演示案例在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,当我们

Spring Boot 整合 MyBatis 连接数据库及常见问题

《SpringBoot整合MyBatis连接数据库及常见问题》MyBatis是一个优秀的持久层框架,支持定制化SQL、存储过程以及高级映射,下面详细介绍如何在SpringBoot项目中整合My... 目录一、基本配置1. 添加依赖2. 配置数据库连接二、项目结构三、核心组件实现(示例)1. 实体类2. Ma

SpringCloud负载均衡spring-cloud-starter-loadbalancer解读

《SpringCloud负载均衡spring-cloud-starter-loadbalancer解读》:本文主要介绍SpringCloud负载均衡spring-cloud-starter-loa... 目录简述主要特点使用负载均衡算法1. 轮询负载均衡策略(Round Robin)2. 随机负载均衡策略(

查看Oracle数据库中UNDO表空间的使用情况(最新推荐)

《查看Oracle数据库中UNDO表空间的使用情况(最新推荐)》Oracle数据库中查看UNDO表空间使用情况的4种方法:DBA_TABLESPACES和DBA_DATA_FILES提供基本信息,V$... 目录1. 通过 DBjavascriptA_TABLESPACES 和 DBA_DATA_FILES

Java实现数据库图片上传与存储功能

《Java实现数据库图片上传与存储功能》在现代的Web开发中,上传图片并将其存储在数据库中是常见的需求之一,本文将介绍如何通过Java实现图片上传,存储到数据库的完整过程,希望对大家有所帮助... 目录1. 项目结构2. 数据库表设计3. 实现图片上传功能3.1 文件上传控制器3.2 图片上传服务4. 实现

Spring、Spring Boot、Spring Cloud 的区别与联系分析

《Spring、SpringBoot、SpringCloud的区别与联系分析》Spring、SpringBoot和SpringCloud是Java开发中常用的框架,分别针对企业级应用开发、快速开... 目录1. Spring 框架2. Spring Boot3. Spring Cloud总结1. Sprin

使用Dify访问mysql数据库详细代码示例

《使用Dify访问mysql数据库详细代码示例》:本文主要介绍使用Dify访问mysql数据库的相关资料,并详细讲解了如何在本地搭建数据库访问服务,使用ngrok暴露到公网,并创建知识库、数据库访... 1、在本地搭建数据库访问的服务,并使用ngrok暴露到公网。#sql_tools.pyfrom

Spring Cloud之注册中心Nacos的使用详解

《SpringCloud之注册中心Nacos的使用详解》本文介绍SpringCloudAlibaba中的Nacos组件,对比了Nacos与Eureka的区别,展示了如何在项目中引入SpringClo... 目录Naacos服务注册/服务发现引⼊Spring Cloud Alibaba依赖引入Naco编程s依

Java实现数据库图片上传功能详解

《Java实现数据库图片上传功能详解》这篇文章主要为大家详细介绍了如何使用Java实现数据库图片上传功能,包含从数据库拿图片传递前端渲染,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1、前言2、数据库搭建&nbsChina编程p; 3、后端实现将图片存储进数据库4、后端实现从数据库取出图片给前端5、前端拿到