云卷云舒:独立式向量数据库?数据库向量式插件?

2024-01-13 09:44

本文主要是介绍云卷云舒:独立式向量数据库?数据库向量式插件?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

云卷云舒:算力网络+云原生(下):云数据库发展的新篇章-CSDN博客https://blog.csdn.net/bishenghua/article/details/135050556

圈内人都知道,2023 年是向量数据库的元年,最初起源于 2023年3月英伟达的黄仁勋在 GTC 大会上提出的这个概念,后续一炮走红,研发潮、投资潮随之而来。

一、向量数据库定义

在传统的关系型数据库中,数据是以表格的形式存储的,而在向量数据库中,数据则是以向量的形式存储的。这种新型的数据库技术,能够更有效地处理和分析大数据,因此在大数据时代中受到了广泛的关注和应用。随着AI 应用的大规模落地普及,数据量得到了暴涨,数据复杂度也大幅提升,数据库需要提高对向量分析和 AI 应用的支持能力。所以向量数据库也是人工智能与数据库结合发展的一个趋势。多模能力(包括向量检索)让应用可以把结构化数据和非结构化数据统一处理,所以说向量数据库也是“数据库一体化”发展的一个体现

二、行业动态

  1. 2023年6月,九章云极 DataCanvas 将 DingoDB 升级为多模向量数据库,并已于去年开源。
  2. 7 月 4 日,腾讯云发布 AI 原生向量数据库。
  3. 11 月 15 日,中国信通院联合腾讯云计算(北京)有限责任公司、中移(苏州)软件技术有限公司、北京枫清科技有限公司(Fabarta)等多家企业共同编制的、国内首个向量数据库标准正式发布。

三、技术场景分析

 向量数据库专注于存储和处理向量数据,并提供高效的向量搜索和相似性匹配功能。这种数据库的出现是为了满足越来越多应用场景对于高维度数据和向量计算的需求

各数据库厂商和研究机构都在致力于改进向量数据库的算法和架构,以提高其处理大规模数据的能力。而且,根据黄仁勋的说法,英伟达将推出一个新的 RAFT库,用于加速索引、数据加载和近邻检索,并考虑将 RAFT 的加速引入到Milvus 开源向量数据库和Redis里面。有了巨头们的技术和资金支持,向量数据库的市场空间相信会十分巨大,国内就有机构预估,到 2030 年,全球向量数据库市场规模将达到 500 亿美元。

随着大数据和人工智能的快速发展,越来越多的应用和场景需要处理和分析向量数据,差异化的设计优势主要体现在提供向量和关系型数据库的混合检索能力。凭借解决了传统数据库单纯关系型检索的弊端,快速的赢得技术行业和投资高手们的青睐,认为发展前景喜人。

四、两种形态

向量数据库的两种形态:

第一种传统数据库上加上一个向量检索的插件;

第二种独立的企业级向量数据库。

1、声音一:独立演进

行业的调研提及到,更多的是在原来传统数据库上增加了一项向量检索能力,也就是第一种形态。

我们姑且从数据存储方式、数据容量级、查询原理、算力要求四个维度分析,如下图

 传统数据库向量数据库
数据存储结构化数据非结构化数据转换为向量存储
数据容量千万级,百万级最佳至少百亿级,甚至千亿
查询原理精准“匹配式”,结果准确近似查询,结果返回多
算力要求理论上偏线性近似计算势必需要大规模算力,属于计算密集型

总结来说,向量数据库的主要特点是能够高效地存储和查询大规模的向量数据,通常基于向量相似度的查询和检索,对于维度越高、信息规模越庞大,效果越好。

2、声音二:插件化演进

当然也有很多人认为,向量数据库会弱化为数据库的向量索引,与数据库集成起来推出服务,主要理由有以下几点:

  • 向量数据库的核心是向量索引,正式索引能力的一种升级而已。
  • 向量数据库,首先得是数据库,同样需要处理数据安全、副本管理、容灾等问题,这些能力对于向量数据库来说,重新配备的成本巨大,有必要吗?
  • 除了大模型之外,大多的业务场景下,需要查询的数据类型肯定是结合的,关系型、非关系型、向量型结合来的,单纯的向量数据库难以单独推出满足大范围推广的需求。

所以,从以上三个角度来看,传统数据库集成向量索引特性,是一个大的趋势,在可以预见的未来更多的产品也将支持插件式向量能力。

 

五、向量数据库的发展趋势预测

1、正如前面所说,向量数据库的快速发展,不可避免的需要尽快的解决和各类型传统数据库的兼容集成、安全与管理能提升等;

2、在大模型快速发展的今天,强大的市场需求的磨练下,向量数据库势必会不断创新、推陈出新,成熟度会越发完善,同时近似查询的查询原理,在保证算力资源的前提下,不断提升近似坚实的精准性,在算力和效能之间不断平衡。

欢迎投票:

推荐:云卷云舒:AI for DB、DB for AI-CSDN博客

 

 

 

 

这篇关于云卷云舒:独立式向量数据库?数据库向量式插件?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/601035

相关文章

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

Ubuntu中远程连接Mysql数据库的详细图文教程

《Ubuntu中远程连接Mysql数据库的详细图文教程》Ubuntu是一个以桌面应用为主的Linux发行版操作系统,这篇文章主要为大家详细介绍了Ubuntu中远程连接Mysql数据库的详细图文教程,有... 目录1、版本2、检查有没有mysql2.1 查询是否安装了Mysql包2.2 查看Mysql版本2.

Oracle数据库常见字段类型大全以及超详细解析

《Oracle数据库常见字段类型大全以及超详细解析》在Oracle数据库中查询特定表的字段个数通常需要使用SQL语句来完成,:本文主要介绍Oracle数据库常见字段类型大全以及超详细解析,文中通过... 目录前言一、字符类型(Character)1、CHAR:定长字符数据类型2、VARCHAR2:变长字符数

Win11安装PostgreSQL数据库的两种方式详细步骤

《Win11安装PostgreSQL数据库的两种方式详细步骤》PostgreSQL是备受业界青睐的关系型数据库,尤其是在地理空间和移动领域,:本文主要介绍Win11安装PostgreSQL数据库的... 目录一、exe文件安装 (推荐)下载安装包1. 选择操作系统2. 跳转到EDB(PostgreSQL 的

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

mysql数据库重置表主键id的实现

《mysql数据库重置表主键id的实现》在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,本文主要介绍了mysql数据库重置表主键id的实现,具有一定的参考价值,感兴趣的可以了... 目录关键语法演示案例在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,当我们

Spring Boot 整合 MyBatis 连接数据库及常见问题

《SpringBoot整合MyBatis连接数据库及常见问题》MyBatis是一个优秀的持久层框架,支持定制化SQL、存储过程以及高级映射,下面详细介绍如何在SpringBoot项目中整合My... 目录一、基本配置1. 添加依赖2. 配置数据库连接二、项目结构三、核心组件实现(示例)1. 实体类2. Ma

查看Oracle数据库中UNDO表空间的使用情况(最新推荐)

《查看Oracle数据库中UNDO表空间的使用情况(最新推荐)》Oracle数据库中查看UNDO表空间使用情况的4种方法:DBA_TABLESPACES和DBA_DATA_FILES提供基本信息,V$... 目录1. 通过 DBjavascriptA_TABLESPACES 和 DBA_DATA_FILES

Java实现数据库图片上传与存储功能

《Java实现数据库图片上传与存储功能》在现代的Web开发中,上传图片并将其存储在数据库中是常见的需求之一,本文将介绍如何通过Java实现图片上传,存储到数据库的完整过程,希望对大家有所帮助... 目录1. 项目结构2. 数据库表设计3. 实现图片上传功能3.1 文件上传控制器3.2 图片上传服务4. 实现