本文主要是介绍Embedding及其数据库,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
我们知道,向量数据库是指用来在进行LLM问答时进行上下文检索的,一个好的向量数据库应该可以将LLM所需的信息提取出来精准匹配,但是由于算法的缺点,embedding数据库通过LLM的向量匹配是比较困难进行提取的,各种各样的距离算法也是效果各不相同,因此后面出现了各式各样的多次RAG来提高准确度,在实际应用场景中,还是有很多需要精度而对时间要求不那么高的场景的。因为,探究RAG的原理及其背后技术成为我们改进的基础。
首先,向量数据库的组成无非就是1.文章的分块器 2.文本预处理分词 3.向量化 4.向量化存储 5.向量检索 这五部分组成。流程是讲得通的,但是具体的原理,需要分别探究下
本专栏组成如下:
- 向量库数据组成
- 向量数据库的变体
- 向量数据库的使用方法
- RAG的主要进展
本文针对向量数据库组成这五部分进行详细描述、对比及分析。
1.文章的分块器
资料的格式往往是各种各样的,比如书籍、表格等等,长文本的出现使得向量化存储时,出现了太多过长的数据。这在大模型进行search时会非常的难受,因此,一个合适长度大小的文本在存储进向量数据库时,会更加的合适。
主要方法有如下:
1.按照固定的大小
2.按照标点符号或者段落
3.按照语义
4.大模型代替分块(成本较高)
5.等等其他方法
无论哪种方法,都不可避免的使得一个块的语义不完整,但这是目前一个比较好的策略
可以详细阅读此文章,以获取在分块时更详细的选择依据分块策略
2.预处理
针对已经分块的文章,格式如下:
“这是一个示例文档…共xxxx字”
首先利用tokenizer对其进行分词成一个list,设分为n个词
则sentence_data的shape为[1,n]
训练tokenizer主要的使用为统计特征。基本上使用目前常用的一些tokenizer即可
3.向量化
向量化的目前是将sentence存储进入数据库,而不同句子长度的token数不同,因此需要进行一些处理,这也是需要进行训练的步骤,好的embedding模型会让向量检索更精准。
以sentence bert 为例,在embedding阶段,他就是将句子的每一个词通过了一个bert模型,再进行一个平均池化,这样就能得到一个固定维度大小的向量。
设embedding维度为 De,则形状变化为[1,n]→[De,n]→[De,1]
在训练阶段的训练方法,是通过两个句子相关label进行训练的,之所以使用bert模型,是因为向量检索时的句子上下文是完整的,被检索的句子也是完整的,因为双向注意力能够最好的获取句子语义特征,从而进行更精准匹配。
4.向量存储
向量存储是为向量检索服务的
基本上来讲,就是索引+元数据+向量进行保存
一般来讲,现在的向量数据库产品都是提供了1.向量数据存储(各种格式)2.向量检索功能。
5.向量检索
向量检索是根据query,对数据库进行检索,将语义相近的文本进行提取的过程,因此,如何从一个巨大的数据库中进行搜索就是一个问题。尤其是一个多维向量。
那么在此基础上,就衍生出了许多搜索算法,基本上做的就是两件事儿:1.减少搜索范围 2.适当降低精度加快速度。至于具体的算法就不进行介绍了,可以去看这篇博客:一文全面了解向量数据库的基本概念、原理、算法、选型
这篇关于Embedding及其数据库的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!