大模型入门到精通——使用Embedding API及搭建本地知识库(一)

2024-08-24 23:52
文章标签 使用 入门 精通 模型 搭建 api 本地 知识库 embedding

本文主要是介绍大模型入门到精通——使用Embedding API及搭建本地知识库(一)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

使用Embedding API及搭建本地知识库

1. 基于智谱AI调用Embedding API实现词向量编码

首先，生成.env 文件，填写好智谱AI的API-key

参考：大模型入门到实战——基于智谱API key 调用大模型文本生成

在这里插入图片描述

读取本地/项目的环境变量。

find_dotenv() 寻找并定位 .env 文件的路径

load_dotenv() 读取该 .env 文件，并将其中的环境变量加载到当前的运行环境中

如果你设置的是全局的环境变量，这行代码则没有任何作用。

from zhipuai import ZhipuAI
import os 
from dotenv import load_dotenv, find_dotenv
from zhipuai import ZhipuAI# 读取本地/项目的环境变量。# find_dotenv() 寻找并定位 .env 文件的路径
# load_dotenv() 读取该 .env 文件，并将其中的环境变量加载到当前的运行环境中  
# 如果你设置的是全局的环境变量，这行代码则没有任何作用。
_ = load_dotenv(find_dotenv())
def zhipu_embedding(text: str):api_key = os.environ["API_key"]client = ZhipuAI(api_key=api_key)response = client.embeddings.create(model="embedding-2",input=text,)return responsetext = '要生成 embedding 的输入文本，字符串形式。'
response = zhipu_embedding(text=text)
print(response)

在这里插入图片描述

同样的我们也可以从response中获取embedding的类型和embedding。response为zhipuai.types.embeddings.EmbeddingsResponded类型，我们可以调用object、data、model、usage来查看response的embedding类型、embedding、embedding model及使用情况。 

print(f'response类型为：{type(response)}')
print(f'embedding类型为：{response.object}')
print(f'生成embedding的model为：{response.model}')
print(f'生成的embedding长度为：{len(response.data[0].embedding)}')
print(f'embedding（前10）为: {response.data[0].embedding[:10]}')
response类型为：<class 'zhipuai.types.embeddings.EmbeddingsResponded'>
embedding类型为：list
生成embedding的model为：embedding-2
生成的embedding长度为：1024
embedding（前10）为: [0.017892399802803993, 0.0644201710820198, -0.009342825971543789, 0.02707476168870926, 0.004067837726324797, -0.05597858875989914, -0.04223804175853729, -0.03003198653459549, -0.016357755288481712, 0.06777040660381317]

2. 数据读取

2.1 使用 LangChain 的 PyMuPDFLoader 读取 PDF 文档

在构建知识库时，处理 PDF 文档是一项常见的任务。LangChain 提供了一个高效的工具——PyMuPDFLoader，用于读取和解析 PDF 文件。PyMuPDFLoader 是目前 PDF 解析器中速度最快的一种，能够快速处理大规模的 PDF 文件，并提取其中的内容和元数据。使用 LangChain 的 PyMuPDFLoader，可以快速、高效地解析 PDF 文档，并提取出详细的文本内容和元数据。这使得在知识库建设中，处理 PDF 文件变得更加简单和高效。

1. PyMuPDFLoader 的特点
  • 高效性：PyMuPDFLoader 能够快速解析 PDF 文件，并从中提取文本和元数据。
  • 详细的元数据：它不仅提取文本内容，还能够获取 PDF 文档和每一页的详细元数据，例如作者、标题、页数等。
  • 逐页返回文档：在解析过程中，PyMuPDFLoader 将每一页的内容作为单独的文档返回，便于进一步处理和分析。

安装

pip install langchain
pip install -U langchain-community
pip install pymupdf
pip install unstructured
2. PyMuPDFLoader 的用法

下面是使用 PyMuPDFLoader 读取 PDF 文件的基本步骤：

from langchain.document_loaders import PyMuPDFLoader# 初始化加载器，传入 PDF 文件的路径
loader = PyMuPDFLoader("your_pdf_file.pdf")# 加载文档，返回一个文档列表，每个文档对应 PDF 文件中的一页
documents = loader.load()# 查看加载的文档
for doc in documents:print(doc.page_content)  # 打印每一页的内容print(doc.metadata)      # 打印每一页的元数据
  1. 导入模块：首先，从 langchain.document_loaders 导入 PyMuPDFLoader 类。
  2. 初始化加载器：创建一个 PyMuPDFLoader 实例，并传入要解析的 PDF 文件的路径。
  3. 加载文档：使用 load() 方法加载 PDF 文档。此方法将返回一个文档列表，每个文档对应 PDF 文件中的一页。
  4. 查看文档内容：通过遍历文档列表，可以访问每一页的内容和元数据。
  5. 注意事项
    1. 确保 PDF 文件路径正确且文件存在。
    2. 列表索引从 0 开始，因此 pdf_pages[1] 代表第二页。

实际例子:

from langchain.document_loaders.pdf import PyMuPDFLoader# 创建一个 PyMuPDFLoader Class 实例，输入为待加载的 pdf 文档路径
loader = PyMuPDFLoader("传统CV算法-机器学习.pdf")# 调用 PyMuPDFLoader Class 的函数 load 对 pdf 文件进行加载
pdf_pages = loader.load()print(f"载入后的变量类型为：{type(pdf_pages)}，",  f"该 PDF 一共包含 {len(pdf_pages)} 页")pdf_page = pdf_pages[1]
print(f"每一个元素的类型：{type(pdf_page)}.", f"该文档的描述性数据：{pdf_page.metadata}", f"查看该文档的内容:\n{pdf_page.page_content}", sep="\n------\n")

在这里插入图片描述

3. 应用场景

PyMuPDFLoader 特别适用于需要从大型 PDF 文档中提取特定内容或处理包含复杂结构的 PDF 文件的场景。它能够帮助用户有效地构建和管理基于 PDF 文档的知识库。

2.2 读取markdown文档

以几乎完全一致的方式读入 markdown 文档：

from langchain.document_loaders.markdown import UnstructuredMarkdownLoaderloader = UnstructuredMarkdownLoader("../../data_base/knowledge_db/prompt_engineering/1. 简介 Introduction.md")
md_pages = loader.load()
print(f"载入后的变量类型为：{type(md_pages)}，",  f"该 Markdown 一共包含 {len(md_pages)} 页")
md_page = md_pages[0]
print(f"每一个元素的类型：{type(md_page)}.", f"该文档的描述性数据：{md_page.metadata}", f"查看该文档的内容:\n{md_page.page_content[0:][:200]}", sep="\n------\n")

读取的对象和 PDF 文档读取出来是完全一致的：

在这里插入图片描述

3. 数据清洗

在构建知识库时，数据清洗是一个非常重要的步骤，其目的是为了确保知识库中的数据是有序的、优质的和精简的。以下是为什么在知识库搭建过程中需要清洗数据的一些原因：

3.1 特点

1. 提高数据的可读性

原始数据可能包含许多格式化问题，比如在读取 PDF 文件时常见的换行符（\n）问题。这些换行符在文档中可能是由于排版原因而存在，但在知识库中可能会破坏内容的连贯性，影响可读性。通过清洗数据，可以去除这些不必要的换行符，使文本更加流畅和易读。

2. 减少噪音数据

噪音数据是指那些对信息的理解没有帮助，甚至可能产生误导的无用数据。例如，文档中多余的空行、格式化字符、无意义的符号等，都会影响文本的质量和理解。清洗数据的过程可以帮助去除这些噪音，保留有用的关键信息。

3. 保证数据的一致性

知识库中的数据应该具有一致的格式和结构，以便于后续的查询和分析。如果数据格式不一致，例如同一类型的信息在不同文档中以不同的方式呈现，会导致查询复杂化，甚至产生错误的结果。清洗数据有助于确保格式的一致性。

4. 优化存储和处理效率

冗余和无用的数据不仅占用存储空间，还会增加处理复杂度，导致资源浪费。通过数据清洗，可以删除多余的信息，精简数据结构，从而提高存储和处理的效率。

5. 提升模型的精度

如果知识库数据是用于训练机器学习或自然语言处理模型的，那么数据的质量直接影响模型的性能。清洗数据可以确保模型的训练集更准确，从而提升模型的精度和有效性。

6. 保持数据的相关性

在一些情况下，原始文档中可能包含过时或不相关的信息，这些信息可能对当前的知识库没有价值。清洗数据的过程可以帮助筛选出最新的、最相关的信息，确保知识库内容的高质量。

3.2 代码示例：使用正则表达式清洗数据

以下是一个简单的 Python 代码示例，展示如何使用正则表达式来删除文本中的多余换行符：

import re# 原始文本数据（包含多余的换行符）
raw_text = "这是一个示例文本。\n\n它被分成了\n多行，\n但实际上是\n一个连续的句子。"# 使用正则表达式删除多余的换行符
cleaned_text = re.sub(r'\n+', ' ', raw_text)  # 替换多个连续的换行符为一个空格
cleaned_text = re.sub(r'(?<!\n)\n(?!\n)', ' ', cleaned_text)  # 删除单个换行符，但保留段落之间的换行print("清洗后的文本：")
print(cleaned_text)

消除掉空格，•等字符

pdf_page.page_content = pdf_page.page_content.replace('•', '')
pdf_page.page_content = pdf_page.page_content.replace(' ', '')
print(pdf_page.page_content)

4. 文档分割

、在构建向量知识库时，由于文档长度可能超过模型支持的上下文长度，因此需要将文档分割成较小的片段（chunk），以便模型能够有效处理和检索。这是通过 chunk_size 和 chunk_overlap 两个参数来控制分割过程的。通过设置合理的 chunk_size 和 chunk_overlap，可以有效地分割文档，使得模型能够在处理长文档时，依然保持对上下文的理解能力，并且在检索时返回高质量的结果。这种方法在构建高效的向量知识库中非常重要。在检索时，我们会以 chunk 作为检索的元单位，也就是每一次检索到 k 个 chunk 作为模型可以参考来回答用户问题的知识。

在这里插入图片描述

4.1 chunk_size（块大小）

chunk_size 指每个块包含的字符或 Token （如单词、句子等）的数量

chunk_size 是指每个文档片段的最大长度（通常以字符或标记数来计量）。这个参数决定了每个 chunk 的大小。较大的 chunk_size 可以包含更多的上下文信息，但也有可能超出模型的处理能力；而较小的 chunk_size 则更容易被模型处理，但可能会丢失一些上下文。

4.2 chunk_overlap（块重叠大小）

  • chunk_overlap 指两个块之间共享的字符数量，用于保持上下文的连贯性，避免分割丢失上下文信息

chunk_overlap 定义了相邻 chunk 之间的重叠部分的大小。这是为了确保每个 chunk 在分割后，依然保留部分上下文信息，从而在模型处理时，不会因为分割而导致语义的断裂。例如，如果一个句子被分割成两个 chunk，通过 chunk_overlap 保持部分重叠，可以确保两个 chunk 都包含完整的句子信息。

4.3 分割方式的选择

  • 按长度分割：可以简单地按 chunk_size 指定的长度进行分割，然后按 chunk_overlap 进行重叠处理。这种方法适用于内容比较平铺直叙的文档。
  • 按固定规则分割：有时，我们可以根据自然段落、句子或其他语义单位来分割，这种方法需要更复杂的分割逻辑，但能够更好地保持文本的语义完整性。

4.4 实际使用示例

在实际操作中，我们可以通过 LangChain 提供的文本分割器来实现这些功能。

  • RecursiveCharacterTextSplitter(): 按字符串分割文本，递归地尝试按不同的分隔符进行分割文本。
  • CharacterTextSplitter(): 按字符来分割文本。
  • MarkdownHeaderTextSplitter(): 基于指定的标题来分割markdown 文件。
  • TokenTextSplitter(): 按token来分割文本。
  • SentenceTransformersTokenTextSplitter(): 按token来分割文本
  • Language(): 用于 CPP、Python、Ruby、Markdown 等。
  • NLTKTextSplitter(): 使用 NLTK（自然语言工具包）按句子分割文本。
  • SpacyTextSplitter(): 使用 Spacy按句子的切割文本。

以下是一个基本的代码示例：

from langchain.text_splitter import CharacterTextSplitter# 设置块大小和重叠大小
chunk_size = 500
chunk_overlap = 50# 初始化文本分割器
text_splitter = CharacterTextSplitter(chunk_size=chunk_size, chunk_overlap=chunk_overlap)# 原始文档内容
text = "这是一个非常长的文档内容，需要进行分割处理。..."# 执行分割
chunks = text_splitter.split_text(text)# 打印分割后的 chunks 数量和部分内容
print(f"总共分割为 {len(chunks)} 个 chunk")
print(chunks[:2])  # 打印前两个 chunk 作为示例
# 使用递归字符文本分割器
'''
text_splitter = RecursiveCharacterTextSplitter(chunk_size=CHUNK_SIZE,chunk_overlap=OVERLAP_SIZE
)
text_splitter.split_text(pdf_page.page_content[0:1000])
'''

4.5 检索时的应用

在检索时，模型会以 chunk 作为基本的检索单位，返回与查询最相关的 k 个 chunk。这些 chunk 作为模型回答问题的参考知识，k 的值可以根据具体需求和模型的容量进行调整，以平衡性能和答案的准确性。

参考

https://datawhalechina.github.io/llm-universe/#/C3/3.数据处理

这篇关于大模型入门到精通——使用Embedding API及搭建本地知识库(一)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1103963。

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
pdfmake生成pdf的使用

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据，将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2