LlamaIndex 实现 RAG（二）- 文档解析

本文主要是介绍LlamaIndex 实现 RAG（二）- 文档解析，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

RAG 中最关键的就是知识库构建，知识库主要的作用就是为大模型提供内企业内部知识或者新的知识。在 RAG 中，知识存储通常是把文档进行拆分为块 (Chunk)，并通过 Embedding 模型将文档块转为向量型数据，并将向量数据进行保存，为后续的搜索提供数据。文档通常分为多种类型，比较常见的文档类型包括 Work、PDF、Markdown，对于 Excel 这种表格型文档，也可以转为 Markdown 类型的文档，本文将使用 LlamaIndex 对不同文档进行切分、向量化和并进行搜索。

文档切分

先来看上一篇文章中所切分的 PDF 文档，文档总共13 页，分析一下 LlamaIndex 的切分结果。

    # 读取 "./data" 目录中的数据并加载为文档对象documents = SimpleDirectoryReader("./data").load_data()

文件被解析成了 13 个文档，每页转成了一个文档

在这里插入图片描述
PDF 转换代码如下

LamaIndex 中 Document 都是 Node，对于文字类型的节点，节点类型为 TextNode，对于图片，对应的节点类型为 ImageNode，ImageNode 用于多模态，语意搜索时会检查每个节点的向量，如下图所示。

接下来，需要将长文档进行切分，要对上文所讲的 13 页进行进一步的切分，并转为向量。下面这一行代码，包含了将文档进行切分，并通过 Embedding Model 转为向量的逻辑。

vector_index = VectorStoreIndex.from_documents(documents, embed_model=ollama_embedding)

Node 切分在 LlamaIndex 中，默认通过 SentenceSplitter 进行切分，切分参数如下1024 Token 进行切分，20 个重叠，重叠可以认为就是个移动的窗口。以下配置为切分的默认配置项：

DEFAULT_CHUNK_SIZE = 1024 # tokens
DEFAULT_CHUNK_OVERLAP = 20 # tokens
DEFAULT_SIMILARITY_TOP_K = 2
DEFAULT_IMAGE_SIMILARITY_TOP_K = 2

从配置项可知，文档是按照 1000 Token进行切分的，1000 个Token 肯定是超过一页了，文档有 13 页，如果按1000 Token 来拆分，最后 Node 也是 13 个。下图中是 LlamaIndex 进行句子切分的类：
在这里插入图片描述
切分完成之后，会通过 Embedding 将 Node 转为向量。

如果我们想采用更细力度的策略进行拆分呢？在 LlamaIndex 中，可以自定义文档切分方式，例如我们想按 100 Token 进行切分，可以自定义文档切分的策略，chunk_size=100，代码如下：

    vector_index = VectorStoreIndex.from_documents(documents, embed_model=ollama_embedding, transformations=[SentenceSplitter(chunk_size=100, chunk_overlap=20)],)

在这里插入图片描述
ChunkSize 不易偏小，太小有可能获取的上下文数据不完整最终模型无法给出更好的回答。

Word 文档

解析 Word 文档，Word 从处理方式来说和 PDF 相似，只是底层的解析器用到的不一样，从下面代码中可以看到 LlamaIndex 对于不同类型的文档使用的解析器。

        from llama_index.readers.file import (DocxReader,EpubReader,HWPReader,ImageReader,IPYNBReader,MarkdownReader,MboxReader,PandasCSVReader,PandasExcelReader,PDFReader,PptxReader,VideoAudioReader,)  # pants: no-infer-depdefault_file_reader_cls: Dict[str, Type[BaseReader]] = {".hwp": HWPReader,".pdf": PDFReader,".docx": DocxReader,".pptx": PptxReader,".ppt": PptxReader,".pptm": PptxReader,".gif": ImageReader,".jpg": ImageReader,".png": ImageReader,".jpeg": ImageReader,".webp": ImageReader,".mp3": VideoAudioReader,".mp4": VideoAudioReader,".csv": PandasCSVReader,".epub": EpubReader,".md": MarkdownReader,".mbox": MboxReader,".ipynb": IPYNBReader,".xls": PandasExcelReader,".xlsx": PandasExcelReader,}

Word 解析代码如下:

def get_doc_index():'''解析 words'''# 创建 OllamaEmbedding 实例，用于指定嵌入模型和服务的基本 URLollama_embedding = OllamaEmbedding(model_name="nomic-embed-text",base_url="http://10.91.3.116:11434")# 读取 "./data" 目录中的数据并加载为文档对象documents = SimpleDirectoryReader(input_files=['./docs/a1.docx']).load_data()# 从文档中创建 VectorStoreIndex，并使用 OllamaEmbedding 作为嵌入模型vector_index = VectorStoreIndex.from_documents(documents, embed_model=ollama_embedding, transformations=[SentenceSplitter(chunk_size=1000, chunk_overlap=20)],)vector_index.set_index_id("vector_index")  # 设置索引 IDvector_index.storage_context.persist("./storage")  # 将索引持久化到 "./storage"return vector_index

Html 页面

解析 Html 页面，通过 Html 解析器，将 Html 转成 Document，从 Document 转为 Node 代码同 PDF。LlamaIndex 中集成多种解析器，本事使用的是 FireCrawlWebReader，很多网页都是 SPA 实现的，需要 JS 运行才能获取到 HTML 代码，所以需要第三方的 API，也可以自行HeadLess Chrome 去实现。 Html 解析完成之后，需要把文档存下来，从而不需要每次都做一次解析。

代码如下：

# 解析网页保存
def get_webpage_index():docstore = SimpleDocumentStore()firecrawl_reader = FireCrawlWebReader(api_key=os.environ.get("FC_API_KEY"),  # Replace with your actual API key from https://www.firecrawl.dev/mode="scrape")documents = firecrawl_reader.load_data(url="https://www.joinquant.com/help/api/help#name:Stock")docstore.add_documents(documents)docstore.persist(persist_path="./docstorage/docstore") print(documents)# 创建网页索引
def load_doc():store  = SimpleDocumentStore.from_persist_path("./docstorage/docstore.json")doc = [store.get_document("be3bd9b5-7099-4143-807e-ca6e39ba3cb0")]return doc