【大模型LLMs】文本分块Chunking调研LangChain实战

本文主要是介绍【大模型LLMs】文本分块Chunking调研LangChain实战，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

总结目前主流的文本分块chunking方法，给出LangChain实现各类chunking方法的示例

Chunking策略类型

1. 基于规则的文本分块

• 固定大小分块： 按照固定大小的字符数目/token数目以及特定的分隔符对文本进行切分，是最常见的分块方式，简单直接，不依赖NLP能力，成本低易于使用
  • chunk_size： 块大小
  • chunk_overlap： 重叠字符数目，允许不同块之间存在重复内容，以保证语义上下文的一致性和连贯性
  • tokenizer： 分词模型（非必需，直接用原字符分块则无需tokenizer）
• 内容感知分块： 考虑文本本身的 语法/句法结构（显式的分隔符） 进行分块
  • 依赖显式的分隔符进行切块： 常用的标点符号、空格字符、换行符等
  • 依赖各类工具库： NLTK、spaCy等
• 结构感知分块： 主要针对Markdown或HTML等具有明确结构格式的文档，对文本进行解析
• 递归分块： 递归分块首先尝试按照一定的标准（如段落或标题）分割文本，如果分割后的文本块仍然过大，就会在这些块上重复进行分割过程，直到所有块的大小都符合要求

2. 基于语义Embedding分块

本质是基于滑动窗口的思想，依次计算相邻的两句话之间的语义相似度，满足阈值的视为表示同样的语义/主题，会划分到同一个块中，不满足阈值的则进行切分。

• 文本表征： 基于BERT、OpenAI的Embedding model等预训练模型对所有文本进行embedding，获得文本的语义特征向量
• 语义分析： 通过余弦相似度等方式计算两句话之间的语义关系
• 分块决策： 判断两句话之间是否需要分块，一般基于语义相似度，超过阈值则划分至同一个块，反之则切分；尽量保证每个分块的语义独立和完整

3. 基于端到端模型的分块

• NSP： 使用BERT模型的 下一句预测任务（Next Sentence Prediction，NSP） 判断两句话之间是否需要切分
• Cross-Segment： 采用跨片段的注意力机制来分析文本。首先利用BERT模型获取句子的向量表示，然后将连续多个句子的向量表示输入到另一个BERT或者LSTM模型中，一次性预测每个句子是否为分块的边界
  
• SeqModel：在Cross-Segment基础上，增强了上下文表示，并通过自适应滑动窗口的思想提高模型速度。相比Cross-Segment，SeqModel 可以同时处理更多句子，通过自注意力机制建模更长上下文和句子间的依赖关系
  

4. 基于大模型的分块

基本等效于single-document的summarization extraction任务，参考LLMs-based Summarization方法，通过知识蒸馏或提示工程的方式，让LLMs抽取文本中的要点

• 基于知识蒸馏的方法： 一般采用teacher-student架构，由GPT4类参数规模较大的LLMs作为teacher，从全文中抽取摘要作为“标准答案”，作为训练语料微调Llama2-7B类参数规模较小的LLMs（student）
• 基于CoT的方法： 设置预制问题/Plan规划等，让大模型按照要求给出回复

---

Chunking工具使用（LangChain）

1. 固定大小分块（字符&token）

from langchain.text_splitter import CharacterTextSplitter, RecursiveCharacterTextSplitterdef get_document_text(doc_path_list: list[str]) -> list[str]:text_list = []for doc_path in doc_path_list:with open(doc_path, 'r', encoding='utf-8') as f:text = f.read()text_list.append(text)return text_listdef character_chunking(text_list: list[str], character_type: str="char"):if character_type == "char":# 字符级text_splitter = CharacterTextSplitter(chunk_size=512, chunk_overlap=128, separator="\n", strip_whitespace=True)elif character_type == "token":# token级别text_splitter = CharacterTextSplitter.from_tiktoken_encoder(model_name="gpt-4",chunk_size=512, chunk_overlap=128, separator="\n", strip_whitespace=True)else:returnchunking_res_list = text_splitter.create_documents(text_list)for chunking_res in chunking_res_list:print(chunking_res)print("*"*100)def recursive_character_chunking(text_list: list[str], character_type: str="char"):if character_type == "char":# 字符级text_splitter = RecursiveCharacterTextSplitter(chunk_size=512, chunk_overlap=128, separators=["\n\n", "\n", "。", ".", "?", "？", "!", "！"], strip_whitespace=True)elif character_type == "token":# token级别text_splitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder(model_name="gpt-4",chunk_size=512, chunk_overlap=128, separators=["\n\n", "\n", "。", ".", "?", "？", "!", "！"], strip_whitespace=True)else:returnchunking_res_list = text_splitter.create_documents(text_list)for chunking_res in chunking_res_list:print(chunking_res)print("*"*100)if __name__ == "__main__":doc_path_list = ['../data/chunking_test.txt']text_list = get_document_text(doc_path_list)# character_chunking(text_list)recursive_character_chunking(text_list, character_type="token")

2. 语义分块

from langchain_experimental.text_splitter import SemanticChunker
from langchain_openai.embeddings import OpenAIEmbeddings
from langchain_community.embeddings import HuggingFaceBgeEmbeddingsdef get_document_text(doc_path_list: list[str]) -> list[str]:text_list = []for doc_path in doc_path_list:with open(doc_path, 'r', encoding='utf-8') as f:text = f.read()text_list.append(text)return text_listdef semantic_chunking(text_list: list[str]): # embeddings = OpenAIEmbeddings()  # 使用openai模型embeddings = HuggingFaceBgeEmbeddings(  model_name = '../../../model/bge-base-zh-v1.5') # 使用huggingface的bge embeddings模型text_splitter = SemanticChunker(embeddings = embeddings,breakpoint_threshold_type = "percentile",  # 百分位数breakpoint_threshold_amount = 30,  # 百分比sentence_split_regex = r"(?<=[。？！])\s+"  # 正则，用于分句)chunking_res_list = text_splitter.create_documents(text_list)for chunking_res in chunking_res_list:print(chunking_res)print("*"*100)if __name__ == "__main__":doc_path_list = ['../data/chunking_test.txt']text_list = get_document_text(doc_path_list)semantic_chunking(text_list)

这篇关于【大模型LLMs】文本分块Chunking调研LangChain实战的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---