构建LangChain应用程序的示例代码:35、如何使用假设性文档嵌入(HyDE)技术来改善文档索引教程

本文主要是介绍构建LangChain应用程序的示例代码:35、如何使用假设性文档嵌入(HyDE)技术来改善文档索引教程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

使用假设性文档嵌入(HyDE)改善文档索引

摘要

本文介绍了如何使用假设性文档嵌入(Hypothetical Document Embeddings,简称HyDE),这是根据一篇论文中描述的技术。HyDE 是一种嵌入技术,它接收查询,生成一个假设性的答案,然后嵌入该生成的文档,并将其作为最终示例使用。

代码及注释

from langchain.chains import HypotheticalDocumentEmbedder, LLMChain
from langchain.prompts import PromptTemplate
from langchain_openai import OpenAI, OpenAIEmbeddings# 初始化基础嵌入模型
base_embeddings = OpenAIEmbeddings()
# 初始化语言模型
llm = OpenAI()# 使用web_search提示加载HyDE
embeddings = HypotheticalDocumentEmbedder.from_llm(llm, base_embeddings, "web_search")# 现在我们可以像使用任何嵌入类一样使用它
result = embeddings.embed_query("泰姬陵在哪里?")

多生成文档

我们也可以生成多个文档,然后组合这些文档的嵌入。默认情况下,我们通过取平均值来组合它们。我们可以通过改变生成文档的LLM来返回多个结果。

# 初始化返回多个结果的语言模型
multi_llm = OpenAI(n=4, best_of=4)# 使用多生成语言模型加载HyDE
embeddings = HypotheticalDocumentEmbedder.from_llm(multi_llm, base_embeddings, "web_search"
)# 嵌入查询
result = embeddings.embed_query("泰姬陵在哪里?")

使用自定义提示

除了使用预配置的提示外,我们也可以轻松构建自己的提示,并在生成文档的LLMChain中使用它们。如果我们知道查询将涉及的领域,这将非常有用,因为我们可以调整提示以生成更类似于该领域的文本。

以下示例中,我们将提示条件设置为生成有关国情咨文的文本。

# 定义自定义提示模板
prompt_template = """请回答用户关于最近一次国情咨文的问题
问题:{question}
答案:"""
# 创建提示模板对象
prompt = PromptTemplate(input_variables=["question"], template=prompt_template)
# 初始化使用自定义提示的LLMChain
llm_chain = LLMChain(llm=llm, prompt=prompt)# 使用自定义提示加载HyDE
embeddings = HypotheticalDocumentEmbedder(llm_chain=llm_chain, base_embeddings=base_embeddings
)# 嵌入查询
result = embeddings.embed_query("总统在谈到Ketanji Brown Jackson时说了什么?"
)

使用HyDE

现在我们有了HyDE,我们可以像使用其他任何嵌入类一样使用它!以下是使用它在国情咨文示例中查找相似段落的方法。

from langchain_community.vectorstores import Chroma
from langchain_text_splitters import CharacterTextSplitter# 读取国情咨文文本
with open("../../state_of_the_union.txt") as f:state_of_the_union = f.read()
# 初始化文本分割器
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
# 分割文本
texts = text_splitter.split_text(state_of_the_union)# 使用Chroma从分割后的文本和嵌入创建文档搜索引擎
docsearch = Chroma.from_texts(texts, embeddings)# 定义查询
query = "总统在谈到Ketanji Brown Jackson时说了什么?"
# 执行相似性搜索
docs = docsearch.similarity_search(query)# 打印搜索结果
print(docs[0].page_content)

总结

本文详细介绍了如何使用假设性文档嵌入(HyDE)技术来改善文档索引。通过提供基础嵌入模型和生成文档的语言模型链(LLMChain),我们可以生成假设性答案并将其嵌入作为最终示例。此外,我们还探讨了如何使用自定义提示来生成特定领域的文本,以及如何将HyDE与其他工具结合使用,如Chroma和CharacterTextSplitter,以实现文档的高效索引和搜索。

扩展知识

  • HyDE (Hypothetical Document Embeddings):一种文档嵌入技术,通过生成假设性答案来改善文档索引和搜索。
  • LLMChain:用于生成文档的语言模型链,可以与HyDE结合使用。
  • OpenAIEmbeddings:OpenAI 提供的嵌入模型,用于生成文档嵌入。
  • PromptTemplate:用于定义和生成自定义提示的模板。
  • Chroma:一个向量存储库,用于文档搜索和相似性搜索。
  • CharacterTextSplitter:用于将长文本分割成更小的块,以便于处理和索引。

这篇关于构建LangChain应用程序的示例代码:35、如何使用假设性文档嵌入(HyDE)技术来改善文档索引教程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1070368

相关文章

Windows环境下解决Matplotlib中文字体显示问题的详细教程

《Windows环境下解决Matplotlib中文字体显示问题的详细教程》本文详细介绍了在Windows下解决Matplotlib中文显示问题的方法,包括安装字体、更新缓存、配置文件设置及编码調整,并... 目录引言问题分析解决方案详解1. 检查系统已安装字体2. 手动添加中文字体(以SimHei为例)步骤

Spring Boot中的路径变量示例详解

《SpringBoot中的路径变量示例详解》SpringBoot中PathVariable通过@PathVariable注解实现URL参数与方法参数绑定,支持多参数接收、类型转换、可选参数、默认值及... 目录一. 基本用法与参数映射1.路径定义2.参数绑定&nhttp://www.chinasem.cnbs

C++中assign函数的使用

《C++中assign函数的使用》在C++标准模板库中,std::list等容器都提供了assign成员函数,它比操作符更灵活,支持多种初始化方式,下面就来介绍一下assign的用法,具有一定的参考价... 目录​1.assign的基本功能​​语法​2. 具体用法示例​​​(1) 填充n个相同值​​(2)

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​,用于描述对象在其生命

Java JDK1.8 安装和环境配置教程详解

《JavaJDK1.8安装和环境配置教程详解》文章简要介绍了JDK1.8的安装流程,包括官网下载对应系统版本、安装时选择非系统盘路径、配置JAVA_HOME、CLASSPATH和Path环境变量,... 目录1.下载JDK2.安装JDK3.配置环境变量4.检验JDK官网下载地址:Java Downloads

PostgreSQL中rank()窗口函数实用指南与示例

《PostgreSQL中rank()窗口函数实用指南与示例》在数据分析和数据库管理中,经常需要对数据进行排名操作,PostgreSQL提供了强大的窗口函数rank(),可以方便地对结果集中的行进行排名... 目录一、rank()函数简介二、基础示例:部门内员工薪资排名示例数据排名查询三、高级应用示例1. 每

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

深入理解Go语言中二维切片的使用

《深入理解Go语言中二维切片的使用》本文深入讲解了Go语言中二维切片的概念与应用,用于表示矩阵、表格等二维数据结构,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧... 目录引言二维切片的基本概念定义创建二维切片二维切片的操作访问元素修改元素遍历二维切片二维切片的动态调整追加行动态

prometheus如何使用pushgateway监控网路丢包

《prometheus如何使用pushgateway监控网路丢包》:本文主要介绍prometheus如何使用pushgateway监控网路丢包问题,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录监控网路丢包脚本数据图表总结监控网路丢包脚本[root@gtcq-gt-monitor-prome

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数