基于LangChain,使用自有知识库创建GPT智能体

2024-04-15 02:28

本文主要是介绍基于LangChain,使用自有知识库创建GPT智能体,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

大家好,Langchain智能体在定制对话界面方面具有实际应用潜力,能够灵活适应并满足用户的多样化需求。借助Langchain,开发者可以整合多种格式数据,如URL链接或PDF文件,来构建一个专属知识库。这个知识库不仅能够为智能体提供丰富的信息资源以回答问题,还能结合搜索引擎或Zapier等工具,实现更多自动化功能。

本文详细介绍如何搭建Langchain智能体,使其能够依据PDF文档内容提供答案,并通过Zapier平台自动化发送邮件。通过这些流程,大家能够深入了解并实践Langchain智能体的强大功能。

1.环境搭建

首先,需要安装Langchain和其他依赖项:

!pip install langchain
!pip install pypdf
!pip install pinecone-client
!pip install openai
!pip install tiktoken

还需要为OpenAI和Pinecone设置API密钥:

import os
import pineconeos.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"# 初始化Pinecone
pinecone.init(api_key="YOUR_PINECONE_API_KEY",  # 在app.pinecone.io查找environment="YOUR_ENVIRONMENT_NAME"  # 控制台中API密钥旁边
)

2.创建索引

Langchain智能体能够利用定制化的知识库来检索和获取信息。为了让大型语言模型能够有效地理解并处理这些信息,需要确保其能够掌握相关的上下文。通常,可以通过将完整的上下文信息连同用户的查询一起输入模型来实现。然而,当处理大量数据时,这种方法就会变得不切实际。

为了解决这个问题,采用索引技术来优化知识库的存储和检索。通过索引,数据被划分为多个小片段,每个片段都通过向量形式编码了其语义信息。当用户发起查询,系统将根据查询内容搜索对应的向量,快速定位到包含所需信息的数据片段。这样,系统仅向语言模型提供与用户查询直接相关的数据片段,而不是将全部数据集一次性输入,从而大幅提高了检索效率,并确保结果的精确性。

2.1 从PDF加载数据

现在,为定制化知识库加载文档。使用PDF文件作为示例,但Langchain也支持其他格式。

from langchain.document_loaders import PyPDFLoaderloader = PyPDFLoader("PATH_TO_YOUR_FILE")
pages = loader.load_and_split()

2.2 将PDF文本分割成小块

分割文本的方法有很多。这里使用的是适用于各类文本的分割器。

from langchain.text_splitter import RecursiveCharacterTextSplittertext_splitter = RecursiveCharacterTextSplitter(chunk_size=1000,chunk_overlap=200,length_function=len,
)docs = text_splitter.split_documents(pages)

创建嵌入:

from langchain.embeddings.openai import OpenAIEmbeddingsembeddings = OpenAIEmbeddings()

2.3 创建向量存储

向量存储技术主要用于存储文档及其对应的嵌入向量,以便能够通过这些嵌入向量快速定位和检索到相关文档。

创建向量存储的方法有很多,本文使用Pinecone。要开始使用Pinecone,需要先在其平台上创建索引。然后在“index_name”中输入索引名称。

from langchain.vectorstores import Pineconeindex_name = "index_name"# 创建新索引
docsearch = Pinecone.from_documents(docs, embeddings, index_name=index_name)# 如果您已经有了索引,可以像这样进行加载
# docsearch = Pinecone.from_existing_index(index_name, embeddings)

如果无法创建Pinecone账户,可以尝试使用CromaDB。以下代码使用Chroma创建了一个临时的内存向量存储,如果无法访问Pinecone,请使用它作为替代。

from langchain.vectorstores import Chroma
docsearch = Chroma.from_documents(docs, embeddings)

3.问题回答链

问题回答链能够确保系统根据上下文提供恰当的答案。

from langchain.chains import RetrievalQA
from langchain import OpenAI# 定义LLM
llm = OpenAI(temperature=0.2)qa = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=docsearch.as_retriever(search_kwargs={"k": 2}))

可以通过传递一个问题来测试QA链:

query = "What is DesignOps support model?"
qa.run(query)

这段代码的输出会基于PDF文件中相关上下文块的问题答案。

4.Zapier集成

可以使用Langchain Zapier工具包将智能体与Zapier集成。首先,需要在https://nla.zapier.com/获取Zapier API密钥,并在Zapier中添加将要使用的操作。

os.environ["ZAPIER_NLA_API_KEY"] = os.environ.get("ZAPIER_NLA_API_KEY", "YOUR_ZAPIER_API_KEY")接下来,初始化Zapier工具包from langchain.agents.agent_toolkits import ZapierToolkit
from langchain.utilities.zapier import ZapierNLAWrapperzapier = ZapierNLAWrapper()
toolkit = ZapierToolkit.from_zapier_nla_wrapper(zapier)

5.构建Langchain智能体

from langchain.agents import AgentType
from langchain.agents import initialize_agent, Tool
from langchain.memory import ConversationBufferMemory
from langchain.chat_models import ChatOpenAI# 为智能体定义工具
tools = [Tool(name="Demo",func=qa.run,description="use this as the primary source of context information when you are asked the question. Always search for the answers using this tool first, don't make up answers yourself"),
] + toolkit.get_tools()# 设置对话记忆
memory = ConversationBufferMemory(memory_key="chat_history")# 设置智能体
agent_chain = initialize_agent(tools, llm, agent=AgentType.CONVERSATIONAL_REACT_DESCRIPTION, verbose=True, memory=memory)

现在已经设置好了智能体,可以通过提问进行测试。智能体将使用问题回答链来找到相关上下文并生成答案,执行用户请求中指定的其他任务。

agent_chain.run(input="What Adrienne Allnutt have said about DesignOps?")
agent_chain.run(input="Email the answer to email@gmail.com and mention that this email was sent by AI")

为了让智能体正确执行用户的指令,构建准确的提示十分重要。在开发面向用户的应用时,我们应该深入研究如何设计有效的提示模板,以简化用户与智能体的交互过程。同时,还需要考虑聊天界面是否是最合适的交互方式,或是否有其他界面设计能提供更优的用户体验。

这篇关于基于LangChain,使用自有知识库创建GPT智能体的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/904666

相关文章

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

Spring Boot 集成 Quartz并使用Cron 表达式实现定时任务

《SpringBoot集成Quartz并使用Cron表达式实现定时任务》本篇文章介绍了如何在SpringBoot中集成Quartz进行定时任务调度,并通过Cron表达式控制任务... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Sprin

Linux下如何使用C++获取硬件信息

《Linux下如何使用C++获取硬件信息》这篇文章主要为大家详细介绍了如何使用C++实现获取CPU,主板,磁盘,BIOS信息等硬件信息,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录方法获取CPU信息:读取"/proc/cpuinfo"文件获取磁盘信息:读取"/proc/diskstats"文

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J

使用Python实现一个优雅的异步定时器

《使用Python实现一个优雅的异步定时器》在Python中实现定时器功能是一个常见需求,尤其是在需要周期性执行任务的场景下,本文给大家介绍了基于asyncio和threading模块,可扩展的异步定... 目录需求背景代码1. 单例事件循环的实现2. 事件循环的运行与关闭3. 定时器核心逻辑4. 启动与停

如何使用Nginx配置将80端口重定向到443端口

《如何使用Nginx配置将80端口重定向到443端口》这篇文章主要为大家详细介绍了如何将Nginx配置为将HTTP(80端口)请求重定向到HTTPS(443端口),文中的示例代码讲解详细,有需要的小伙... 目录1. 创建或编辑Nginx配置文件2. 配置HTTP重定向到HTTPS3. 配置HTTPS服务器

Python实现word文档内容智能提取以及合成

《Python实现word文档内容智能提取以及合成》这篇文章主要为大家详细介绍了如何使用Python实现从10个左右的docx文档中抽取内容,再调整语言风格后生成新的文档,感兴趣的小伙伴可以了解一下... 目录核心思路技术路径实现步骤阶段一:准备工作阶段二:内容提取 (python 脚本)阶段三:语言风格调