(三)、基于 LangChain 实现大模型应用程序开发 | 模型链 Chains

2023-11-20 13:36

本文主要是介绍(三)、基于 LangChain 实现大模型应用程序开发 | 模型链 Chains,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

😄 为什么我们需要Chains ?

  • 链允许我们将多个组件组合在一起,以创建一个单一的、连贯的应用程序。链(Chains)通常将一个LLM(大语言模型)与提示结合在一起,使用这个构建块,您还可以将一堆这些构建块组合在一起,对您的文本或其他数据进行一系列操作。例如,我们可以创建一个链,该链接受用户输入,使用提示模板对其进行格式化,然后将格式化的响应传递给LLM。我们可以通过将多个链组合在一起,或者通过将链与其他组件组合在一起来构建更复杂的链。
  • 这些链的一部分的强大之处在于你可以一次运行它们在许多输入上。

文章目录

  • 😄 为什么我们需要Chains ?
  • 0、初始化openai环境
  • 1、LLMChain
  • 2、Sequential Chain
    • 2.1、SimpleSequentialChain
    • 2.2、SequentialChain
  • 3、 Router Chain(路由链)
    • 3.1、创建目标链
    • 3.2、创建默认目标链
    • 3.3、创建LLM用于在不同链之间进行路由的模板
    • 3.4、构建路由链
  • Reference

0、初始化openai环境

from langchain.chat_models import ChatOpenAI
import os
import openai
# 运行此API配置,需要将目录中的.env中api_key替换为自己的
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv()) # read local .env file
openai.api_key = os.environ['OPENAI_API_KEY']

1、LLMChain

  • LLMChain是一个简单但非常强大的链,也是后面我们将要介绍的许多链的基础。
from langchain.chat_models import ChatOpenAI    #导入OpenAI模型
from langchain.prompts import ChatPromptTemplate   #导入聊天提示模板
from langchain.chains import LLMChain    #导入LLM链。# 这里我们将参数temperature设置为0.0,从而减少生成答案的随机性。
# 如果你想要每次得到不一样的有新意的答案,可以尝试调整该参数。
# 以下的对话均无记忆,即每次调用预测不会记得之前的对话。(想要有记忆功能请看下一节的langchain的Memory模块)
llm = ChatOpenAI(temperature=0.0,model_name="gpt-3.5-turbo")
# \在字符串里就是取消换行符的意思
template_string =  """\
对与如下三个反引号括住的评论,我需要提取如下信息。
饮料:这个产品是饮料吗?如果是,返回True,否则返回答False。
产品名:提取出产品的名字,如果没有,返回-1。
价格与价值:提取出关于该产品的价格或价值的所有信息,将他们存入python list中,并返回。
{format_instructions}
```{query}```"""prompt_template = ChatPromptTemplate.from_template(template_string)chain = LLMChain(llm=llm, prompt=prompt_template)query = '这喜茶新出的桑葚葡萄太好喝里吧,而且才19块一杯,太值啦,高性价比!'
format_instructions = """\
将输出组织成带有如下key的json形式:
饮料
产品名
价格与价值"""
res = chain.run({'query':query,'format_instructions': format_instructions})
print(res)
{"饮料": true,"产品名": "桑葚葡萄","价格与价值": ["19块一杯", "高性价比"]
}

2、Sequential Chain

2.1、SimpleSequentialChain

  • 顺序链是按预定义顺序执行其链接的链。具体来说,我们将使用简单顺序链(SimpleSequentialChain),这是顺序链的最简单类型,其中每个步骤都有一个输入/输出,一个步骤的输出是下一个步骤的输入
from langchain.chains import SimpleSequentialChain
first_prompt = ChatPromptTemplate.from_template("描述制造{product}的公司的最佳名称是什么?输出一个即可。"
)
chain_one = LLMChain(llm=llm, prompt=first_prompt)second_prompt = ChatPromptTemplate.from_template("写一个20字的描述对于下面这个\公司:{company_name}"
)
chain_two = LLMChain(llm=llm, prompt=second_prompt)overall_simple_chain = SimpleSequentialChain(chains=[chain_one, chain_two],verbose=True)
product = "手机"
overall_simple_chain.run(product)
> Entering new  chain...
Techtronics
Techtronics是一家技术公司,专注于创新和开发高科技产品和解决方案。> Finished chain.'Techtronics是一家技术公司,专注于创新和开发高科技产品和解决方案。'

2.2、SequentialChain

  • 当只有一个输入和一个输出时,简单的顺序链可以顺利完成。但是当有多个输入或多个输出时该如何实现呢?可用顺序链。
from langchain.chains import SequentialChain# 下面实现流程:1->2, 1->3, 2,3->4#子链1
# prompt模板 1: 翻译成英语(把下面的review翻译成英语)
first_prompt = ChatPromptTemplate.from_template("Translate the following review to english:""\n\n{Review}")
# chain 1: 输入:Review 输出: 英文的 Review
chain_one = LLMChain(llm=llm, prompt=first_prompt,output_key="English_Review")#子链2
# prompt模板 2: 用一句话总结下面的 review
second_prompt = ChatPromptTemplate.from_template("Can you summarize the following review in 1 sentence: \n\n{English_Review}")
# chain 2: 输入:英文的Review   输出:总结
chain_two = LLMChain(llm=llm, prompt=second_prompt,output_key="summary")#子链3
# prompt模板 3: 下面review使用的什么语言
third_prompt = ChatPromptTemplate.from_template("What language is the following review:\n\n{Review}")
# chain 3: 输入:Review  输出:语言
chain_three = LLMChain(llm=llm, prompt=third_prompt,output_key="language")#子链4
# prompt模板 4: 使用特定的语言对下面的总结写一个后续回复
# 根据英文总结,翻译成language语言
fourth_prompt = ChatPromptTemplate.from_template("Write a follow up response to the following summary in the specified language:\n\nSummary: {summary}\n\nLanguage: {language}")
# chain 4: 输入: 总结, 语言    输出: 后续回复
chain_four = LLMChain(llm=llm, prompt=fourth_prompt,output_key="followup_message")
overall_chain = SequentialChain(chains=[chain_one, chain_two, chain_three, chain_four],input_variables=["Review"],output_variables=["English_Review", "summary", 'language', "followup_message"],verbose=False)
review = 'Spark是一个快速、通用的大数据处理引擎,可以进行分布式数据处理和分析。与Hadoop的MapReduce相比,Spark具有更高的性能和更丰富的功能。Spark支持多种编程语言(如Scala、Java和Python(pyspark)),并提供了一组丰富的API,包括用于数据处理、机器学习和图计算的库。'
res = overall_chain(review)
type(res), res
(dict,{'Review': 'Spark是一个快速、通用的大数据处理引擎,可以进行分布式数据处理和分析。与Hadoop的MapReduce相比,Spark具有更高的性能和更丰富的功能。Spark支持多种编程语言(如Scala、Java和Python(pyspark)),并提供了一组丰富的API,包括用于数据处理、机器学习和图计算的库。','English_Review': "Spark is a fast and versatile big data processing engine that can perform distributed data processing and analysis. Compared to Hadoop's MapReduce, Spark has higher performance and richer functionality. Spark supports multiple programming languages such as Scala, Java, and Python (pyspark), and provides a rich set of APIs including libraries for data processing, machine learning, and graph computation.",'summary': "The review highlights that Spark is a high-performance and versatile big data processing engine that offers distributed data processing and analysis, surpassing Hadoop's MapReduce in terms of performance and functionality, with support for multiple programming languages and a wide range of APIs for various tasks.",'language': 'The following review is in Chinese.','followup_message': '回复:这篇评论强调了Spark是一个高性能且多功能的大数据处理引擎,提供分布式数据处理和分析,性能和功能方面超过了Hadoop的MapReduce。它支持多种编程语言,并提供各种任务的广泛API。'})

3、 Router Chain(路由链)

到目前为止,我们已经学习了LLM链和顺序链。但是,如果您想做一些更复杂的事情怎么办?

一个相当常见但基本的操作是根据输入将其路由到一条链,具体取决于该输入到底是什么。如果你有多个子链,每个子链都专门用于特定类型的输入,那么可以组成一个路由链,它首先决定将它传递给哪个子链(也输入写prompt模板让llm来选择),然后将它传递给那个链(即传递给对于的链的prompt模板进行预测)。【相当于从输入到输出,要经过两次prompt输入模型拿到输出】

路由器由两个组件组成:

  • 路由器链本身(负责选择要调用的下一个链)
  • destination_chains:路由器链可以路由到的链

个人感觉,就是可以用来根据输入切换不同的设定角色,从而定位到更好的prompt输入给模型预测

举一个具体的例子,让我们看一下我们在不同类型的链之间路由的地方,我们在这里有不同的prompt:

#第一个提示适合回答物理问题
physics_template = """你是一个非常聪明的物理学家,你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。
问题:{input}"""#第二个提示适合回答数学问题
math_template = """你是一个非常聪明的数学家,你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。
问题:{input}"""#第三个适合回答历史问题
history_template = """你是一个非常聪明的历史家,你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。
问题:{input}"""#第四个适合回答计算机问题
computerscience_template = """你是一个非常聪明的计算机学家,你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。
问题:{input}"""

⭐ 在我们拥有了这些提示模板后,可以为每个模板命名,然后提供描述。例如,第一个物理学的描述适合回答关于物理学的问题,这些信息将传递给路由链,然后由路由链决定何时使用此子链。

prompt_infos = [{"name": "物理","description": "擅长回答物理问题","prompt_template": physics_template},{"name": "数学","description": "擅长回答数学问题","prompt_template": math_template},{"name": "历史","description": "擅长回答历史问题","prompt_template": history_template},{"name": "计算机科学","description": "擅长回答计算机科学问题","prompt_template": computerscience_template}
]

⭐ LLMRouterChain(此链使用 LLM 来确定如何路由事物)
在这里,我们需要一个多提示链。这是一种特定类型的链,用于在多个不同的提示模板之间进行路由。 但是,这只是你可以路由的一种类型。你也可以在任何类型的链之间进行路由。

这里我们要实现的几个类是LLM路由器链。这个类本身使用语言模型来在不同的子链之间进行路由。 这就是上面提供的描述和名称将被使用的地方。

3.1、创建目标链

目标链是由路由链调用的链,每个目标链都是一个语言模型链:

⭐ 将上面定义的4个链用LLMChain构建好,存在destination_chains里:

from langchain.chains.router import MultiPromptChain  #导入多提示链
from langchain.chains.router.llm_router import LLMRouterChain,RouterOutputParser
from langchain.prompts import PromptTemplatedestination_chains = {}
for p_info in prompt_infos:name = p_info["name"]prompt_template = p_info["prompt_template"]prompt = ChatPromptTemplate.from_template(template=prompt_template)chain = LLMChain(llm=llm, prompt=prompt)destination_chains[name] = chaindestinations = [f"{p['name']}: {p['description']}" for p in prompt_infos]
destinations_str = "\n".join(destinations)
destination_chains
{'物理': LLMChain(memory=None, callbacks=None, callback_manager=None, verbose=False, tags=None, prompt=ChatPromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, messages=[HumanMessagePromptTemplate(prompt=PromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, template='你是一个非常聪明的物理学家,你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。\n问题:{input}', template_format='f-string', validate_template=True), additional_kwargs={})]), llm=ChatOpenAI(cache=None, verbose=False, callbacks=None, callback_manager=None, tags=None, client=<class 'openai.api_resources.chat_completion.ChatCompletion'>, model_name='gpt-3.5-turbo', temperature=0.0, model_kwargs={}, openai_api_key='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', openai_api_base='', openai_organization='', openai_proxy='', request_timeout=None, max_retries=6, streaming=False, n=1, max_tokens=None, tiktoken_model_name=None), output_key='text', output_parser=NoOpOutputParser(), return_final_only=True, llm_kwargs={}),'数学': LLMChain(memory=None, callbacks=None, callback_manager=None, verbose=False, tags=None, prompt=ChatPromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, messages=[HumanMessagePromptTemplate(prompt=PromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, template='你是一个非常聪明的数学家,你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。\n问题:{input}', template_format='f-string', validate_template=True), additional_kwargs={})]), llm=ChatOpenAI(cache=None, verbose=False, callbacks=None, callback_manager=None, tags=None, client=<class 'openai.api_resources.chat_completion.ChatCompletion'>, model_name='gpt-3.5-turbo', temperature=0.0, model_kwargs={}, openai_api_key='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', openai_api_base='', openai_organization='', openai_proxy='', request_timeout=None, max_retries=6, streaming=False, n=1, max_tokens=None, tiktoken_model_name=None), output_key='text', output_parser=NoOpOutputParser(), return_final_only=True, llm_kwargs={}),'历史': LLMChain(memory=None, callbacks=None, callback_manager=None, verbose=False, tags=None, prompt=ChatPromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, messages=[HumanMessagePromptTemplate(prompt=PromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, template='你是一个非常聪明的历史家,你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。\n问题:{input}', template_format='f-string', validate_template=True), additional_kwargs={})]), llm=ChatOpenAI(cache=None, verbose=False, callbacks=None, callback_manager=None, tags=None, client=<class 'openai.api_resources.chat_completion.ChatCompletion'>, model_name='gpt-3.5-turbo', temperature=0.0, model_kwargs={}, openai_api_key='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', openai_api_base='', openai_organization='', openai_proxy='', request_timeout=None, max_retries=6, streaming=False, n=1, max_tokens=None, tiktoken_model_name=None), output_key='text', output_parser=NoOpOutputParser(), return_final_only=True, llm_kwargs={}),'计算机科学': LLMChain(memory=None, callbacks=None, callback_manager=None, verbose=False, tags=None, prompt=ChatPromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, messages=[HumanMessagePromptTemplate(prompt=PromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, template='你是一个非常聪明的计算机学家,你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。\n问题:{input}', template_format='f-string', validate_template=True), additional_kwargs={})]), llm=ChatOpenAI(cache=None, verbose=False, callbacks=None, callback_manager=None, tags=None, client=<class 'openai.api_resources.chat_completion.ChatCompletion'>, model_name='gpt-3.5-turbo', temperature=0.0, model_kwargs={}, openai_api_key='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', openai_api_base='', openai_organization='', openai_proxy='', request_timeout=None, max_retries=6, streaming=False, n=1, max_tokens=None, tiktoken_model_name=None), output_key='text', output_parser=NoOpOutputParser(), return_final_only=True, llm_kwargs={})}
destinations, destinations_str
(['物理: 擅长回答物理问题', '数学: 擅长回答数学问题', '历史: 擅长回答历史问题', '计算机科学: 擅长回答计算机科学问题'],'物理: 擅长回答物理问题\n数学: 擅长回答数学问题\n历史: 擅长回答历史问题\n计算机科学: 擅长回答计算机科学问题')

3.2、创建默认目标链

除了目标链之外,我们还需要一个默认目标链。这是一个当路由器无法决定使用哪个子链时调用的链。在上面的示例中,当输入问题与物理、数学、历史或计算机科学无关时,可能会调用它。

default_prompt = ChatPromptTemplate.from_template("{input}")
default_chain = LLMChain(llm=llm, prompt=default_prompt)

3.3、创建LLM用于在不同链之间进行路由的模板

这包括要完成的任务的说明以及输出应该采用的特定格式。

#  以下输出是LLMRouterChain的输出keys是内置的:['destination', 'next_inputs'],所以prompt里定义好它所需的输出MULTI_PROMPT_ROUTER_TEMPLATE = """给定一段原始输入文本,由语言模型来选择对于该段输入\
文本最合适的prompt。我将给定候选prompts和对各prompt适合哪个领域的描述。\
如果您认为修改原始输入最终会导致语言模型得到更好的响应,您也可以修改原始输入。<<格式>>
输出返回如下格式的json对象:
```json
{{{{"destination": string \ name of the prompt to use or "DEFAULT""next_inputs": string \ a potentially modified version of the original input
}}}}
```记住: "destination"一定要是以下候选prompts中的名字之一或者\
如果输入不适合所有候选prompts,destination命名为 “DEFAULT”。
记住: "next_inputs"可以只是原始输入,如果您认为不需要任何修改。<< 候选prompts>>
{destinations}<< 输入 >>
{{input}}<< 输出 (记住包括```json)>>
"""

3.4、构建路由链

首先,我们通过格式化上面定义的目标创建完整的路由器模板。这个模板可以适用许多不同类型的目标。 因此,在这里,您可以添加一个不同的学科,如英语或拉丁语,而不仅仅是物理、数学、历史和计算机科学。

接下来,我们从这个模板创建提示模板

最后,通过传入llm和整个路由提示来创建路由链。需要注意的是这里有路由输出解析,这很重要,因为它将帮助这个链路决定在哪些子链路之间进行路由。

print(destinations_str)
router_template = MULTI_PROMPT_ROUTER_TEMPLATE.format(destinations=destinations_str
)
router_prompt = PromptTemplate(template=router_template,input_variables=["input"],output_parser=RouterOutputParser(),
)
#  LLMRouterChain的输出keys是内置的:['destination', 'next_inputs'].
router_chain = LLMRouterChain.from_llm(llm, router_prompt)
print(router_chain.output_keys)
物理: 擅长回答物理问题
数学: 擅长回答数学问题
历史: 擅长回答历史问题
计算机科学: 擅长回答计算机科学问题
['destination', 'next_inputs']
router_chain('1+1=?')
{'input': '1+1=?', 'destination': '数学', 'next_inputs': {'input': '1+1=?'}}

最后,将所有内容整合在一起,创建整体链路:

#多提示链
# 设置verbose=True,我们可以看到它被路由到哪条目标prompt链路
chain = MultiPromptChain(router_chain=router_chain,    #路由链路destination_chains=destination_chains,   #目标链路default_chain=default_chain,      #默认链路verbose=True)chain.run("什么是黑体辐射?")
# 物理: {'input': '什么是黑体辐射?'}
# '黑体辐射是指一个理想化的物体,它能够完全吸收所有入射到它上面的辐射能量,并以热辐射的形式重新发射出来。黑体辐射的特点是其辐射能量的分布与温度有关,即黑体辐射谱随着温度的升高而增强,并且在不同波长处的辐射强度也不同。根据普朗克辐射定律和斯蒂芬-玻尔兹曼定律,我们可以描述黑体辐射的性质和行为。'

Reference

  • [1] 吴恩达老师的教程
  • [2] DataWhale组织

这篇关于(三)、基于 LangChain 实现大模型应用程序开发 | 模型链 Chains的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/394973

相关文章

Java中使用Java Mail实现邮件服务功能示例

《Java中使用JavaMail实现邮件服务功能示例》:本文主要介绍Java中使用JavaMail实现邮件服务功能的相关资料,文章还提供了一个发送邮件的示例代码,包括创建参数类、邮件类和执行结... 目录前言一、历史背景二编程、pom依赖三、API说明(一)Session (会话)(二)Message编程客

Java中List转Map的几种具体实现方式和特点

《Java中List转Map的几种具体实现方式和特点》:本文主要介绍几种常用的List转Map的方式,包括使用for循环遍历、Java8StreamAPI、ApacheCommonsCollect... 目录前言1、使用for循环遍历:2、Java8 Stream API:3、Apache Commons

JavaScript中的isTrusted属性及其应用场景详解

《JavaScript中的isTrusted属性及其应用场景详解》在现代Web开发中,JavaScript是构建交互式应用的核心语言,随着前端技术的不断发展,开发者需要处理越来越多的复杂场景,例如事件... 目录引言一、问题背景二、isTrusted 属性的来源与作用1. isTrusted 的定义2. 为

C#提取PDF表单数据的实现流程

《C#提取PDF表单数据的实现流程》PDF表单是一种常见的数据收集工具,广泛应用于调查问卷、业务合同等场景,凭借出色的跨平台兼容性和标准化特点,PDF表单在各行各业中得到了广泛应用,本文将探讨如何使用... 目录引言使用工具C# 提取多个PDF表单域的数据C# 提取特定PDF表单域的数据引言PDF表单是一

使用Python实现高效的端口扫描器

《使用Python实现高效的端口扫描器》在网络安全领域,端口扫描是一项基本而重要的技能,通过端口扫描,可以发现目标主机上开放的服务和端口,这对于安全评估、渗透测试等有着不可忽视的作用,本文将介绍如何使... 目录1. 端口扫描的基本原理2. 使用python实现端口扫描2.1 安装必要的库2.2 编写端口扫

PyCharm接入DeepSeek实现AI编程的操作流程

《PyCharm接入DeepSeek实现AI编程的操作流程》DeepSeek是一家专注于人工智能技术研发的公司,致力于开发高性能、低成本的AI模型,接下来,我们把DeepSeek接入到PyCharm中... 目录引言效果演示创建API key在PyCharm中下载Continue插件配置Continue引言

MySQL分表自动化创建的实现方案

《MySQL分表自动化创建的实现方案》在数据库应用场景中,随着数据量的不断增长,单表存储数据可能会面临性能瓶颈,例如查询、插入、更新等操作的效率会逐渐降低,分表是一种有效的优化策略,它将数据分散存储在... 目录一、项目目的二、实现过程(一)mysql 事件调度器结合存储过程方式1. 开启事件调度器2. 创

使用Python实现操作mongodb详解

《使用Python实现操作mongodb详解》这篇文章主要为大家详细介绍了使用Python实现操作mongodb的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、示例二、常用指令三、遇到的问题一、示例from pymongo import MongoClientf

SQL Server使用SELECT INTO实现表备份的代码示例

《SQLServer使用SELECTINTO实现表备份的代码示例》在数据库管理过程中,有时我们需要对表进行备份,以防数据丢失或修改错误,在SQLServer中,可以使用SELECTINT... 在数据库管理过程中,有时我们需要对表进行备份,以防数据丢失或修改错误。在 SQL Server 中,可以使用 SE

基于Go语言实现一个压测工具

《基于Go语言实现一个压测工具》这篇文章主要为大家详细介绍了基于Go语言实现一个简单的压测工具,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录整体架构通用数据处理模块Http请求响应数据处理Curl参数解析处理客户端模块Http客户端处理Grpc客户端处理Websocket客户端