本文主要是介绍langchain写指令基础之2，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
使用 chatglm-6b 模型来替代之前的 gpt2 模型。chatglm-6b 是一个中文对话模型，由智谱研发，支持多种语言。下面是使用 chatglm-6b 的示例代码。
首先确保安装了必要的库：
pip install langchain
pip install transformers
pip install accelerate
pip install faiss-cpu
接下来是修改后的代码：
import os
from typing import List, Dict
from transformers import AutoTokenizer, AutoModel
from langchain import PromptTemplate, LLMChain
from langchain.chains import LLMChain
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
from langchain.prompts import (
ChatPromptTemplate,
SystemMessagePromptTemplate,
HumanMessagePromptTemplate,
)
# 加载模型
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
# 外部函数定义
def get_weather(city: str) -> str:
# 这里只是一个示例，实际应用中应该调用真实的天气API
return f"The weather in {city} is sunny today."
# LangChain 配置
class ChatGLMCallbackHandler(StreamingStdOutCallbackHandler):
def on_llm_new_token(self, token: str, **kwargs) -> None:
print(token, end='', flush=True)
callback_manager = CallbackManager([ChatGLMCallbackHandler()])
llm_chain = LLMChain(
llm=model,
prompt=ChatPromptTemplate.from_messages([
SystemMessagePromptTemplate.from_template(
"You are a helpful assistant that can call external functions. If the user asks about the weather, call the get_weather function."
),
HumanMessagePromptTemplate.from_template("{input}")
]),
callback_manager=callback_manager,
verbose=True,
)
# 主函数
def main():
while True:
query = input("Enter your query: ")
if query.lower() == "exit":
break
# 检查是否询问天气
if "weather" in query.lower():
# 调用外部函数
city = query.split(" ")[-1] # 假设城市名是查询的最后一部分
weather_info = get_weather(city)
print(f"Weather Info: {weather_info}")
else:
# 生成回复
response = llm_chain.run(query)
print(f"Response: {response}")
if __name__ == "__main__":
main()
说明：
1. 加载模型：我们使用 chatglm-6b 作为示例模型。需要注意的是，chatglm-6b 模型是基于 PyTorch 的，因此我们需要使用 AutoModel 和 AutoTokenizer 类来加载模型和分词器。
2. 外部函数：get_weather 函数与之前相同，用于获取指定城市的天气信息。这里我们仍然返回一个固定的字符串，实际应用中应该调用真实的天气API。
3. LangChain 配置：我们创建了一个 LLMChain，它使用了预定义的提示模板。提示模板告诉模型如果用户询问天气，则调用 get_weather 函数。
4. 主函数：在主函数中，我们不断接收用户的输入，并根据输入决定是调用外部函数还是让模型生成回复。
注意事项：
• chatglm-6b 模型默认是基于 CPU 的，如果你的机器有 GPU 并且支持 FP16 半精度计算，可以使用 .half() 和 .cuda() 将模型转移到 GPU 上运行，以提高性能。
• chatglm-6b 模型默认不支持直接通过 LangChain 的 LLMChain 来调用。在这个例子中，我们创建了一个自定义的回调处理类 ChatGLMCallbackHandler 来处理模型输出。
请注意，由于 chatglm-6b 模型的特殊性，它可能不会像原本的示例那样直接通过 LangChain 的 API 来生成文本。你可能需要使用模型提供的生成方法来进行文本生成。如果需要具体的模型调用代码，请告诉我，我可以提供更详细的实现细节。
这篇关于langchain写指令基础之2的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
