本文主要是介绍本地使用 Ollama 驱动 Llama 3，Phi-3 构建智能代理（附代码），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
本文介绍如何使用langchain中的ollama库实现低参数Llama 3，Phi-3模型实现本地函数调用及结构化文本输出。
函数调用介绍
函数调用的一个很好的参考是名为 “Gorilla” 的论文，该论文探讨了函数调用的概念，并提供了一个函数调用排行榜。通过这个排行榜，我们可以了解哪些模型擅长函数调用。
例如，我们可以看到 Llama 3 70 亿参数模型在排行榜中位列第七，而 8 亿参数的 Llama 3 模型也在榜单中，尽管性能不及前者，但仍然表现不错。
使用 Ollama 设置 Llama 3 模型
首先，我们来看一个简单的示例，设置 Llama 3 模型并使用 Ollama 进行函数调用。以下是相关代码：
from langchain import Ollama, ChatPromptTemplate, StringOutputParser# 设置 Ollama 模型
llm = Ollama(model_name='llama3')# 设置提示模板
prompt_template = ChatPromptTemplate.from_template("Write me a 500-word article on {topic} from the perspective of {profession}")# 创建字符串输出解析器
output_parser = StringOutputParser()# 调用模型生成文章
response = llm(prompt=prompt_template.format(topic="AI", profession="engineer"), output_parser=output_parser)print(response)
在上述代码中，我们定义了一个简单的提示模板，并使用 Ollama 生成一个 500 字的文章。我们还可以通过设置 keep_alive 属性来保持模型在内存中的活跃状态，避免每次运行时重新加载模型。
生成 JSON 输出
接下来，我们来看如何让 Llama 3 模型生成结构化的 JSON 输出。以下是相关代码：
from langchain import JSONOutputParser# 定义 JSON 模式
json_schema = {"type": "object","properties": {"name": {"type": "string"},"age": {"type": "integer"},"hobbies": {"type": "string"}},"required": ["name", "age"]
}# 设置提示模板
prompt_template = ChatPromptTemplate.from_template("Extract the following information in JSON format: {schema}")# 创建 JSON 输出解析器
output_parser = JSONOutputParser()# 调用模型生成 JSON
response = llm(prompt=prompt_template.format(schema=json_schema), output_parser=output_parser)print(response)
在上述代码中，我们定义了一个 JSON 模式，并使用 Ollama 生成符合该模式的 JSON 输出。通过设置模型的输出格式为 JSON，可以提高生成结构化输出的概率。
使用 Pydantic 定义结构化输出
我们还可以使用 Pydantic 定义一个类，用于提取结构化输出。以下是相关代码：
from pydantic import BaseModel
from langchain import StructuredOutputLLM# 定义 Pydantic 类
class Person(BaseModel):name: strheight: floathair_color: str# 设置提示模板
prompt_template = ChatPromptTemplate.from_template("Extract the following information in JSON format: {context}")# 创建结构化输出 LLM
structured_llm = StructuredOutputLLM(llm, output_class=Person)# 调用模型生成结构化输出
context = "Alex is 5 feet tall, Claudia is 6 feet tall, Claudia has brown hair."
response = structured_llm(prompt=prompt_template.format(context=context))print(response)
在上述代码中，我们使用 Pydantic 定义了一个 Person 类，并使用 Ollama 生成符合该类的结构化输出。
使用工具和函数调用
最后，我们来看如何使用 Ollama 的新功能进行工具和函数调用。以下是相关代码：
from langchain import OllamaFunctions# 定义工具函数
def get_current_weather(location: str, unit: str = "Celsius"):# 这里是获取当前天气的实现pass# 设置工具和函数调用
tools = {"get_current_weather": get_current_weather}
ollama_functions = OllamaFunctions(llm, tools=tools)# 调用模型进行函数调用
question = "What is the weather in Singapore?"
response = ollama_functions(prompt=question)print(response)
在上述代码中，我们定义了一个获取当前天气的工具函数，并使用 Ollama 进行函数调用。模型会根据输入的问题，自动调用相应的工具函数并返回结果。
通过以上示例，我们展示了如何在本地使用 Ollama 和 Llama 3 模型进行函数调用、生成 JSON 输出、定义结构化输出以及使用工具和函数调用。这些方法可以帮助我们在本地构建智能代理，而无需依赖云服务。
参考资料：
1.Function Calling with Local Models & LangChain - Ollama, Llama3 & Phi-3
2.论文：Gorilla: Large Language Model Connected with Massive APIs
这篇关于本地使用 Ollama 驱动 Llama 3，Phi-3 构建智能代理（附代码）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
