【AI大模型应用开发】2.1 Function Calling连接外部世界 - 入门与实战（1）

2024-09-08 02:04
文章标签 实战 ai 入门 应用 世界 连接 开发 模型 function 外部 calling 2.1

本文主要是介绍【AI大模型应用开发】2.1 Function Calling连接外部世界 - 入门与实战（1），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Function Calling是大模型连接外部世界的通道，目前出现的插件（Plugins ）、OpenAI的Actions、各个大模型平台中出现的tools工具集，其实都是Function Calling的范畴。时下大火的OpenAI的GPTs，原理就是使用了Function Calling，例如联网检索、code interpreter。

本文带大家了解下Function calling，看它是如何让大模型能与外部世界连接的。

0. 接口形式

写过程序的人可能都懂接口是什么，这里再简述一下接口的形式。

  • 目前常见的接口形式：
    • 命令行（Command Line Interface），简称 CLI（DOS、Unix/Linux shell, Windows Power Shell）
    • 图形界面（Graphical User Interface），简称 GUI（Windows、MacOS、iOS、Android）
  • AI时代的接口形式：用户通过自然语言与软件或系统交互，不用再点击按钮，按标准流程操作软件
    • 语言界面（Conversational User Interface），简称 CUI，或 Natural-Language User Interface，简称 LUI
  • 未来的接口形式：
    • 脑机接口（Brain–Computer Interface），简称 BCI

以前的接口调用，我们需要给定明确的接口名称和精确的参数。大模型时代的接口调用，我们只需要给出自然语言任务，大模型自动解析出参数和调用哪个接口。

1. Function Calling在AI大模型应用中的位置 - 架构

没有Function Calling的架构：

image.png

加入Function calling之后的架构：

image.png

2. 大模型为什么需要连接外部世界

其实大模型也不是万能的，它有三大缺陷：

  • 训练数据不可能涵盖所有信息。垂直、非公开数据必有欠缺。
  • 不知道最新信息。大模型的训练周期很长，且更新一次耗资巨大。所以它不可能实时训练。GPT-3.5 的知识截至 2022 年 1 月，GPT-4 是 2023 年 4 月。
  • 没有「真逻辑」。它表现出的逻辑、推理，是训练文本的统计规律，而不是真正的逻辑。也就是说，它的结果都是有一定不确定性的，这对于需要精确和确定结果的领域，如数学等，是灾难性的，基本是不可用的。

比如算加法：

  • 把 100 以内所有加法算式都训练给大模型，它就能回答 100 以内的加法算式
  • 如果问它更大数字的加法，就不一定对了 因为它并不懂「加法」，只是记住了 100 以内的加法算式的统计规律

所以：大模型需要连接真实世界，并对接真逻辑系统，以此来控制大模型输出的不确定性和幻觉，达到我们想要的结果。

3. 实战

3.1 调用本地函数

3.1.1 定义一个自定义的本地函数，也可以是现有的库中的函数

以Python内置的sum函数为例，假设我们想让大模型使用这个函数。

sum函数介绍，接收一个列表、元组或集合：

image.png

3.1.2 告诉大模型这个函数的存在
python代码解读复制代码def get_completion(messages, model="gpt-3.5-turbo-1106"):response = openai.chat.completions.create(model=model,messages=messages,temperature=0,max_tokens=1024,tools=[{ # 用 JSON 描述函数。可以定义多个。由大模型决定调用谁"type": "function","function": {"name": "sum","description": "计算一组数的和","parameters": {"type": "object","properties": {"numbers": {"type": "array","items": {"type": "number"}}}}}},])return response.choices[0].message

代码解释：

  • 还是我们熟悉的openai.chat.completions.create接口，这次我们需要使用的是tools参数
  • 将本地的函数用json描述，添加到tools参数中

注意：Function Calling 中的函数与参数的描述description也是一种 Prompt。这种 Prompt 也需要调优，否则会影响函数的召回、参数的准确性，甚至让 GPT 产生幻觉

3.1.3 给一个需要使用该函数的Prompt

我们用自然语言给一个做加法的需求：

python代码解读复制代码prompt = "桌上有 2 个苹果，四个桃子和 3 本书，一共有几个水果？"messages = [{"role": "system", "content": "你是一个数学家，你可以计算任何算式。"},{"role": "user", "content": prompt}
]
response = get_completion(messages)
messages.append(response) # 注意这一句，必须加入到上下文中，否则报错
print("=====GPT回复=====")
print(response)

运行看下这时候大模型的返回： 在这里插入图片描述 可以看到返回了函数的名称和函数的参数。

3.1.4 解析函数名称和参数

当大模型返回了需要调用的名称和参数之后，我们可以通过本地代码解析出来，然后再去调用相应函数。

python代码解读复制代码if (response.tool_calls is not None):for tool_call in response.tool_calls:print(response.tool_calls)print(f"调用 {tool_call.function.name} 函数，参数是 {tool_call.function.arguments}")if tool_call.function.name == "sum":# 调用 sum 函数（本地函数或库函数，非chatgpt），打印结果args = json.loads(tool_call.function.arguments)result = sum(args["numbers"])print("=====函数返回=====")print(result)

image.png

3.1.5 再次调用大模型获取最终结果

本地函数执行完得到结果后，再将这个结果给大模型，让大模型用自然语言组织起最终答案。

这里需要怎么给大模型呢？需要将函数调用结果，tool_call_id，role，name等一起加入到prompt中。

python代码解读复制代码# 把函数调用结果加入到对话历史中
messages.append({"tool_call_id": tool_call.id,  # 用于标识函数调用的 ID"role": "tool","name": "sum","content": str(result)  # 数值result 必须转成字符串}
)# 再次调用大模型
print("=====最终回复=====")
print(get_completion(messages).content)

image.png

经测试，tool_call_id和role是必须参数，name可以不要，但最好也加上。

3.1.6 完整代码
python代码解读复制代码import json
import os
from math import *
import openai
# 加载 .env 到环境变量
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())def get_completion(messages, model="gpt-3.5-turbo-1106"):response = openai.chat.completions.create(model=model,messages=messages,temperature=0,max_tokens=1024,tools=[{ # 用 JSON 描述函数。可以定义多个。由大模型决定调用谁"type": "function","function": {"name": "sum","description": "计算一组数的和","parameters": {"type": "object","properties": {"numbers": {"type": "array","items": {"type": "number"}}}}}},])return response.choices[0].messageprompt = "桌上有 2 个苹果，四个桃子和 3 本书，一共有几个水果？"messages = [{"role": "system", "content": "你是一个数学家，你可以计算任何算式。"},{"role": "user", "content": prompt}
]
response = get_completion(messages)
# 把大模型的回复加入到对话历史中
messages.append(response) # 注意这一句，必须加入到上下文中，否则报错
print("=====GPT回复=====")
print(response)# 如果返回的是函数调用结果，则打印出来
if (response.tool_calls is not None):for tool_call in response.tool_calls:print(response.tool_calls)print(f"调用 {tool_call.function.name} 函数，参数是 {tool_call.function.arguments}")if tool_call.function.name == "sum":# 调用 sum 函数（本地函数或库函数，非chatgpt），打印结果args = json.loads(tool_call.function.arguments)result = sum(args["numbers"])print("=====函数返回=====")print(result)# 把函数调用结果加入到对话历史中messages.append({"tool_call_id": tool_call.id,  # 用于标识函数调用的 ID"role": "tool","name": "sum","content": str(result)  # 数值result 必须转成字符串})# 再次调用大模型print("=====最终回复=====")print(get_completion(messages).content)

3.2 多Function的调用

这里以一个查询某个地点附近某些信息的需求为例。

3.2.1 定义本地函数

这里我们需要定义自己的本地函数，不再使用Python的库函数了。

下面的代码，我们定义了两个函数。

  • get_location_coordinate用于查询某个地点的地理坐标。
  • search_nearby_pois用于查询地理坐标附近的某些信息（取决于用户输入的Keyword）
python代码解读复制代码def get_location_coordinate(location, city="北京"):url = f"https://restapi.amap.com/v5/place/text?key={amap_key}&keywords={location}&region={city}"print(url)r = requests.get(url)result = r.json()if "pois" in result and result["pois"]:return result["pois"][0]return Nonedef search_nearby_pois(longitude, latitude, keyword):url = f"https://restapi.amap.com/v5/place/around?key={amap_key}&keywords={keyword}&location={longitude},{latitude}"print(url)r = requests.get(url)result = r.json()ans = ""if "pois" in result and result["pois"]:for i in range(min(3, len(result["pois"]))):name = result["pois"][i]["name"]address = result["pois"][i]["address"]distance = result["pois"][i]["distance"]ans += f"{name}\n{address}\n距离：{distance}米\n\n"return ans

这是用的高德地图的开放接口，在使用本例之前，你需要先去高德地图开放接口的官网申请一个key，免费的。这里就不过多介绍了。

在这里插入图片描述

3.2.2 告诉大模型这两个函数的存在
python代码解读复制代码def get_completion(messages, model="gpt-3.5-turbo-1106"):response = openai.chat.completions.create(model=model,messages=messages,temperature=0,max_tokens=1024,tools=[{"type": "function","function": {"name": "get_location_coordinate","description": "根据POI名称，获得POI的经纬度坐标","parameters": {"type": "object","properties": {"location": {"type": "string","description": "POI名称，必须是中文",},"city": {"type": "string","description": "POI所在的城市名，必须是中文",}},"required": ["location", "city"],}}},{"type": "function","function": {"name": "search_nearby_pois","description": "搜索给定坐标附近的poi","parameters": {"type": "object","properties": {"longitude": {"type": "string","description": "中心点的经度",},"latitude": {"type": "string","description": "中心点的纬度",},"keyword": {"type": "string","description": "目标poi的关键字",}},"required": ["longitude", "latitude", "keyword"],}}}])return response.choices[0].message
3.2.3 使用示例
python代码解读复制代码prompt = "北京三里屯附近的咖啡"messages = [{"role": "system", "content": "你是一个地图通，你可以找到任何地址。"},{"role": "user", "content": prompt}
]
response = get_completion(messages)
if (response.content is None):  # 解决 OpenAI 的一个 400 bugresponse.content = ""
messages.append(response)  # 把大模型的回复加入到对话中
print("=====GPT回复=====")
print(response)# 如果返回的是函数调用结果，则打印出来
while (response.tool_calls is not None):# 1106 版新模型支持一次返回多个函数调用请求for tool_call in response.tool_calls:args = json.loads(tool_call.function.arguments)print(args)if (tool_call.function.name == "get_location_coordinate"):print("Call: get_location_coordinate")result = get_location_coordinate(**args)elif (tool_call.function.name == "search_nearby_pois"):print("Call: search_nearby_pois")result = search_nearby_pois(**args)print("=====函数返回=====")print(result)messages.append({"tool_call_id": tool_call.id,  # 用于标识函数调用的 ID"role": "tool","name": tool_call.function.name,"content": str(result)  # 数值result 必须转成字符串})response = get_completion(messages)if (response.content is None):  # 解决 OpenAI 的一个 400 bugresponse.content = ""messages.append(response)  # 把大模型的回复加入到对话中print("=====最终回复=====")
print(response.content)

看下执行过程和结果：

image.png

（1）首先大模型识别到应该先调用get_location_coordinate函数获取经纬度。

（2）get_location_coordinate执行结果给到大模型，大模型识别到下一步应该调用search_nearby_pois

（3）search_nearby_pois执行结果给到大模型，大模型识别到不需要调用其它函数，用自然语言组织了最终答案。

3.2.4 完整代码
python代码解读复制代码import json
import os
import openai
import requests
# 加载 .env 到环境变量
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())amap_key = os.getenv('AMAP_KEY')def get_completion(messages, model="gpt-3.5-turbo-1106"):response = openai.chat.completions.create(model=model,messages=messages,temperature=0,max_tokens=1024,tools=[{"type": "function","function": {"name": "get_location_coordinate","description": "根据POI名称，获得POI的经纬度坐标","parameters": {"type": "object","properties": {"location": {"type": "string","description": "POI名称，必须是中文",},"city": {"type": "string","description": "POI所在的城市名，必须是中文",}},"required": ["location", "city"],}}},{"type": "function","function": {"name": "search_nearby_pois","description": "搜索给定坐标附近的poi","parameters": {"type": "object","properties": {"longitude": {"type": "string","description": "中心点的经度",},"latitude": {"type": "string","description": "中心点的纬度",},"keyword": {"type": "string","description": "目标poi的关键字",}},"required": ["longitude", "latitude", "keyword"],}}}])return response.choices[0].messagedef get_location_coordinate(location, city="北京"):url = f"https://restapi.amap.com/v5/place/text?key={amap_key}&keywords={location}&region={city}"print(url)r = requests.get(url)result = r.json()if "pois" in result and result["pois"]:return result["pois"][0]return Nonedef search_nearby_pois(longitude, latitude, keyword):url = f"https://restapi.amap.com/v5/place/around?key={amap_key}&keywords={keyword}&location={longitude},{latitude}"print(url)r = requests.get(url)result = r.json()ans = ""if "pois" in result and result["pois"]:for i in range(min(3, len(result["pois"]))):name = result["pois"][i]["name"]address = result["pois"][i]["address"]distance = result["pois"][i]["distance"]ans += f"{name}\n{address}\n距离：{distance}米\n\n"return ansprompt = "北京三里屯附近的咖啡"messages = [{"role": "system", "content": "你是一个地图通，你可以找到任何地址。"},{"role": "user", "content": prompt}
]
response = get_completion(messages)
if (response.content is None):  # 解决 OpenAI 的一个 400 bugresponse.content = ""
messages.append(response)  # 把大模型的回复加入到对话中
print("=====GPT回复=====")
print(response)# 如果返回的是函数调用结果，则打印出来
while (response.tool_calls is not None):# 1106 版新模型支持一次返回多个函数调用请求for tool_call in response.tool_calls:args = json.loads(tool_call.function.arguments)print("参数：", args)if (tool_call.function.name == "get_location_coordinate"):print("Call: get_location_coordinate")result = get_location_coordinate(**args)elif (tool_call.function.name == "search_nearby_pois"):print("Call: search_nearby_pois")result = search_nearby_pois(**args)print("=====函数返回=====")print(result)messages.append({"tool_call_id": tool_call.id,  # 用于标识函数调用的 ID"role": "tool","name": tool_call.function.name,"content": str(result)  # 数值result 必须转成字符串})response = get_completion(messages)if (response.content is None):  # 解决 OpenAI 的一个 400 bugresponse.content = ""print("=====GPT回复2=====")print(response)messages.append(response)  # 把大模型的回复加入到对话中print("=====最终回复=====")
print(response.content)

4. 总结

通过本文的两个实战示例，是否已经对Function calling有了一个初步的认识？

  • 其实就是将函数说明组织成json形式告诉大模型。其中最重要的函数和参数描述，是该函数的prompt，大模型通过这个描述来确定用户的输入是否匹配该函数，是否召回该函数。
  • 大模型如果召回了某个函数，那么我们就可以在本地去解析函数名和参数去使用，从而完成大模型与外部世界的连接。

《人工智能\大模型入门学习大礼包》，可以关注工棕耗：大模型星球
回🎀复：11即🉑️精准或取❕！！

这篇关于【AI大模型应用开发】2.1 Function Calling连接外部世界 - 入门与实战（1）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1146799。

相关文章

Spring AI集成DeepSeek的详细步骤

Spring AI集成DeepSeek的详细步骤

《SpringAI集成DeepSeek的详细步骤》DeepSeek作为一款卓越的国产AI模型,越来越多的公司考虑在自己的应用中集成,对于Java应用来说,我们可以借助SpringAI集成DeepSe... 目录DeepSeek 介绍Spring AI 是什么？1、环境准备2、构建项目2.1、pom依赖2.2
阅读更多...
Android 悬浮窗开发示例((动态权限请求 | 前台服务和通知 | 悬浮窗创建 )

Android 悬浮窗开发示例((动态权限请求 | 前台服务和通知 | 悬浮窗创建 )

《Android悬浮窗开发示例((动态权限请求|前台服务和通知|悬浮窗创建)》本文介绍了Android悬浮窗的实现效果,包括动态权限请求、前台服务和通知的使用,悬浮窗权限需要动态申请并引导... 目录一、悬浮窗 动态权限请求1、动态请求权限2、悬浮窗权限说明3、检查动态权限4、申请动态权限5、权限设置完毕后
阅读更多...
使用 sql-research-assistant进行 SQL 数据库研究的实战指南(代码实现演示)

使用 sql-research-assistant进行 SQL 数据库研究的实战指南(代码实现演示)

《使用sql-research-assistant进行SQL数据库研究的实战指南(代码实现演示)》本文介绍了sql-research-assistant工具,该工具基于LangChain框架,集... 目录技术背景介绍核心原理解析代码实现演示安装和配置项目集成LangSmith 配置（可选）启动服务应用场景
阅读更多...
0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型，3步搞定一个应
阅读更多...
SQL 中多表查询的常见连接方式详解

SQL 中多表查询的常见连接方式详解

《SQL中多表查询的常见连接方式详解》本文介绍SQL中多表查询的常见连接方式,包括内连接（INNERJOIN）、左连接（LEFTJOIN）、右连接（RIGHTJOIN）、全外连接（FULLOUTER... 目录一、连接类型图表（ASCII 形式）二、前置代码（创建示例表）三、连接方式代码示例1. 内连接（I
阅读更多...
Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll
阅读更多...
Spring AI Alibaba接入大模型时的依赖问题小结

Spring AI Alibaba接入大模型时的依赖问题小结

《SpringAIAlibaba接入大模型时的依赖问题小结》文章介绍了如何在pom.xml文件中配置SpringAIAlibaba依赖,并提供了一个示例pom.xml文件,同时,建议将Maven仓... 目录（一）pom.XML文件：（二）application.yml配置文件（一）pom.xml文件：首
阅读更多...
在Java中使用ModelMapper简化Shapefile属性转JavaBean实战过程

在Java中使用ModelMapper简化Shapefile属性转JavaBean实战过程

《在Java中使用ModelMapper简化Shapefile属性转JavaBean实战过程》本文介绍了在Java中使用ModelMapper库简化Shapefile属性转JavaBean的过程,对比... 目录前言一、原始的处理办法1、使用Set方法来转换2、使用构造方法转换二、基于ModelMapper
阅读更多...
java如何通过Kerberos认证方式连接hive

java如何通过Kerberos认证方式连接hive

《java如何通过Kerberos认证方式连接hive》该文主要介绍了如何在数据源管理功能中适配不同数据源（如MySQL、PostgreSQL和Hive）,特别是如何在SpringBoot3框架下通过... 目录Java实现Kerberos认证主要方法依赖示例续期连接hive遇到的问题分析解决方式扩展思考总
阅读更多...
Java实战之自助进行多张图片合成拼接

Java实战之自助进行多张图片合成拼接

《Java实战之自助进行多张图片合成拼接》在当今数字化时代,图像处理技术在各个领域都发挥着至关重要的作用,本文为大家详细介绍了如何使用Java实现多张图片合成拼接,需要的可以了解下... 目录前言一、图片合成需求描述二、图片合成设计与实现1、编程语言2、基础数据准备3、图片合成流程4、图片合成实现三、总结前
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2