Tool-SQL:基于Agent智能体的Text2SQL解决方案,显著提升Text2SQL效果

本文主要是介绍Tool-SQL:基于Agent智能体的Text2SQL解决方案,显著提升Text2SQL效果,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Tool-SQL:基于Agent智能体的Text2SQL解决方案,显著提升Text2SQL效果

近期,Text-to-SQL 技术通过整合数据库系统的反馈,有效利用了大型语言模型(LLMs)。尽管这些技术能有效纠正 SQL 查询的执行错误,但在处理数据库不匹配问题上仍显不足,这类问题不会引发执行异常。为此,我们设计了一个辅助工具框架,包括检索器和检测器,专门用于诊断并修正 SQL 查询中的不匹配问题,从而提升 LLM 在实际应用中的查询处理能力。同时,我们推出了 Spider-Mismatch 数据集,专门针对现实场景中的条件不匹配问题。实验显示,我们的方法在少样本环境下,不仅在 Spider 系列数据集上表现卓越,更在 Spider-Mismatch 这一更具现实挑战的数据集上大幅超越了传统方法。

1. Text2SQL现状

Text-to-SQL 任务是将自然语言问题自动转化为结构化查询语言(SQL),从而让非专业用户能够更便捷地从数据库获取数据。

Text-to-SQL 任务研究着重于运用各种框架和策略来训练模型,需要大量的标注数据。近期的研究探索了用大型语言模型(LLMs)的方案,并将上下文学习(ICL)应用于该任务。仅需提供几个示例,就能在众多任务中的表现媲美微调模型。

提高Text2SQL的准确性,目前有两个主流优化方案:自我纠正和基于执行反馈的优化。

  • • 自我纠正方:引导 LLMs 依据预定义的纠正准则生成修订后的 SQL 查询,但仅能处理有限范围的错误。

  • • 执行反馈:通过利用在数据库管理系统(DBMS)上执行这些查询所得到的反馈来优化 SQL 查询,确保可激发性并改进结果。这方法对于那些未触发执行异常的问题却无能为力。

作者文章中主要关注于执行反馈策略中一种特定错误类型:数据库不匹配。这种错误类型涵盖了两个常见的问题:

1.1 条件不匹配(Mismatch of Conditions)

SQL 查询中条件子句的不匹配可能导致空结果或错误结果。

在真实场景中,用户问题的多样性和不规则性导致 LLMs 难以将问题与数据库精准对齐并生成正确的 SQL 条件子句。

上图展示了在真实场景中将自然语言查询转换为 SQL 的难题,凸显了用户问题中常见的模糊性。

因为问题表述不够清晰,使得 LLMs 难以确切判定用户所指的是“Written_by”还是“Directed_by”等特定列。

此外,即便确定了正确的列,用户问题中提及的值与数据库中的实际数据存在不一致时,也可能导致空结果(例如,“todd casey”与“Todd Casey”)。

尽管现有方法试图通过为每个列提供示例值来协助 LLMs,但在真实场景中仍然不够。

1.2 更严格约束的不匹配(Mismatch of Stricter Constraints)

在真实场景中,SQL 查询通常需要遵循更严格的约束,这可能源于 SQL 的固有特性或用户自定义的规则。

例如,前者可能涉及与外键关系或列数据类型相关的限制,后者可能包含诸如“NULL”值或特定数据格式等强制流程。

这些更严格约束的不匹配在执行时未被体现,但不满足这些约束的 SQL 查询可能无法产生预期结果。

这使得 LLMs 难以在单个流程中生成准确的 SQL 查询,需要多步优化才能完成 SQL 生成。

2 Tool-SQL

为了解决以上不足,作者提出了Tool-SQL:一个工具辅助的智能体框架,检查并纠正 SQL 查询中的错误。运用多种工具来诊断 SQL 查询中的问题,并利用基于 LLM 的智能体根据这些工具提供的反馈有针对性地优化这些查询。

Tool-SQL设计了两个特定工具来解决上述问题:

  • • (1)数据库检索器,当 SQL 条件子句与数据库中的任何条目均不匹配时,通过检索相似的数据库单元作为反馈来协助基于 LLM 的代理。

  • • (2)错误检测器,诊断更广泛的错误,包括执行错误以及由 SQL 规则或领域专家定义的更严格约束的不匹配。

如上图,将一组 Python 函数定义为智能体的动作空间。这些函数对应不同的 SQL 子句。因此,输出是代表 SQL 查询的一系列动作,而非 SQL 查询本身。

通过 Python 解释器执行动作序列,工具集中的每个工具都会依据问题和数据库进行调用,以检查函数调用中的不同错误。若检测到错误,每个工具都会向智能体提供特定反馈,帮助智能体优化特定的 SQL 子句,而非盲目修改 SQL 查询。

检查和优化过程是迭代式的。智能体生成一系列动作后,会调用所有工具来检查潜在问题。若所有工具都认可动作序列,它将用于组装最终的 SQL 查询。反之,若有任何工具检测到问题,代理将依据原始序列和工具的反馈生成新的动作序列。

此过程可能会重复多次,直至所有工具都认可序列或达到最大尝试次数。

2.1 函数调用设计

上图展示了Tool-SQL的函数设计。基于 SQL 的主要子句定义了八个 Python 函数,这些函数在优化后可用于组装 SQL 查询。

每个 SQL 子句都有相应的函数动作,比如“WHERE”子句由“add_where”函数表示。

为减少智能体的动作空间,将 SQL 查询连接运算符(如“UNION”“INTERSECT”“EXCEPT”)合并到一个“add_merge”函数中。

“WHERE”或“HAVING”子句中的连接运算符(如“AND”和“OR”)隐藏在函数设计中,并在最后由大型语言模型处理,简化了动作生成过程。由

于每个 SQL 子句具有不同的结构特征,每个子句的内容作为参数传递给相应的函数。例如,“WHERE”子句“A = B”表示为“add_where(A, =, B)”。

这种参数化方式使得我们框架中的工具能更有效地诊断 SQL 子句中的错误,并降低字符串解析的复杂性。

还引入“QA()”函数以更好地处理子问题,增强智能体的推理能力。当执行此函数时,智能体会为子问题生成单独的动作。

这九个函数构成了基于大型语言模型代理的动作空间。

对于推理阶段的新问题,由于上下文为智能体提供了一个完整且不会立即改变的数据库模式,智能体会一次性生成动作序列,而非像其他工作那样逐步进行。这种方式避免了智能体与环境之间过多且不必要的交互。对于上下文中未涵盖的大多数数据库表单元格,Tool-SQL的数据库检索工具会检查条件子句并向智能体提供反馈。

2.2 检查工具(Inspection Tools)

Tool-SQL 定义了两个工具——数据库检索器和错误检测器,用于检查 SQL 查询中的问题,并协助智能体优化 SQL 查询。

2.2.1 数据库检索器(Database Retriever)

数据库检索器的主要作用是协助智能体验证 SQL 条件子句的正确性。

检索器检查条件动作(如“add_where”和“add_having”)中的参数是否与数据库中的任何条目匹配,若未找到匹配项,则为智能体提供类似单元格的参考。

通过使用检索器,智能体能够将 SQL 查询中的值与数据库中的相应单元格对齐,或者决定从条件子句中排除列,这对于现实世界中的文本到 SQL 任务至关重要。

用户问题通常包含与数据库中的标准化值不同的不规则值,在执行查询前需要进行验证。此外,用户问题的模糊性可能使即便是高级代理也难以在条件子句中找到正确的列名。

使用 SimCSE 作为检索模型,因为它能有效捕获约束值和数据库单元格之间的语义信息,对于处理具有显著变化(如缩写)的情况特别有用。

基于检索器返回的单元格,智能体评估条件子句的正确性。

若条件被认定为正确,智能体选择真实的单元格来替换值的提及;否则,智能体生成新的条件动作。每次智能体执行新动作时,都会从上下文中的数据库模式中移除先前使用的条件列,以避免重复动作。这个过程会重复多次,直至生成正确的约束,或者达到最大尝试次数。若达到最大尝试次数仍未成功,将使用初始条件动作作为最终答案,因为它可能是最准确的。

2.2.2 错误检测器(Error Detector)

错误检测器的作用是通过间接访问数据库来检查更严格的约束的不匹配情况,并检测 SQL 中的执行错误。

由大型语言模型生成的 SQL 可能因不熟悉特定领域的 SQL 或产生幻觉等因素而包含错误,所以错误检测至关重要。

解析 Python 函数的参数并设计验证程序,在数据库的协助下进行检测。

与 MAC-SQL 不同,Tool-SQL不在 DBMS 中直接执行 SQL 查询来收集反馈,因为这种方法的错误检测能力有限,通常只能捕获语法错误和数据库模式错误等执行异常。

此外,尽管权限控制策略能够防止潜在有害的 SQL 损坏数据库中的重要数据,但执行未经检查的 SQL 查询仍存在风险,因为它可能导致大型数据库中的响应时间变慢

在检查过程中,首先提取数据库的模式信息,包括所有表名、列名和类型、外键关系等。

然后,设计验证程序来检查函数的参数是否满足 SQL 操作和数据库模式。对于更严格的约束,诊断过程重点检测基于 SQL 特性的以下错误:

  • • 1)外键关系不匹配

  • • 2)“JOIN”操作的冗余或缺失

  • • 3)条件子句中列类型不匹配

  • • 4)“GROUP BY”子句的缺失或不当使用

工具具有可扩展性,并且能够通过分析函数调用中的参数轻松适应在现实世界场景中检测用户定义的约束。例如,真实世界场景中,对列数据处理有特定要求时,工具可以扩展以检测是否排除了“NULL”值或是否正确处理了具有特定格式的列。

2.3 SQL 生成

使用校正后的动作序列生成 SQL 查询。使用 Python 解释器执行这些函数调用并提取 SQL 查询的主要组件。对于动作序列中未包含的“WHERE”或“HAVING”子句中缺失的逻辑运算符“AND”和“OR”,依靠大型语言模型来预测。

3. 效果评估

3.1 评估指标

执行准确率(EX)和精确匹配准确率(EM)这两项在Text-to-SQL任务中常用的评估指标来评估Tool-SQL的表现。

执行准确率(EX)评估预测的SQL查询的执行结果是否与相应的标准查询相同。

精确匹配准确率(EM)要求预测的SQL查询的每个组件都与标准查询完全匹配,不过它会忽略SQL查询中的值的差异。

然而,由于对于给定的问题可能存在多个正确的SQL查询,EM指标可能会将部分正确的SQL查询判定为不正确。所以,将执行准确率用作主要评估指标。

3.2 测试基准

对于Spider和Spider-Realistic,主要选取少样本的SOTA方法作为基线以确保比较的公平性。少样本方法在LLM的情境中仅使用几个静态示例,这与从整个训练集中选取示例的示范选择方法有所不同。

对于Spider-Mismatch,与以下少样本方法进行对比:

  • • ACT-SQL:一种引入思维链范式进行SQL生成的单阶段方法,与使用ChatGPT的其他方法相比,在Spider-Realistic数据集上取得了出色的成果。

  • • DIN-SQL:一种运用自我校正方式来优化SQL查询的多阶段方法,将文本到 SQL 任务分解为模式链接、问题分类、SQL 生成和自相关,以降低整体难度。

  • • MAC-SQL:一种基于DBMS反馈来优化SQL的多智能体协作方法。

3.3 测评结果

3.3.1 在Spider和Spider-Realistic上的结果

如上表,Tool-SQL在Spider开发集上达成了最高的执行准确率,以及在Spider开发集和测试集上的平均结果。

在Spider-Realistic上,相较于基线,取得了更大的性能差距。

如上表所示,Tool-SQL + GPT-4的表现比在Spider上表现出色的其他方法至少高出4.8%,这表明Tool-SQL在处理Spider-Realistic中的列干扰方面更具成效。Tool-SQL在Spider和Spider-Realistic上的稳定性能显示出其在应对不同场景挑战时的稳健性。

在Spider-Mismatch上的结果

上表展示了在Spider-Mismatch上的结果。在少样本设定下,以ChatGPT和GPT-4作为代理,Tool-SQL分别超出基线9.6%和7.1%。Spider-Mismatch针对现实场景中的用户问题,聚焦于条件的不匹配。

现有方法难以从表中提取足够的价值信息,致使它们难以生成准确的条件子句。Tool-SQL在Spider-Mismatch上保持了出色的性能,表明Tool-SQL显著增强了基于LLM的代理处理现实世界问题的能力。

3.4 消融分析

为评估Tool-SQL中每个验证工具的有效性,在Spider-Mismatch上针对每个工具展开了消融研究,其中的问题更能反映现实世界的场景。

如上图所示,排除每个工具都会逐步降低LLM代理的性能。

当移除数据库检索器时,ChatGPT和GPT-4的执行准确率分别下降了4.1%和3.2%,表明用户问题的模糊性使得LLM难以生成正确的SQL条件子句。此问题在真实场景中可能更为显著,因为数据库中众多相似的单元格会使通过条件后处理方法选取正确的单元格变得复杂。

此外,盲目应用条件后处理方法可能导致不准确的执行结果,特别是对于数据库无法回答的用户问题,凸显了探索数据库内单元格的必要性。

当错误检测工具也被去除时,观察到LLM性能的进一步下滑,ChatGPT的下降幅度更大。表明在没有错误检测器的协助下,较弱的LLM更容易出错。

将错误检测器替换为数据库验证(对应于上图中的“w/ DBMS”)。与错误检测器相比,当从数据库获取反馈时,ChatGPT和GPT-4的执行准确率分别下降了1.6%和1.0%。表明错误检测器在检查SQL查询的更严格约束以及诊断SQL查询的执行错误方面的有效性。

3.5 其他分析

上图展示了在以ChatGPT和GPT-4作为代理的情况下,最大迭代次数对Spider-Mismatch的影响。

结果表明,SQL查询中的大多数错误通过一次纠正即可解决,主要处理执行错误和更严格的约束不匹配。

仍有许多错误需要多次迭代来细化,其中多数是条件子句的细化。意味着智能体在面对现实世界场景中具有挑战性的用户问题时,可能需要多次尝试才能找到正确的条件。

根据Spider-Mismatch的结果,使用Tool-SQL + ChatGPT 所需的平均迭代次数为0.74,而对于Tool-SQL + GPT-4,平均为0.44。

还探究了删除条件后处理模块对结果的影响。如上表所示,删除后处理模块后,所有基线方法的性能都显著降低,凸显了LLM预测的值与数据库中的真实单元格之间的差异。

由于Tool-SQL通过数据库检测器帮助智能体生成正确的条件子句,删除后处理模块不会导致性能下降。相反,在真实场景中,引入该模块可能会导致无答案问题出现错误答案,因为后处理模块会强制将条件子句中的值替换为最相似的单元格。

在大模型时代,我们如何有效的去学习大模型?

现如今大模型岗位需求越来越大,但是相关岗位人才难求,薪资持续走高,AI运营薪资平均值约18457元,AI工程师薪资平均值约37336元,大模型算法薪资平均值约39607元。
在这里插入图片描述

掌握大模型技术你还能拥有更多可能性

• 成为一名全栈大模型工程师,包括Prompt,LangChain,LoRA等技术开发、运营、产品等方向全栈工程;

• 能够拥有模型二次训练和微调能力,带领大家完成智能对话、文生图等热门应用;

• 薪资上浮10%-20%,覆盖更多高薪岗位,这是一个高需求、高待遇的热门方向和领域;

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术,也_想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。为了让大家少走弯路,少碰壁,这里我直接把都打包整理好,希望能够真正帮助到大家_。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,下面是我整理好的一套完整的学习路线,希望能够帮助到你们学习AI大模型。

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

三、AI大模型经典PDF书籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

四、AI大模型各大场景实战案例

在这里插入图片描述

结语

【一一AGI大模型学习 所有资源获取处(无偿领取)一一】
所有资料 ⚡️ ,朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》,扫码获取~

👉[CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)]()👈

这篇关于Tool-SQL:基于Agent智能体的Text2SQL解决方案,显著提升Text2SQL效果的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1136290

相关文章

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点: 1.确保子表中的某个字段(外键)只能引用父表中的有效记录2.主表中的列被删除时,子表中的关联列也会被删除3.主表中的列更新时,子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数,谈性能都是耍流氓。MySQL没有限制单表最大记录数,它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB,才推荐分库分表。性能由综合因素决定,抛开业务复杂度,影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考,并非铁律。 博主曾经操作过超过4亿行数据

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

MySQL数据库宕机,启动不起来,教你一招搞定!

作者介绍:老苏,10余年DBA工作运维经验,擅长Oracle、MySQL、PG、Mongodb数据库运维(如安装迁移,性能优化、故障应急处理等)公众号:老苏畅谈运维欢迎关注本人公众号,更多精彩与您分享。 MySQL数据库宕机,数据页损坏问题,启动不起来,该如何排查和解决,本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志,排查哪个表(表空间

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

MySQL高性能优化规范

前言:      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后,总结出了这篇! 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀,备份

防近视护眼台灯什么牌子好?五款防近视效果好的护眼台灯推荐

在家里,灯具是属于离不开的家具,每个大大小小的地方都需要的照亮,所以一盏好灯是必不可少的,每个发挥着作用。而护眼台灯就起了一个保护眼睛,预防近视的作用。可以保护我们在学习,阅读的时候提供一个合适的光线环境,保护我们的眼睛。防近视护眼台灯什么牌子好?那我们怎么选择一个优秀的护眼台灯也是很重要,才能起到最大的护眼效果。下面五款防近视效果好的护眼台灯推荐: 一:六个推荐防近视效果好的护眼台灯的

[MySQL表的增删改查-进阶]

🌈个人主页:努力学编程’ ⛅个人推荐: c语言从初阶到进阶 JavaEE详解 数据结构 ⚡学好数据结构,刷题刻不容缓:点击一起刷题 🌙心灵鸡汤:总有人要赢,为什么不能是我呢 💻💻💻数据库约束 🔭🔭🔭约束类型 not null: 指示某列不能存储 NULL 值unique: 保证某列的每行必须有唯一的值default: 规定没有给列赋值时的默认值.primary key: