text2sql专题

NL2SQL基础系列(1)：业界顶尖排行榜、权威测评数据集及LLM大模型（Spider vs BIRD）全面对比优劣分析[Text2SQL、Text2DSL]

Text-to-SQL（或者Text2SQL），顾名思义就是把文本转化为SQL语言，更学术一点的定义是：把数据库领域下的自然语言（Natural Language，NL）问题，转化为在关系型数据库中可以执行的结构化询语言（Structured Query Language，SQL），因此Text-to-SQL也可以被简写为NL2SQL。输入：自然语言问题，比如“查询表t_user的相关信息，结

NL2SQL进阶系列(1)：DB-GPT-Hub、SQLcoder、Text2SQL开源应用实践详解

1. MindSQL(库) MindSQL 是一个 Python RAG（检索增强生成）库，旨在仅使用几行代码来简化用户与其数据库之间的交互。 MindSQL 与 PostgreSQL、MySQL、SQLite 等知名数据库无缝集成，还通过扩展核心类，将其功能扩展到 Snowflake、BigQuery 等主流数据库。该库利用 GPT-4、Llama 2、Google Gemini 等大型语言

Text2SQL之Vanna优化

文章目录前言一、优化方向二、干就完了一次性生成多个Question-SQL对先生成一个问题，再根据DDL和业务数据生成SQL 总结前言前阵子写了篇Text2SQL的简单介绍，发现其也是RAG只会，写下了Text2SQL之不装了，我也是RAG 最近也一直在做Text2SQL的优化，于是把自己的一些心得，总结于这篇文章。一、优化方向既然本质是RAG，那顺着RAG的

【Text2SQL 论文】CHESS：利用上下文来合成 SQL 的 pipeline

文章目录一、论文速读二、CHESS pipeline2.1 Entity and Context Retrieval2.2 Schema Selection2.3 Query Generation 三、预处理四、实验五、总结讨论一、论文速读本文提出了一个 pipeline 框架——CHESS——来解决应用于复杂的真实数据库场景下的 Text2SQL 问题。在现实场景下

【Text2SQL 论文】C3：使用 ChatGPT 实现 zero-shot Text2SQL

论文：C3: Zero-shot Text-to-SQL with ChatGPT ⭐⭐⭐⭐ arXiv:2307.07306，浙大 Code：C3SQL | GitHub 一、论文速读使用 ChatGPT 来解决 Text2SQL 任务时，few-shots ICL 的 setting 需要输入大量的 tokens，这有点昂贵且可能实际不可行。因此，本文尝试在 zero-shot 的

【Text2SQL 论文】How to prompt LLMs for Text2SQL

论文：How to Prompt LLMs for Text-to-SQL: A Study in Zero-shot, Single-domain, and Cross-domain Settings ⭐⭐⭐⭐ arXiv:2305.11853, NeurlPS 2023 Code: GitHub 一、论文速读本文主要是在三种常见的 Text2SQL ICL settings 评估不

【Text2SQL 论文】QDecomp：探索 CoT-style 的 prompt 来解决 Text2SQL

论文：Exploring Chain of Thought Style Prompting for Text-to-SQL ⭐⭐⭐⭐ EMNLP 2023, arXiv:2305.14215 一、论文速读本文通过对 LLM 使用 CoT-style 的 prompting 方法来解决 Text2SQL 问题，试图回答下面两个问题：哪种 prompting style 更好：在一个

【Text2SQL 论文】DBCopilot：将 NL 查询扩展到大规模数据库

论文：DBCopilot: Scaling Natural Language Querying to Massive Databases ⭐⭐⭐⭐ Code: DBCopilot | GitHub 一、论文速读论文认为目前的 Text2SQL 研究大多只关注具有少量 table 的单个数据库上的查询，但在面对大规模数据库和数据仓库的查询时时却力显不足。本文提出的 DBCopilot 能

Text2SQL之不装了，我也是RAG

文章目录背景核心策略关键步骤效果使用SQL fewshot使用上下文相关fewshot 一些优化背景对业务数据库中的表实现问答。输入是用户的问题，输出是该问题的答案。这是很典型的Text2SQL的应用场景了，为了实现这一需求，很容想到的是把创建的表和表的描述都放进prompt里，让LLM去根据表的结构生成SQL语句，再利用工具去执行SQL语句，拿到查询结果后，再丢给

【Text2SQL 论文】T5-SR：使用 T5 生成中间表示来得到 SQL

论文：T5-SR: A Unified Seq-to-Seq Decoding Strategy for Semantic Parsing ⭐⭐⭐ 北大 & 中科大，arXiv:2306.08368 文章目录一、论文速读二、中间表示：SSQL三、Score Re-estimator四、总结一、论文速读本文设计了一个 NL 和 SQL 的中间表示 SSQL，然后使用

【Text2SQL 论文】IncSQL：通过增量式生成 action 序列来得到 SQL

论文：IncSQL: Training Incremental Text-to-SQL Parsers with Non-Deterministic Oracles ⭐⭐⭐ ICLR 2019，arXiv:1809.05054, Microsoft Research 一、论文速读本文提出了 IncSQL，一个使用 Non-Deterministic Oracles 思路的增量式 Tex

【Text2SQL 经典模型】X-SQL

论文：X-SQL: reinforce schema representation with context ⭐⭐⭐⭐ Microsoft, arXiv:1908.08113 X-SQL 与 SQLova 类似，使用 BERT style 的 PLM 来获得 representation，只是融合 NL question 和 table schema 的信息的方式不太一样，也就是在利用 B

Text-to-SQL小白入门（12）Awesome-Text2SQL开源项目star破1000

项目介绍项目地址 23年9月份刚开源这个项目，大半年过去了，star数终于破1000啦，决定在知乎更新一下内容，看看内容变化，知乎有上当时项目介绍的链接：追光者：Text-to-SQL小白入门（六）Awesome-Text2SQL项目介绍 GitHub地址：https://github.com/eosphoros-ai/Awesome-Text2SQL 项目首页截止2

本地CPU搭建知识库大模型来体验学习Prompt Engineering/RAG/Agent/Text2sql

目录 1.环境 2.效果 3.概念解析 4.架构图 5. AI畅想 6.涉及到的技术方案 7. db-gpt的提示词 1.环境基于一台16c 32G的纯CPU的机器来搭建纯docker 打造 2.效果 3.概念解析 Prompt Engineering ：提示词工程 RAG：检索增强生成；知识库的构建+知识检索+大模型生成

基于大模型的Text2SQL微调的实战教程(二)

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。本文主要介绍了基于大模型的Text2SQL微调的实战教程(二)，希望对学习大语言模

NL2SQL进阶系列(4)：ConvAI、DIN-SQL等16个业界开源应用实践详解[Text2SQL]

NL2SQL进阶系列(4)：ConvAI、DIN-SQL等16个业界开源应用实践详解[Text2SQL] NL2SQL基础系列(1)：业界顶尖排行榜、权威测评数据集及LLM大模型（Spider vs BIRD）全面对比优劣分析[Text2SQL、Text2DSL] NL2SQL基础系列(2)：主流大模型与微调方法精选集，Text2SQL经典算法技术回顾七年发展脉络梳理 NL2SQL进阶系列(

NL2SQL进阶系列(3)：Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解[Text2SQL]

NL2SQL进阶系列(3)：Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解[Text2SQL] NL2SQL基础系列(1)：业界顶尖排行榜、权威测评数据集及LLM大模型（Spider vs BIRD）全面对比优劣分析[Text2SQL、Text2DSL] NL2SQL基础系列(2)：主流大模型与微调方法精选集，Text2SQL经典算法技术回顾七年

NL2SQL基础系列(2)：主流大模型与微调方法精选集，Text2SQL经典算法技术回顾七年发展脉络梳理

NL2SQL基础系列(2)：主流大模型与微调方法精选集，Text2SQL经典算法技术回顾七年发展脉络梳理 Text-to-SQL（或者Text2SQL），顾名思义就是把文本转化为SQL语言，更学术一点的定义是：把数据库领域下的自然语言（Natural Language，NL）问题，转化为在关系型数据库中可以执行的结构化询语言（Structured Query Language，SQL），因此Te

基于chatGLM在llama index上建立Text2SQL

基于chatGLM在llama index上建立Text2SQL 文中使用了chatglm的llm和embedding modle，利用的智谱的免费token Text2SQL Text2SQL其实就是从文本到SQL，也是NLP中的一种实践，这可以降低用户和数据库交互的门槛，无需懂SQL就可以拿到数据库数据。Text2SQL实现了从自然语言到SQL语言的生成，更加进一步的是直接给出数据

Text2SQL 和智能问答的提示词写法

Text2SQL 生成 Query SQL================================ System Message ================================You are a {dialect} expert. Given an input question, creat a syntactically correct {dialect} query

Text2SQL研究-Chat2DB体验与剖析

文章目录概要业务数据库配置Chat2DB安装设置原理剖析小结概要近期笔者在做Text2SQL的研究，于是调研了下Chat2DB，基于车辆订单业务做了一些SQL生成验证，有了一点心得，和大家分享一下.：业务数据库设置基于车辆订单业务，模拟新建了以下四张表，并添加了一些测试数据 1. organization：组织表，包含组织id，组织名称，组织分类等3个字段； 3.

大模型LLM Agent在 Text2SQL 应用上的实践

1.前言在上篇文章中「如何通过Prompt优化Text2SQL的效果」介绍了基于Prompt Engineering来优化Text2SQL效果的实践，除此之外我们还可以使用Agent来优化大模型应用的效果。本文将从以下4个方面探讨通过AI Agent来优化LLM的Text2SQL转换效果。 1 Agent概述2 LangChain中的Agent模块3 Agent优化Text2SQL效果的

如何通过 Prompt 优化大模型 Text2SQL 的效果

前言在上篇文章中「大模型LLM在Text2SQL上的应用实践」介绍了基于SQLDatabaseChain的Text2SQL实践，但对于逻辑复杂的查询在稳定性、可靠性、安全性方面可能无法达到预期，比如输出幻觉、数据安全、用户输入错误等问题。本文将从以下4个方面探讨通过Prompt Engineering来优化LLM的Text2SQL转换效果。 1. 问题及思路 2. Prompt概述

大模型LLM在 Text2SQL 上的应用实践

一、前言目前，大模型的一个热门应用方向Text2SQL，它可以帮助用户快速生成想要查询的SQL语句，再结合可视化技术可以降低使用数据的门槛，更便捷的支持决策。本文将从以下四个方面介绍LLM在Text2SQL应用上的基础实践。 · Text2SQL概述 · LangChain基础知识 · 基于SQLDatabaseChain的Text2SQL实践 · 后续计划二、Text2SQL概述

Text-to-SQL小白入门（十）RLHF在Text2SQL领域的探索实践

本文内容主要基于以下开源项目探索实践， Awesome-Text2SQL:GitHub - eosphoros-ai/Awesome-Text2SQL: Curated tutorials and resources for Large Language Models, Text2SQL, Text2DSL、Text2API、Text2Vis and more.DB-GPT-Hub：GitHub

Text2SQL学习整理（五）将Text-to-SQL任务与基本语言模型结合

导语上篇博客：Text2SQL学习整理（四）将预训练语言模型引入WikiSQL任务简要介绍了两个借助预训练语言模型BERT来解决WIkiSQL数据集挑战的方法：SQLOVA和X-SQL模型。其中，借助预训练语言模型的强大表示能力，SQLOVA已经超越了人类表现。而X-SQL则更进一步，使用MT-DNN取得了比SQLOVA更好的效果。本篇博客将为大家介绍另一个使用预训练模型的方法：Hybri