【Text2SQL 论文】IncSQL:通过增量式生成 action 序列来得到 SQL

2024-05-28 00:04

本文主要是介绍【Text2SQL 论文】IncSQL:通过增量式生成 action 序列来得到 SQL,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

论文:IncSQL: Training Incremental Text-to-SQL Parsers with Non-Deterministic Oracles

⭐⭐⭐

ICLR 2019,arXiv:1809.05054, Microsoft Research

一、论文速读

本文提出了 IncSQL,一个使用 Non-Deterministic Oracles 思路的增量式 Text2SQL Parser,在 WikiSQL 上做的测试。

该模型的输入 x x x 包括 NL question 和 table schema(不包含 content),输出 y y y 是一个 SQL query。如下图所示:

由于 WikiSQL 的 SQL 结构是固定的,所以每个 SQL query 唯一对应一个 structured representation,比如上面 example 的 SQL 对应下面这个结构:

  • 这个 structure 包含 AGG、SELCOL 和 COND 三个部分。

1.1 将对 SQL 的生成任务,视为对 action sequence 的生成

本文模型将 y y y 的生成转变为这个 structure 的生成,这个 structure 的生成又转为对 action sequence 的生成:有一个初始 parser state p 0 p_0 p0 和一个空的 struct,每一个 action 会在 struct 中填充一部分内容,并将 parser state 由 p p p 进化为 p ′ p' p。所有可能的 action 如下表:

  • AGG(agg) action 表示为 struct 的 AGG 部分填充上 agg 值
  • SELCOL(ci) action 表示为 SELCOL 部分填充上 c i c_i ci
  • CONDCOL(ci) action 表示为 COND 部分增加一列,并且将这一列中的 COL 部分填充为 c i c_i ci
  • CONDOP(op) action 表示为 COND 中的 OP 部分填充 op
  • CONDVAL(w i:j) action 表示为 COND 中的 VAL 填充上 question[i:j] 的值
  • END 表示 action sequence 的结束

由此,前面 Example 中的 SQL 的生成就可以被视为下面这个 action sequence:

在这里插入图片描述

这样,我们通过生成 action sequence,就可以生成一个 SQL query。

1.2 Decoder

假如我们已经通过 encoder 获得了 question 和 column headers 的上下文表示,使用 a a a 表示一个 action。

Decoder 模型就可以视为一个概率分布: P θ ( a ∣ x , a < i ) P_\theta (a | x, a_{\lt i}) Pθ(ax,a<i) —— 表示根据 input x 和过去的 actions 来生成当前 step 的 action。

在一个 step 中,具体选择哪一个 action 作为下一个生成结果,是一个分类问题,模型为所有候选 actions 打分,并通过 softmax 概率化,按照贪心策略选择当前 step 最有可能的 action。

模型的具体选择上,使用了 LSTM 来一个 step 一个 step 的生成,每一个 step 基于 LSTM 当前的 hidden state 和 question 与 schema 的 representation 来做预测。具体做法可以参考原论文。

1.3 Encoder

Encoder 主要是为 question 和 column headers 生成 context-sensitive representation,本论文主要使用了 bi-LSTM,具体细节不再介绍。

1.4 整体模型架构

有了 Encoder 和 Decoder,本论文的模型架构如下图所示:

二、Non-Deterministic Oracles

由于同一个 question,可以对应多个等价的 SQL,因为 WHERE 子句中不同的 cond 是可以互换的。

以往的研究中,由于 order-matters 问题,都假设了每个 question 仅有一个正确的 SQL query,但这在实践中并不符合实际。

在本文模型的训练过程中,在让 model 生成下一个 step 的 action 时,允许他探索多种目标策略,而不仅仅单一的目标策略,这种方法被称为 Non-Deterministic Oracles

比如在最开始的例子中,是先生成的 CONDCOL(c3)CONDCOL(c2),但训练时也允许先 CONDCOL(c2)

同时 Non-Deterministic Oracle 还增加了一个特殊列名 ANYCOL,因为所要预测的 column name 有可能不出现在 question 中,比如 “What is the area of Canada?” 中并没有 country 这个单词,为了预测这个单词,模型可以输出 CONDCOL(ANYCOL),在后面,我们会将其做扩展,比如模型如果想表达 ANYCOL='Willis',那我们会扩展为 rank='Willis' OR name='Willis' OR ...,这样当 value 可以明确地解析为一个 column name 时,这样的 ANYCOL 时被视为正确的操作。

模型的损失函数被定义如下:

在这里插入图片描述

这篇关于【Text2SQL 论文】IncSQL:通过增量式生成 action 序列来得到 SQL的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1008969

相关文章

MySQL中比较运算符的具体使用

《MySQL中比较运算符的具体使用》本文介绍了SQL中常用的符号类型和非符号类型运算符,符号类型运算符包括等于(=)、安全等于(=)、不等于(/!=)、大小比较(,=,,=)等,感兴趣的可以了解一下... 目录符号类型运算符1. 等于运算符=2. 安全等于运算符<=>3. 不等于运算符<>或!=4. 小于运

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成

MySQL进行数据库审计的详细步骤和示例代码

《MySQL进行数据库审计的详细步骤和示例代码》数据库审计通过触发器、内置功能及第三方工具记录和监控数据库活动,确保安全、完整与合规,Java代码实现自动化日志记录,整合分析系统提升监控效率,本文给大... 目录一、数据库审计的基本概念二、使用触发器进行数据库审计1. 创建审计表2. 创建触发器三、Java

MySQL逻辑删除与唯一索引冲突解决方案

《MySQL逻辑删除与唯一索引冲突解决方案》本文探讨MySQL逻辑删除与唯一索引冲突问题,提出四种解决方案:复合索引+时间戳、修改唯一字段、历史表、业务层校验,推荐方案1和方案3,适用于不同场景,感兴... 目录问题背景问题复现解决方案解决方案1.复合唯一索引 + 时间戳删除字段解决方案2:删除后修改唯一字

Zabbix在MySQL性能监控方面的运用及最佳实践记录

《Zabbix在MySQL性能监控方面的运用及最佳实践记录》Zabbix通过自定义脚本和内置模板监控MySQL核心指标(连接、查询、资源、复制),支持自动发现多实例及告警通知,结合可视化仪表盘,可有效... 目录一、核心监控指标及配置1. 关键监控指标示例2. 配置方法二、自动发现与多实例管理1. 实践步骤

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5

SpringBoot中六种批量更新Mysql的方式效率对比分析

《SpringBoot中六种批量更新Mysql的方式效率对比分析》文章比较了MySQL大数据量批量更新的多种方法,指出REPLACEINTO和ONDUPLICATEKEY效率最高但存在数据风险,MyB... 目录效率比较测试结构数据库初始化测试数据批量修改方案第一种 for第二种 case when第三种

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

MySql基本查询之表的增删查改+聚合函数案例详解

《MySql基本查询之表的增删查改+聚合函数案例详解》本文详解SQL的CURD操作INSERT用于数据插入(单行/多行及冲突处理),SELECT实现数据检索(列选择、条件过滤、排序分页),UPDATE... 目录一、Create1.1 单行数据 + 全列插入1.2 多行数据 + 指定列插入1.3 插入否则更

MySQL深分页进行性能优化的常见方法

《MySQL深分页进行性能优化的常见方法》在Web应用中,分页查询是数据库操作中的常见需求,然而,在面对大型数据集时,深分页(deeppagination)却成为了性能优化的一个挑战,在本文中,我们将... 目录引言:深分页,真的只是“翻页慢”那么简单吗?一、背景介绍二、深分页的性能问题三、业务场景分析四、