Text2SQL之不装了，我也是RAG

2024-06-02 01:28
文章标签 rag text2sql 之不装

本文主要是介绍Text2SQL之不装了，我也是RAG，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 背景
  • 核心策略
  • 关键步骤
  • 效果
    • 使用SQL fewshot
    • 使用上下文相关fewshot
  • 一些优化

背景

对业务数据库中的表实现问答。输入是用户的问题，输出是该问题的答案。

这是很典型的Text2SQL的应用场景了，为了实现这一需求，很容想到的是把创建的表和表的描述都放进prompt里，让LLM去根据表的结构生成SQL语句，再利用工具去执行SQL语句，拿到查询结果后，再丢给LLM，让LLM根据给定的内容回答问题。我一开始也是这么想的，但是，当你的业务表非常多的时候，比如有上千个，你应该选择哪个表或者哪些表去给到LLM呢？根据问题去检索可能会用到的表是比较容易想到的一种方式。

于是，我带着我的疑惑，去调研了目前一些比较火的text2sql的框架。惊奇地发现，他们确实也是这样做的。比较典型的就是vanna了

这篇关于Text2SQL之不装了，我也是RAG的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1022653。

相关文章

基于RAG的知识库AI代理机器人，问题思考

基于RAG的知识库AI代理机器人，问题思考

基于RAG的知识库AI代理机器人，问题思考 知识库内容分类 对于普通非qa问答格式的知识内容 在分段存储时，需要手动调整，保证每个分段的内容意思完整，不被分割，当然段落也不宜过长，保证内容表达的意思到不可分割为止就行 对于qa问答格式的知识内容 通常需要对问题增加格外索引，因为fastgpt的模式是将问题和回答，作为完整的文本作为向量化的坐标，当问题和回答的内容过长时，使用问题向量化匹配
阅读更多...
航行在水域：使用数据湖构建生产级 RAG 应用程序

航行在水域：使用数据湖构建生产级 RAG 应用程序

在 2024 年年中，创建一个令人印象深刻和兴奋的 AI 演示可能很容易。需要一个强大的开发人员，一些聪明的提示实验，以及一些对强大基础模型的API调用，你通常可以在一个下午建立一个定制的AI机器人。添加一个像 langchain 或 llamaindex 这样的库，使用 RAG 来增强您的LLM一些自定义数据 - 一个下午的工作可能会变成一个周末项目。 然而，投入生产是另一回事。您将需要一
阅读更多...
Why RAG is slower than LLM?

Why RAG is slower than LLM?

I used RAG with LLAMA3 for AI bot. I find RAG with chromadb is much slower than call LLM itself. Following the test result, with just one simple web page about 1000 words, it takes more than 2 seconds
阅读更多...
今日分享丨浅谈RAG的技术特点及优势

今日分享丨浅谈RAG的技术特点及优势

一、引言 随着AI技术的发展，我们见证了人工智能在理解和处理自然语言方面取得的巨大进步。特别是结合了检索增强生成（Retrieval-Augmented Generation, RAG）和大语言模型（Large Language Model, LLM）的系统，为解决复杂查询和提供精确答案提供了强大的工具。RAG通过检索相关信息，增强了大模型的对问题的理解能力，利用RAG的优势，提供了广泛的知识覆
阅读更多...
RAG实操教程langchain+Milvus向量数据库创建你的本地知识库 二

RAG实操教程langchain+Milvus向量数据库创建你的本地知识库 二

Miluvs 向量数据库 关于 Milvui 可以参考我的前两篇文章 • 一篇文章带你学会向量数据库Milvus（一）[1]• 一篇文章带你学会向量数据库Milvus（二）[2] 下面我们安装 pymilvus 库 pip install --upgrade --quiet pymilvus 如果你使用的不是 Miluvs 数据库，那也没关系，langchain 已经给我们分装了几十
阅读更多...
求求你别学了：从 Prompt 到 RAG，从 RAG 到 DSPy

求求你别学了：从 Prompt 到 RAG，从 RAG 到 DSPy

如本瓜在此前的文章中提到过，Prompt 工程已经不中用了，没有人愿意废那么大的劲来学习如何结构化提问，大家想要的就是傻瓜式提问，但是大模型的回答还是精准的、合意的； 后来，大兴 RAG 技术，做专业化的本地知识库，但是这个本地库的成本只能说是更高，如果有专业的库直接来用还行，要不然自建库、清洗数据等等，费了九牛二虎之力，那还要大模型啥事？ 所以有人才说2023年大模型百模大战是原子弹，202
阅读更多...
NL2SQL基础系列(1)：业界顶尖排行榜、权威测评数据集及LLM大模型（Spider vs BIRD）全面对比优劣分析[Text2SQL、Text2DSL]

NL2SQL基础系列(1)：业界顶尖排行榜、权威测评数据集及LLM大模型（Spider vs BIRD）全面对比优劣分析[Text2SQL、Text2DSL]

Text-to-SQL（或者Text2SQL），顾名思义就是把文本转化为SQL语言，更学术一点的定义是：把数据库领域下的自然语言（Natural Language，NL）问题，转化为在关系型数据库中可以执行的结构化询语言（Structured Query Language，SQL），因此Text-to-SQL也可以被简写为NL2SQL。 输入：自然语言问题，比如“查询表t_user的相关信息，结
阅读更多...
基于RAG的私人知识库聊天机器人

基于RAG的私人知识库聊天机器人

随着人工智能的快速发展，特别是大语言模型的惊艳表现，让我们见证了信息检索和知识管理系统的重大进步。在这篇文章中，将探讨如何利用 Retrieval-Augmented Generation（RAG）技术，结合 MongoDB 数据库和 LangChain 框架，来构建一个先进的私人知识聊天机器人。 大模型聊天机器人的不足 在过去的这段时间，相信大家都领会到了生成式人工智能聊天机器人的魅力
阅读更多...
打开 RAG 对接大模型的黑盒 —— 9 大隐藏问题

打开 RAG 对接大模型的黑盒 —— 9 大隐藏问题

前一段时间，各个大模型在争斗：谁能携带更长、更大的上下文 Prompt，比如 Kimi 说 200 万字，阿里通义千问又说自己能达 1000 万字；大家都知道 Prompt 很重要，但是 RAG 和 长的上下文文本携带 是两个不同的技术方向。 RAG 先来简单介绍一下什么是 RAG （增强搜索生成），很简单： 当我们问 ChatGPT 一个比较专业的问题时，他就是开始回答轱辘话了，通用大模型
阅读更多...
从 0 打造私有知识库 RAG Benchmark 完整实践

从 0 打造私有知识库 RAG Benchmark 完整实践

背景介绍 最近从 0 构建了一个大模型知识库 RAG 服务的自动化 Benchmark 评估服务，可以基于私有知识库对 RAG 服务进行批量自动化测试与评估。本文是对这个过程的详细记录。 本文实际构建的是医疗行业知识库，基于高质量的医学指南和专家共识进行构建。而实际的问答对也基础知识库已有文档生成，避免参考源不存在导致的大模型幻觉，可以更加客观反映 RAG 服务的能力。当然整体的构建流程是与行
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2