复杂 RAG 系统的检索规划

2024-08-29 16:36
文章标签 规划 系统 检索 复杂 rag

本文主要是介绍复杂 RAG 系统的检索规划,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章介绍了REAPER(Reasoning based Retrieval Planning for Complex RAG Systems),这是一种基于大型语言模型(LLM)的规划器,用于在复杂的对话系统中生成检索计划。REAPER旨在解决在大规模异构数据存储中进行有效证据检索的问题,尤其是在需要多步骤检索的情况下。传统的RAG(Retrieval Augmented Generation)系统通常采用链式思考(Chain-of-Thought, CoT)的方式,将推理和检索步骤交织在一起处理复杂的查询任务,但这种方式会增加系统的响应时间。REAPER能够显著降低这种延迟,并且比基于分类的方法更容易扩展到新的使用场景。

该研究展示了REAPER在零售对话助理中的应用效果,这类助手需要从多个来源如产品评论、信息页面等检索信息来回答客户的问题。这些对话系统通常被训练以理解产品目录和开放数据源,以便于帮助用户发现产品。对于复杂的对话系统来说,它们需要从可能包含PB级别的异构文档的多个索引中检索证据。REAPER通过决定查询哪些索引以及何时让LLM直接利用其预训练知识来回答问题,从而优化了检索过程。此外,REAPER还考虑到了多步骤检索的情况,例如当用户询问关于他们特定订单的问题时,系统首先需要找到相关的订单信息,然后再获取与该订单相关的产品信息。
在这里插入图片描述

RAG框架是一种用于复杂对话系统的架构,它通过从大型异构数据存储中检索相关证据来辅助生成事实性的回答。这些数据存储通常被组织成多个索引或API,而不是单一的数据源。在给定查询的情况下,需要从一个或少量可能的检索来源中获取相关的证据。

l多跳问答和生成

多跳问答涉及在生成最终答案之前执行一系列推理和检索步骤。例如,在零售对话系统中,当客户询问关于他们过去订单的问题时,系统首先需要检索正确的订单记录,然后根据该订单上下文检索与问题相关的证据。这种链式思考(Chain-of-Thought, CoT)任务需要在推理和检索之间交织操作。

l密集检索方法

密集检索方法是一种用于开放域问答的技术,其中使用编码器模型将文档嵌入到稠密向量空间中。查询也被转换为稠密向量,然后使用近似最近邻搜索算法来找到最相关的文档。这种方法比传统的稀疏检索技术(如TF-IDF或BM25)在性能上有所提高。

l对话系统中的知识增强

对话系统中的知识增强是指利用外部知识源来改进系统的响应质量。这可以通过检索相关证据并将其整合到语言模型的生成过程中来实现。例如,一个购物助手可以被训练以使用产品目录和开放数据源,以便在回答用户查询时提供更准确的信息,帮助用户发现合适的产品。

1 PEAPER的设计

REAPER是一个旨在提升复杂查询处理效率的系统,特别是对于需要从多种异构数据源检索证据的对话系统。它通过一个小规模语言模型快速生成完整的检索计划,包括所需工具的选择、调用顺序及参数设置,从而减少了处理延迟。REAPER在工具序列选择上的准确率达到95%,在参数生成上的准确率为92%,并且易于扩展至新的数据源和应用场景。作为一个独立的规划器,REAPER专注于优化检索流程,进而帮助最终的回答生成模型提供更高质量的响应。

2 系统架构

(1)输入:

用户查询以及相关的上下文信息作为REAPER的输入。

上下文信息可以包括产品信息、对话历史、提问的时间、用户信息等。

(2)工具理解和调用:

REAPER需要理解所有可用的工具,这些工具用于生成证据。

REAPER生成的计划包括工具的选择、调用顺序和传递给每个工具的参数。

(3)检索计划生成:

REAPER通过Chain-of-Thought (CoT) 推理生成检索计划。

单步或多步检索计划可以由REAPER生成,取决于查询的复杂性。

(4)证据检索:

基于REAPER生成的计划,相应的工具被调用来从不同的数据源中检索证据。

(5)响应生成:

一个较大的语言模型使用从REAPER生成的计划中获取的证据来生成适当的响应。

对于数据处理部分,大量异构数据存储通常被构建成多个索引或API,而不是单一的大型数据源。REAPER能够处理这种复杂的数据结构,有效地从一个或几个可能的检索源中检索相关证据。

3 结语

文章介绍了一种名为REAPER的推理基础检索规划方法,用于高效生成复杂查询所需的检索计划,以支持基于RAG的对话系统,通过减少延迟并保持响应质量。

论文题目: REAPER: Reasoning based Retrieval Planning for Complex RAG Systems

论文链接: https://arxiv.org/abs/2407.18553

PS: 欢迎大家扫码关注公众号_,我们一起在AI的世界中探索前行,期待共同进步!
在这里插入图片描述

这篇关于复杂 RAG 系统的检索规划的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1118388

相关文章

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

动态规划---打家劫舍

题目: 你是一个专业的小偷,计划偷窃沿街的房屋。每间房内都藏有一定的现金,影响你偷窃的唯一制约因素就是相邻的房屋装有相互连通的防盗系统,如果两间相邻的房屋在同一晚上被小偷闯入,系统会自动报警。 给定一个代表每个房屋存放金额的非负整数数组,计算你 不触动警报装置的情况下 ,一夜之内能够偷窃到的最高金额。 思路: 动态规划五部曲: 1.确定dp数组及含义 dp数组是一维数组,dp[i]代表

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、

软考系统规划与管理师考试证书含金量高吗?

2024年软考系统规划与管理师考试报名时间节点: 报名时间:2024年上半年软考将于3月中旬陆续开始报名 考试时间:上半年5月25日到28日,下半年11月9日到12日 分数线:所有科目成绩均须达到45分以上(包括45分)方可通过考试 成绩查询:可在“中国计算机技术职业资格网”上查询软考成绩 出成绩时间:预计在11月左右 证书领取时间:一般在考试成绩公布后3~4个月,各地领取时间有所不同

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

poj 2976 分数规划二分贪心(部分对总体的贡献度) poj 3111

poj 2976: 题意: 在n场考试中,每场考试共有b题,答对的题目有a题。 允许去掉k场考试,求能达到的最高正确率是多少。 解析: 假设已知准确率为x,则每场考试对于准确率的贡献值为: a - b * x,将贡献值大的排序排在前面舍弃掉后k个。 然后二分x就行了。 代码: #include <iostream>#include <cstdio>#incl