本文主要是介绍SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本文是LLM系列文章,针对《SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION》的翻译。
SELF-RAG:通过自我反思学习检索、生成和批判
- 摘要
- 1 引言
- 2 相关工作
- 3 SELF-RAG:学习检索、生成和批判
- 4 实验
- 5 结果与分析
- 6 结论
摘要
尽管大型语言模型(LLM)具有非凡的能力,但由于它们仅依赖于所封装的参数知识,因此它们通常会产生包含事实不准确的响应。检索增强生成(RAG)是一种通过检索相关知识来增强LM的特别方法,减少了此类问题。然而,不分青红皂白地检索和合并固定数量的检索段落,无论检索是否必要,或者段落是否相关,都会削弱LM的通用性,或者可能导致无益的响应生成。我们引入了一个新的框架,称为自反射检索增强生成(Self-RAG),通过检索和自反射来提高LM的质量和真实性。我们的框架训练单个任意LM,该LM根据需要自适应地检索段落,并使用称为反射token的特殊token生成和反映检索到的段落及其自己的生成。生成反射token使LM在推理阶段可控,使其能够根据不同的任务需求调整其行为。实验表明,SELFRAG(7B和13B参数)在不同的任务集上显著优于最先进的LLM和检索增强模型。具体而言,SELF-RAG在开放域QA、推理和事实验证任务上优于ChatGPT和检索增强的Llama2聊天,并且相对于这些模型,它在提高长形式生成的真实性和引用准确性方面取得了显著进步。
1 引言
2 相关工作
3 SELF-RAG:学习检索、生成和批判
4 实验
5 结果与分析
6 结论
这项工作介绍了SELF-RAG,这是一个新的框架,通过按需检索和自我反思来提高LLM的质量和真实性。SELF-RAG训练LM通过预测其原始词汇表中的下一个标记以及新添加的特殊标记(称为反射标记)来学习检索、生成和批评文本段落及其自己的生成。SELF-RAG通过利用反射token进一步实现了在测试时对LM行为的裁剪。我们使用多个指标对六个任务进行的整体评估表明,在更多参数或传统的检索增强生成方法下,SELF-RAG显著优于LLM。
这篇关于SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!