本文主要是介绍Knowledge Editing for Large Language Models: A Survey,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本文是LLM系列文章,针对《Knowledge Editing for Large Language Models: A Survey》的翻译。
大型语言模型的知识编辑研究综述
- 摘要
- 1 引言
- 2 背景
- 3 问题描述
- 4 评估指标
- 5 方法
- 6 数据集
- 7 应用
- 8 讨论
- 9 结论
摘要
大型语言模型(LLM)最近改变了学术界和工业界的格局,因为它们具有基于丰富的知识和推理能力理解、分析和生成文本的非凡能力。然而,LLM的一个主要缺点是,由于其前所未有的参数数量,其预训练的计算成本巨大。当经常需要将新知识引入预先训练的模型中时,这种劣势会加剧。因此,必须开发有效和高效的技术来更新预先训练的LLM。传统方法通过直接微调将新知识编码在预先训练的LLM中。然而,天真地重新训练LLM可能是计算密集型的,并且有可能退化与模型更新无关的有价值的预先训练的知识。最近,基于知识的模型编辑(KME)引起了越来越多的关注,其目的是精确地修改LLM以包含特定知识,而不会对其他无关知识产生负面影响。在本次综述中,我们旨在全面深入地概述KME领域的最新进展。我们首先介绍了KME的一般公式,以包含不同的KME策略。之后,我们基于如何将新知识引入预先训练的LLM,提供了KME技术的创新分类,并研究了现有的KME策略,同时分析了每个类别方法的关键见解、优势和局限性。此外,还相应地介绍了KME的代表性度量、数据集和应用。最后,我们对KME的实用性和剩余挑战进行了深入分析,并为该领域的进一步发展提出了有前景的研究方向。
1 引言
2 背景
3 问题描述
4 评估指标
5 方法
6 数据集
7 应用
8 讨论
9 结论
在这项调查中,我们对基于知识的模型编辑(KME)技术进行了全面深入的回顾,该技术用于在预先训练的LLM中精确有效地更新新知识。我们首先将KME问题公式化为一个约束优化目标,同时确保编辑的准确性和保留性,这通常包括不同的KME策略。然后,我们对KME的评估指标进行了概述,揭示了编辑模型的理想属性。随后,我们提出了一个结构化的分类框架来系统地对现有的KME技术进行分类。在每一类中,我们概述了核心挑战,阐述了具有代表性的方法,并讨论了它们的优势和劣势。此外,我们总结了广泛用于评估KME技术的数据集,强调某些技术需要特定的数据集结构来进行训练或评估。为了激励研究人员设计更实用的实现,我们还重点介绍了KME技术在现实世界中的应用。最后,我们确定了未来研究的几个潜在挑战,并提供了有助于该领域进一步发展的有见地的方向。
这篇关于Knowledge Editing for Large Language Models: A Survey的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!