本文主要是介绍论文阅读:Editing Large Language Models: Problems, Methods, and Opportunities,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Editing Large Language Models: Problems, Methods, and Opportunities
论文链接
代码链接
摘要
由于大语言模型(LLM)中可能存在一些过时的、不适当的和错误的信息,所以有必要纠正模型中的相关信息。如何高效地修改模型中的相关信息而不影响无关的信息,是模型编辑方法试图解决的问题。本篇文章对大语言模型上的模型编辑方法(model editing)进行了分类介绍和评估,并提出了一个新的基准,包括评估数据集和评估标准。
分类
LLM上的模型编辑方法主要包括两类:(a) 模型参数不变(Preserving LLMs’ Parameters);(b) 模型参数改变(Preserving LLMs’ Parameters)。模型参数不变的方法又可以分为额外参数 (Additional Parameters) 和基于记忆的 (Memory-based Model)方法。而模型参数改变的方法又可以分为定位然后编辑类(Locate-Then-Edit)和元学习类(Meta-learning)。
这篇关于论文阅读:Editing Large Language Models: Problems, Methods, and Opportunities的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!