人工智能咨询培训老师叶梓 转载标明出处 大模型（LLMs）在进行SFT时，通过增加指令数据量来提升其在多个下游任务中的性能或显著改善特定任务的表现。但研究者们发现，这种大规模的数据增加可能会导致模型遗忘其预训练阶段学习到的世界知识。这种遗忘现象在封闭书籍问答等任务中尤为明显，这些任务通常用来衡量模型的世界知识水平。 为了应对这一挑战，复旦大学的研究团队提出了LoRAMoE框架。LoRAMoE是