来源: AINLPer公众号（每日干货分享！！） 编辑: ShuYini 校稿: ShuYini 时间: 2024-3-13 引言 大模型训练通常会遇到内存资源的限制。目前常用的内存减少方法低秩适应（LoRA），通过引入低秩（low-rank）适配器来更新模型的权重，而不是直接更新整个权重矩阵。然而，这种方法在预训练和微调阶段通常表现不佳，为此，本文作者提出了梯度低秩映射（Gradien