前言 介绍PISSA前，先简单过一下LLMs微调经常采用的LoRA（Low-Rank Adaptation）微调的方法，LoRA 假设权重更新的过程中有一个较低的本征秩，对于预训练的权重参数矩阵 W 0 ∈ R d × k W_0 ∈ R^{d×k} W0​∈Rd×k，( d d d 为上一层输出维度， k k k 为下一层输入维度)，使用低秩分解来表示其更新： 在训练过程中， W 0 W

ChatGPT狂飙160天，世界已经不是之前的样子。 新建了免费的人工智能中文站https://ai.weoknow.com 新建了收费的人工智能中文站https://ai.hzytsoft.cn/ 更多资源欢迎关注 随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。 为此，北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法，在主流数据集上都超