Loras(Low-Rank Adaptation)是一种模型压缩和参数高效利用的技术。它的核心思想是,对于预训练好的大型模型,并不是所有的参数都对最终的性能贡献很大。Loras通过对模型的部分参数进行低秩分解,将其表示为两个低维矩阵的乘积,从而大幅减少了参数的数量。这样既能保持模型的性能,又显著降低了模型的存储和计算开销。 Loras广泛应用于迁移学习和模型压缩场景。在迁移学习中,Loras可