大模型在微调时面临着计算效率和内存使用上的挑战。为了克服这些问题，研究者们提出了低秩适应（LoRA）技术，通过在模型的每层中引入可训练的低秩分解矩阵作为适配器模块，以参数高效的方式微调LLMs。 尽管LoRA在提高效率方面取得了进展，但关于LoRA模块的内在模块化和可组合性的研究还相对缺乏，来自Sea AI Lab、华盛顿大学圣路易斯分校和艾伦人工智能研究所的研究人员提出的LoRAHUB的新框架