人工智能咨询培训老师叶梓 转载标明出处 大模型（LLMs）的微调过程中，计算资源的需求巨大，这促使研究者们探索参数高效微调（PEFT）技术。低秩适应（LoRA）和专家混合模型（MoE）的结合显示出了提升性能的潜力，但大多数现有方法只是简单地在MoE框架下用LoRA适配器替换专家，并且每一层都分配相同数量的专家。这种方法可能会导致一些问题，比如由于表示崩溃或学习到的路由策略过拟合，导致专家之间的冗