btx专题
![[阅读笔记20][BTX]Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM](https://img-blog.csdnimg.cn/direct/8751e7253f134d69b3387fceb546fff5.png)
[阅读笔记20][BTX]Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM
这篇论文是meta在24年3月发表的，它提出的BTX结构融合了BTM和MoE的优点，既能保证各专家模型训练时的高度并行，又是一个统一的单个模型，可以进一步微调。 这篇论文研究了以高效方法训练LLM使其获得各领域专家的能力，例如写代码、数学推理以及自然知识。现有的融合多个专家模型的方法有Branch-Train-Merge和Mixture-of-Experts，前者BTM各专家模型在不