多头注意力(MHA)是Transformer的关键组成部分。在MHA中，注意力头是独立工作的，导致注意得分矩阵的低秩瓶颈和注意头冗余等问题。动态组合多头注意(dynamic Composable Multi-Head Attention, DCMHA)是一种参数化和计算效率高的注意力结构，它解决了MHA的不足，并通过动态组合注意头来提高模型的表达能力。DCMHA的核心是一个Comp