VECO：对于语言的理解和生成的灵活多变跨语言模型的预训练 本文包括 1.为什么提出VECO 2.怎么训练VECO 3.VECO的结果 4.结论 为什么提出VECO 跨语言训练的背景 从预训练任务的角度 VECO预训练的任务 我们建议将交叉注意模块(query!=key/value)插入Transformer编码器和设计一个交叉注意的MLM任务，“明确地”捕捉语言之间的相互依赖。 背景