原文链接 一、摘要 1. 主要针对数据并行操作进行优化 parallel training system，主要针对的部分为 1）data parallelism 数据并行处理 2）pipeline parallelism 流水线并行 3）multiple tensor parallelism 多重张量并行 4）sequence parallelism 序列并行 二、Highli