Megatron-LM 验证1F1B interleaved的效果 1.创建容器2.安装Megatron-LM,准备数据集3.准备解析脚本4.PP4测试5.PP4 VP2 测试6.NCCL带宽测试 本文测试1F1B interleaved是否能挤掉空泡。因为所用的服务器不支持P2P,且PCIE为GEN1 X16 NCCL all_reduce_perf测试的性能仅为1.166GB