autotuning专题

DeepSpeed Autotuning

AutoTuning 用不同的系统参数试跑用户的模型训练,尝试不同的参数组合,给出每种参数组合的速度,供用户去选择较块的来进行真正的训练。 ZeRO optimization stages;micro-batch sizes;optimizer, scheduler, fp16等; 在DeepSpeed配置文件里,设定: "autotuning": { "enabled": true }