为什么深度学习很慢？ 如果我们利用并行计算，怎样才能完美的利用大量的processor？ 为什么large batch size会引起精度降低？ 新优化器 参考： 快速神经网络的训练算法 --UC Berkeley博士尤洋 本片文章介绍的两种算法不仅可以优化并行计算，在普通硬件环境中运行也是有效的。算法是由UC Berkeley博士尤洋开发。在固定精度的情况下，新算法可以更快的达到要求，在固定训

曾刷新ImageNet纪录的尤洋，回国创业了！ 尤洋，何许人也？ 他是LAMB优化器的提出者，曾成功将预训练一遍BERT的时间，从原本的三天三夜一举缩短到一个多小时。 作为一个通用的神经网络优化器，LAMB优化器无论是大批量还是小批量的网络都可以使用，也无需在学习率之外调试超参数。 据英伟达官方GitHub显示，LAMB比Adam优化器可以快出整整72倍。 微软的DeepSp