首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
曾破专题
UC伯克利博士尤洋回国创业,曾破ImageNet纪录!已获超千万融资
曾刷新ImageNet纪录的尤洋,回国创业了! 尤洋,何许人也? 他是LAMB优化器的提出者,曾成功将预训练一遍BERT的时间,从原本的三天三夜一举缩短到一个多小时。 作为一个通用的神经网络优化器,LAMB优化器无论是大批量还是小批量的网络都可以使用,也无需在学习率之外调试超参数。 据英伟达官方GitHub显示,LAMB比Adam优化器可以快出整整72倍。 微软的DeepSp
阅读更多...