UC伯克利博士尤洋回国创业,曾破ImageNet纪录!已获超千万融资

本文主要是介绍UC伯克利博士尤洋回国创业,曾破ImageNet纪录!已获超千万融资,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

曾刷新ImageNet纪录的尤洋,回国创业了!

尤洋,何许人也?

他是LAMB优化器的提出者,曾成功将预训练一遍BERT的时间,从原本的三天三夜一举缩短到一个多小时。

作为一个通用的神经网络优化器,LAMB优化器无论是大批量还是小批量的网络都可以使用,也无需在学习率之外调试超参数。

据英伟达官方GitHub显示,LAMB比Adam优化器可以快出整整72倍。

微软的DeepSpeed,用的也是LAMB方法。

而这是尤洋在谷歌实习时作为论文一作提出的。

现在,他已经在UC伯克利获得了博士学位,带着LAMB方法回国,创立了潞晨科技。

公司主营业务包括分布式软件系统、大规模人工智能平台以及企业级云计算解决方案。

base北京中关村,目前已经获得由创新工场和真格基金合投的超千万元种子轮融资。

要高效率,也要低能耗

作为高性能计算领域的优秀青年学者,尤洋回国将在这一领域继续深耕。

事实上,高性能计算已经成为眼下前沿AI发展的必然选择。

随着AI模型的参数量越来越大,所需的算力也就越来越高,训练一次模型的时间也就变得十分漫长。

为此,科技巨头们纷纷部署了自己的集群和超算。

比如Google的TPU Pod,微软为OpenAI打造的1万GPU集群,英伟达的SuperPOD,以及特斯拉的Dojo计算机。

△谷歌数据中心

但是单纯地堆硬件,并不能解决所有问题。

一方面,当硬件数量达到一定量后,堆机器无法带来效率上的提升;

另一方面,中小企业往往没有足够的资金支持如此大规模的硬件部署。

因此,优化技术成为了绝佳选择。

潞晨科技就是旨在打造一个高效率低耗能的分布式人工智能系统。

它可以帮助企业在最大化提升人工智能部署效率的同时,还能将部署成本最小化。

而且潞晨打造的系统是一个通用系统,对大部分超大模型都有效。

就目前的Transformer应用而言,该系统在同样的硬件上相对业界最好的系统,可以提升2.32倍的效率。

而且随着机器数量的增长,这套系统的优势会越来越大。

考虑到现在的AI模型其实是往多维度发展的,尤洋在打造这套系统时还选择了动态模型并行技术。

这不仅能够适应现在模型的发展模式,还能极大提升计算效率。

那么,到底什么是AI模型的多维度发展呢?

比如,BERT是基于Transformer Encoder,GPT-3是基于Transformer Decoder,Switch Transformer和清华智源是基于混合专家系统。

同样,超算系统、联邦学习、跨云计算等硬件配置也会将系统复杂化。

这两者之间的自适应配置,将对整个训练系统的性能起着决定性影响。

为此,尤洋他们实现了2维网格参数划分、3维立体参数划分、以及2.5维通信最小化参数划分,极大提升了计算效率。

同时,他们还进行了逐序列划分数据,这可用于处理未来的大图片、视频、长文本、长时间医疗监控数据等方面的问题。

除了提升效率,尤洋他们还着重考虑了能耗问题。

事实上,能耗很可能会成为未来人工智能应用上的一个瓶颈。

根据Emma Strubell等人的研究,从纽约到旧金山每位旅客乘坐飞机产生二氧化碳排放量1,984 lbs。

然而,训练一个2亿参数的模型需要的能耗,就能达到626,155 lbs。

显而易见,低能耗计算十分必要。

尤洋他们在研究中发现,在不改变硬件设置的情况下,能耗主要来自于数据移动。

数据移动包括集群内服务器之间的通讯、GPU与CPU之间的通讯、CPU与磁盘的通讯等等。

为此,他们还实现了一套基于通讯避免算法的系统。可以在不增加计算量的情况下有效减少数据移动量,从而减少能耗。

核心技术

据尤洋介绍,以上他们打造的通用系统,依旧离不开LAMB方法。

LAMB的全称是Layer-wise Adaptive Moments optimizer for Batch training,和大家熟悉的SGD、Adam属于同类,都是机器学习模型的优化器(optimizer)。

之前我们也提到,LAMB无论是大批量还是小批量的网络都可以使用,也无需在学习率之外调试超参数。

靠着这一特点,此前尤洋等人将批大小由512扩展到了65536。

这也是第一次有研究用2000以上的超大批量来训练BERT。

带来的提升就是迭代次数会大大降低。

这让BERT-Large模型原本需要1000000次迭代才能完成预训练过程,有了LAMB加持用上大批量,只需要进行8599次迭代,这大幅缩短了预训练时间。

此外,尤洋等人最近提出的在线演化调度程序ONES,也是这套通用系统调用的一部分。

它可以根据批大小自动管理每个job,从而将GPU的利用率最大化。还能通过演化算法,不断优化调度决策。

评估结果表明,ONES与当前最先进的方法相比,在平均JCT(job completion time)上能够缩短45.6%的时间,优于现有的深度学习调度算法。

据悉,尤洋团队已经与多家企业展开合作。

他们表示,公司的战略是“先造锤子,再找钉子”。创业初期希望打造一个通用系统,1年内完成系统优化,用于中小型企业。

清华学子归国创业

说起尤洋,就不得不说一说他的“学霸史”了。

尤洋曾以第一名的成绩保送清华计算机系硕士。

后来在申请博士时,他从UC伯克利、CMU、芝加哥大学、UIUC、佐治亚理工、西北大学六所名校的全奖offer中,选择了UC伯克利。

读博期间,尤洋先后在Google Brain、英特尔实验室、微软研究院、英伟达、IBM沃森研究中心等知名企业、研究院实习,实习期间为TensorFlow、英伟达GPU上部署caffe、英特尔CPU部署caffe等大型知名开源项目作出了贡献。

△实习期间尤洋曾去老黄家开party

博士毕业时,尤洋还获得了颁发给UC伯克利优秀毕业生的Lotfi A. Zadeh Prize,并被提名为ACM Doctoral Dissertation Award候选人(81名博士毕业生中选2人)。

毕业后,他加入新加坡国立大学计算机系,担任校长青年教授 (Presidential Young Professor)。

在学术研究上,尤洋也同样战绩斐然。

他曾以一作的身份获得2015年国际并行与分布式处理大会(IPDPS)的最佳论文和2018年国际并行处理大会(ICPP)最佳论文奖。

其发表论文《Imagenet training in minutes》所提出的方法刷新了ImageNet训练速度的世界纪录。

2021年,他还被选入福布斯30岁以下精英榜 (亚洲)。

事实上,潞晨团队可不止尤洋一位大神。

其团队核心成员来自美国加州大学伯克利分校、斯坦福大学、清华大学、北京大学、新加坡国立大学、新加坡南洋理工大学等国内外知名高校。

核心团队在高性能计算、人工智能、分布式系统方面已有十余年的技术积累,并在国际顶级学术刊物或会议发表论文30余篇。

此外,还有美国科学院院士,工程院院士James Demmel教授担任团队顾问。

Demmel教授是加州大学伯克利分校前EECS院长兼计算机系主任、中关村战略科学家、ACM/IEEE Fellow,现任加州大学伯克利分校杰出教授。

目前,潞晨科技还在广纳英才。招聘全职/实习软件工程师,全职/实习人工智能工程师。

岗位职责主要有:

开发分布式人工智系统并部署到大规模集群或云端。从具体的场景和问题出发,研发和优化算法系统,产出解决方案应用到场景中。参与人工智能技术与现有工具的融合设计和优化,提高产品性能。撰写高质量的科技论文,有机会担任重要论文的第一作者 (未来换工作或升学的重要加分项)。任职要求为:

精通TensorFlow, PyTorch, Ray, DeepSpeed, NVIDIA Megatron,熟悉上述系统的内部运行机制。熟悉各类优化算法与模型架构,熟悉python或C++的优化算法库,包括各类基于梯度的经典算法与经典模型 (BERT, GPT-3, Switch Transformer, ViT, MLP-Mixer)。有较强的编程能力和工程实现能力。获得过编程竞赛奖或发表过高质量论文的优先录用。211、985、海外知名高校本科以上学位(或在读),计算机科学、软件工程,电子信息,自动化,数学,物理或其它人工智能相关专业。如果想入职潞晨,不知道现在恶补还来得及吗?

简历投递邮箱:luchen.tech@gmail.com

这篇关于UC伯克利博士尤洋回国创业,曾破ImageNet纪录!已获超千万融资的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/670537

相关文章

远程控制不止向日葵,这四款工具千万别错过!

不管是什么职业,总有些朋友会需要远程控制电脑,无论是从家里连接到办公室的机器,还是在出差时需要紧急访问我的开发环境。今天,我想和大家分享一下我使用过的几款远程控制软件它们在实际使用中的表现如何。 一、向日葵 网址:https://down.oray.com 向日葵是一款老牌的远程控制软件,它的界面设计得非常简洁,上手容易。 我最喜欢的是它的跨平台特性,无论是在Windows、macOS还是

MySQL千万大表优化实践

点击上方蓝色字体,选择“设为星标” 回复”资源“获取更多资源 大数据技术与架构 点击右侧关注,大数据开发领域最强公众号! 暴走大数据 点击右侧关注,暴走大数据! 前段时间笔者遇到一个复杂的慢查询,今天有空便进行了整理,以便日后回顾。举一个相似的业务场景的例子。以文章评论为例,查询20191201~20191231日期间发表的经济科技类别的文章,同时需要显示这些文章的热评数目 涉及到的四

AI项目的商业模式与回报支持者【AI创业、AI项目】

随着人工智能技术的日益成熟,越来越多的AI项目涌现出来,如何维持项目的可持续发展成为了关键问题之一。本文将探讨AI项目的商业模式,并介绍如何回报那些支持项目发展的用户。我们将从不同的角度来分析这个问题,包括赞助方式、会员制度、开源项目的部署和功能等方面。 一、AI项目的商业模式 赞助与会员制度 AI项目的商业模式通常包括赞助和会员制度两大部分。赞助是指通过用户的直接经济支持来帮助项目发展,而

线性代数|机器学习-P33卷积神经网络ImageNet和卷积规则

文章目录 1. ImageNet2. 卷积计算2.1 两个多项式卷积2.2 函数卷积2.3 循环卷积 3. 周期循环矩阵和非周期循环矩阵4. 循环卷积特征值4.1 卷积计算的分解4.2 运算量4.3 二维卷积公式 5. Kronecker Product 1. ImageNet ImageNet 的论文paper链接如下:详细请直接阅读相关论文即可 通过网盘分享的文件:image

第九届“创客中国”生成式人工智能中小企业创新创业大赛招商推介圆满落幕

金秋九月,丹桂飘香。9月2日晚,第九届“创客中国”生成式人工智能(AIGC)中小企业创新创业大赛招商推介会在南昌高新区艾溪湖畔成功举办。南昌市政府副秘书长、办公室党组成员陈吉炜出席并致辞。市中小企业局党组书记、市工信局党组书记、局长骆军出席。南昌高新区党工委委员、管委会副主任刘用强主持并作高新区推介。南昌高新区生成式人工智能相关企业及大赛参赛选手参加了本次活动。 (市政府副秘书长

创业型公司如何实现数字化营销突破?

​在当今数字化时代,创业型公司可谓机遇与挑战并存。如何利用数字化营销手段实现突破,成为发展关键。 一、现状之困 资源有限:创业型公司资金、人力相对匮乏,难在传统营销上大笔投入。 品牌知名度低:新公司在市场上认知度不足,吸引客户关注有难度。 数字化营销意识薄弱:部分创业公司对数字化营销重要性认识不够,仍依赖传统方式。 二、突破策略 明确目标客户群体:通过市场调研和数据分析,精准定位,

[从零开始]使用ImageNet数据集实验

记录一下最近开始的ImageNet学习,论文中虽然提到了很多,也开源了训练代码,但是多数情况用自己的代码在相同的Condition就是难以复现,记录一点点目前的。 ImageNet,yyds 数据 数据下载源于官网 http://image-net.org/download,需要注册edu邮箱,一些参考: 下载imagenet2012数据集,以及label说明 下载下来的标签有不对应的

盘点成都产业园前十,寻找你的理想创业地!

成都,这座充满活力与机遇的城市,拥有众多优秀的产业园。今天,就让我们一同来盘点成都产业园前十,为你的创业梦想找到最理想的栖息之地。 国际数字影像产业园:作为成都产业园排名前十的数字文创产业园,国际数字影像产业园在数字影像、数字文创、数字媒体等领域具有明显优势。该园区为创业者提供了专业的产业服务平台和丰富的共享资源,是数字影像产业创新发展的新高地。 成都高新技术产业开发区:在高新技术产业孵化

别瞎“卷”硬件了!做安防项目千万要注意这两点!

中国消费级安防摄像头市场在2024年上半年遭遇了增长瓶颈,数据显示销量虽维持在2791万台的高位,但同比增速已缩减至9.2%,销售额的增幅更是微乎其微,仅为1.1%,总额达到56亿元。这一系列数据凸显出,消费类IPC产品的增长势头正逐渐减弱。同时,市场上IPC产品的毛利率与单位售价的下降,也成为了不容忽视的负面信号,预示着行业正面临调整与挑战。 安防行业内卷已是市场普遍共识,在此境况下,

创业参考信息。

趣头条推荐系统,依据用户属性进knn聚类,对用户兴趣深度挖掘,使用lda主题模型对文章进行分类,使用深度神经网络模型训练doc2vec(文本分析下的情感分析,从文字中自动识别出人们对特定主题的主观看法、情绪以及态度等等) [3]  。离线计算使用svd矩阵分解和item base协同过滤,生成个性化推荐文章集,线上实时使用LR预测模型,通过点击反馈对推荐结果进行重排序。将人群和文章进行分类,将用户