读不懂NeurIPS 2018的艰深论文?我们已经为你划好了重点

2023-11-04 22:50

本文主要是介绍读不懂NeurIPS 2018的艰深论文?我们已经为你划好了重点,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

AI的火爆,让今天在加拿大蒙特利尔开幕的第32届神经信息处理系统大会(NeurIPS 2018),就成为了各国研究组织和企业刷存在感的香饽饽。

有多火呢?

据说,今年的参会人数有9000人,大会门票在11分钟内被一抢而空。官方自己都吐槽,只比碧昂丝演唱会卖的慢一点。

f87a8763107b4ab589518538e83ad209


之所以一票难求,还是因为到场的学术界、产业界大佬太多。谷歌、亚马逊、Facebook、微软是不会缺席的,华为、腾讯、阿里、百度等为代表的中国队也斩获颇丰。值得一提的是,今年还冒出了很多中美欧之外的新面孔,印度、XXX也都有机构获得了非常不错的成绩。

当然,学术会议核心的还是论文,NeurIPS 2018 今年也是收了个盆满钵满,一共收到 4856 篇投稿,创下了历年来的最高记录,最终被录取的论文有 1011 篇,其中有44% 的论文作者放出了代码,42% 将公布数据,无疑让整场大会显得干货十足。

情况介绍的差不多了,接下来该上“硬货”了。但学术名词和论文推理读起来都有点反人类。因此,我们从自己的观察中,为大家梳理了一下NeurIPS 2018可能是最重要的三大趋势,帮助大家了解一下,学术界都发现了哪些新东西,又将给明年的AI带来哪些新机会。

下面请大家系好安全带,收起小桌板,准备好瓜子花生肥宅快乐水,我们开始吧。

趋势一:深度学习依然是“最强王者”

今年NeurIPS 2018评审的 4856篇论文中,深度学习、强化学习、分布式学习等等领域依然是大热门。

以获得最佳论文奖的四篇论文为例,来自加拿大多伦多大学Vector Institute,通过一种新的深度神经网络模型,采取自适应来构建归一性,无需对对数据进行分类或排序,就可以使用黑盒ODE求解器进行端到端训练。

第二篇最佳论文的第一作者为加拿大麦克马斯特大学Hassan Ashtiani,则通过新的相关分布压缩来进行分布式学习,解决了表征学习分布类的样本复杂性。

第三篇则是来自华为诺亚方舟实验室担任一作的研究,在两种情况下研究了分布式优化的最优收敛速度,并提出了第一个最优分散算法:多步原始对偶(MSPD)。

第四篇的作者全部来自Google AI,提出了新的策略一致性概念,结合多项数据集,解决大规模强化学习的妄想偏见问题。

除了获奖的四篇,收录的1011篇论文中还有不少是深度学习方向的文章(大约25%左右),还能在“王座”的位置上待一阵子。

不过,即便是深度学习也并不是在炒冷饭。显然,学术界也在积极反思深度学习存在的一些效率、黑箱性等问题,很多研究都是围绕着对其进行优化展开的。

在NeurIPS 2018的论文集中搜索“optimization”,得到了61个结果。由此可见,通过底层优化算法,用更好的模型让AI以更小的数据代价,更精准地解决问题,正在成为集体做功的方向。

571cd67000b845f286b3d8bcb9f90f37


趋势二:一超多强,难以跨越的谷歌和美帝?

有机构对NeurIPS2018的论文集进行了数据分析,发现Google(包括Deepmind)仍然是毋庸置疑的AI“霸主”,以 137 篇论文成功斩获第一名,甚至将美国同行远远地甩在了身后。

此外,谷歌不但开始向顶会反向输送人才(今年大会的主席Samy Bengio就是来自谷歌的科学家 ),还开始艺高人胆大地开始探讨很多极端领域命题。

比如通过Mesh-TensorFlow实现超级计算机的深度学习。利用一种分布式深度神经网络(DNN),对一些由于内存限制而无法训练的超大模型,进行高效分批处理。

谷歌利用512个TPU训练出了多达50亿个参数的变压器模型。这种基于大型数据集群的高效并行模型算法,足以让其在处理航空、军事、智慧城市等极端算力需求时,依然能保持稳定高效实时处理。

另外,“美国势力”还有不少强队,其中MIT(68篇)与斯坦福(57篇)领衔学术界,Microsoft(46篇)和Facebook(13 篇)领衔工业界。

Facebook在机器视觉领域提出的不少新方式,像是“双注意力网络”、分块坐标搜索算法、能够对抗无聊的新推荐系统、SING音频合成器等等,目测都将在来年给大众早已“审美疲劳”的社交娱乐带来不少新意。

ee295d4ca79d4c5f8cb2029729c8a937


总而言之,经过几年的激烈近身肉搏,人工智能技术竞争格局的基本面目前已经没有争议了,那就是谷歌的霸主地位几乎难以撼动,不过其他战队也出手不凡找到了各自的差异化突破路径。

毕竟,谷歌还有不少纯烧钱的技术,学术会议上再多的成功,未必真能在现实中凝结出商业的果实。这么想想,吃到了酸葡萄的大家心里想必好受了点。

趋势三:中国身影与新晋黑马

在这样的竞争格局下,自然有人不愿让“美国势力”专美。这次NeurIPS 2018,中国队伍可谓是集体为国争光了。

先说四篇最佳论文(Best paper awards),华人科学家陈天琦,以及华为的诺亚方舟实验室,就分别以第一作者的身份摘得殊荣,占据了半壁江山。

华人学者也表现不俗,清华大学有 21 篇论文被收录,论文数量排名第十。来自南京大学的张利军就有 3 篇论文被收录,周志华等人提出了无组织恶意攻击检测算法UMA,CMU的教授邢波和微软研究院的朱泽园也有多篇论文榜上有名。

中国的科技企业巨头也纷纷实力炫技。华为捧回最佳论文奖,阿里iDST(数据科学与技术研究院)就霸气演示了全中文demo,腾讯AI Lab则以 17 篇文章被收录的实力与美国AI军团一较高下。

总体而言,中国军团的学术水准体现出了不容忽视的力量感。

本届大会一共发布了86篇论文,数量上接近10%,远超英法等国。质量上AI那些关键领域一个都没有遗漏,产学研各个层面都在进入技术加速并肩甚至超越的黄金周期。

不过,人工智能的狂飙突进也并不是只有中美在互相抢分。今年的最佳论文及作者,都有加拿大几所大学的相关背景,加拿大在人工智能领域的存在感和影响力,比我们以为的要强得多。

在NeurIPS的AutoML挑战赛中,来自印度的团队Autodidact.ai 也成功出道,取得竞赛第一名(清华、中南大学等队伍摘得亚季军)。

6e8686caeea34d83b141c4865ebc526d


(NeurIPS 2018 AutoML for Lifelong Machine Learning 竞赛结果以及团队成员名单)

总而言之,在接下来的短时间内,来自美国的企业和高校(谷歌/MIT)等依然代表着最强大的“科研势力”,但其话语权是否也能进一步扩张?还真是未知数。

因为其他各国的优势也越来越多,黑马不断涌现,而美国对AI也变得越来越敏感和防备(无处不在的政治正确、贸易战下的严苛签证策略),这些都正在悄无声息地改变看似已经被框定的AI世界。

那么,在感受谷歌“有技术就是可以为所欲为”的打击之外,或许我们可以一起期待一下,未来的中国速度、印度速度、枫叶国现象……


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31561483/viewspace-2284315/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/31561483/viewspace-2284315/

这篇关于读不懂NeurIPS 2018的艰深论文?我们已经为你划好了重点的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/345702

相关文章

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

BUUCTF靶场[web][极客大挑战 2019]Http、[HCTF 2018]admin

目录   [web][极客大挑战 2019]Http 考点:Referer协议、UA协议、X-Forwarded-For协议 [web][HCTF 2018]admin 考点:弱密码字典爆破 四种方法:   [web][极客大挑战 2019]Http 考点:Referer协议、UA协议、X-Forwarded-For协议 访问环境 老规矩,我们先查看源代码

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

论文翻译:ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的,这引发了人们的担忧和猜测,即它们可能已

OmniGlue论文详解(特征匹配)

OmniGlue论文详解(特征匹配) 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super

BERT 论文逐段精读【论文精读】

BERT: 近 3 年 NLP 最火 CV: 大数据集上的训练好的 NN 模型,提升 CV 任务的性能 —— ImageNet 的 CNN 模型 NLP: BERT 简化了 NLP 任务的训练,提升了 NLP 任务的性能 BERT 如何站在巨人的肩膀上的?使用了哪些 NLP 已有的技术和思想?哪些是 BERT 的创新? 1标题 + 作者 BERT: Pre-trainin

[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

引言 今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。 为了简单,下文中以翻译的口吻记录,比如替换"作者"为"我们"。 大语言模型已被广泛采用,但推理时需要大量的GPU内存。我们开发了一种Int8矩阵乘法的过程,用于Transformer中的前馈和注意力投影层,这可以将推理所需

2024 年高教社杯全国大学生数学建模竞赛 C 题 农作物的种植策略 参考论文 无水印

持续更新中,2024年数学建模比赛思路代码论文都会发布到专栏内,只需订阅一次!  完整论文+代码+数据结果链接在文末!  订阅后可查看参考论文文件 第一问 1.1 问题重述 这个问题围绕的是华北山区的某乡村,在有限的耕地条件下,如何制定最优的农作物种植策略。乡村有 34 块露天耕地和 20 个大棚,种植条件包括粮食作物、蔬菜、水稻和食用菌。除了要考虑地块的面积、种植季节等,还要确保

论文精读-Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes

论文精读-Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes 优势 1、构建了一个用于监督原始视频去噪的基准数据集。为了多次捕捉瞬间,我们手动为对象s创建运动。在高ISO模式下捕获每一时刻的噪声帧,并通过对多个噪声帧进行平均得到相应的干净帧。 2、有效的原始视频去噪网络(RViDeNet),通过探