Ilya Sutskever:师从Hinton,“驱逐”奥特曼,一个改变AI世界的天才科学

本文主要是介绍Ilya Sutskever:师从Hinton,“驱逐”奥特曼,一个改变AI世界的天才科学,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

ChatGPT 已经在全球爆火,但大众在两周之前似乎更熟悉Sam Altman,而对另一位创始人 Ilya Sutskever 却了解不多。

直到前几天因为OpenA眼花缭乱的政权争夺大戏,OpenAI 的首席科学家Ilya Sutskever的名字逐渐被世人所知。

Ilya Sutskever在科学和工程实现上为ChatGPT的诞生做出了巨大贡献,可谓是ChatGPT的发明人。然而,也许是因为Sam Altman是负责搞融资和商业化的CEO,也许是因为 Altman 的名字总是被国内媒体翻译为“奥特曼”,他的激进的作风更能引起国内社交媒体的关注,这使得Altman被冠上了“ChatGPT之父”的称号。

那么究竟谁才是真正的ChatGPT之父呢?知乎上有网友专门为此展开了争论。

这里暂且放下争论,其实少了Ilya Sutskever和Sam Altman任何一人,都没有现如今的 ChatGPT 和OpenAI,但如果没有Ilya Sutskever在AI领域中的诸多突破与成就,一定不会有现在ChatGPT 的出现。

今天,我们先不谈“Altman”,而是着重回顾 Ilya Sutskever 的故事。看看他是如何凭借着他的聪明才华一步步从普通人成为 AI 界的一代传奇人物!

▲Ilya Sutskever 手绘像,来源为 JourneyMatters

1986—2002年:早年生活和教育

Ilya 于 1986 年出生在苏联,5 岁时搬到耶路撒冷生活,自幼对计算机产生浓厚兴趣,从 7 岁时就开始自学编程。之后,在以色列开放大学学习了一段时间后,16 岁那年再次搬家去了加拿大,转而在多伦多大学读书,据说他在新家的第一件事就是去多伦多公共图书馆找一本关于机器学习的书。

从那时起,Ilya 对人工智能的热情日益加深,他决定将构建通用人工智能(AGI)设定为自己的主要目标

大模型研究测试传送门

GPT-4传送门(免墙,可直接测试,遇浏览器警告点高级/继续访问即可):
http://hujiaoai.cn

2003年:拜入深度学习之父Hiton门下

在学术生涯中,**对 Ilya 影响最大的人莫过于他的老师:Geoffrey Hinton——被誉为深度学习之父的那个男人。

2003年,还在就读本科的 Ilya 每天都会敲Hinton的门,希望能被接纳进实验室。在读了几篇论文后,他在深度学习领域的思考与 Hinton 教授的思想发生了碰撞,引起了 Hinton 教授对 Ilya 独特之处的认识:他有能力发现那些其他人可能需要数年才能发现的东西。

尽管当时正值人工智能领域的寒冬,研究者们对人工智能的兴趣逐渐下降,但 Hinton 教授还是决定接纳Ilya进入他的实验室。

2005 年,Ilya 在多伦多大学获得数学学士学位,2007 年获得计算机科学硕士学位,2013 年获得计算机科学博士学位。

2012年:图像识别领域的革命—— AlexNet

或许你听说过 AlexNet 与 Hiton或 Alex的关系,但你可能没有注意到它与Ilya之间也有着关联。

当时正值人工智能的低谷期,Hinton 的神经网络理念并没有被同期的 AI 研究者们广泛接受,这让他们面临了巨大的压力。然而,他们并没有因此而退缩,反而更加坚定了他们的信念。

2012 年,ImageNet 大赛为他们提供了证明自己的机会——看谁能设计出最优秀的图像识别算法,成功识别出更多的图像。

Hinton带着他的两位学生 Ilya Sutskever 和 Alex Krizhevsky 在这次大赛中发明了AlexNet,他们摒弃了传统的手工设计解决方案,而是使用了深度神经网络并在 GPU 上训练它们

从左到右:IIya Sutskever、Alex Krizhevsky、Geoffrey Hinton

AlexNet 突破了75% 的准确度,远远超越了所有竞争对手,向大家展示了深度学习的巨大潜力,也标志着深度学习革命的开端。

由他们三人共同撰写的 AlexNet 论文至今引用量已超过 6 万次,成为计算机科学领域引用最多的论文之一,而当时的 Ilya 才只有 26 岁。

2013年:从 DNNResearch 到加入谷歌

在这场竞赛后,三人共同创办了一家名为 DNNResearch 的公司,然而,该公司并没有推出任何产品,也没有明确的发展计划。随后,包括百度、谷歌、微软和 DeepMind 在内的四家公司参与了竞标收购。仅仅过去了4个月,谷歌在 2013 年 3 月以 4400 万美元的金额收购了 DNNResearch,并聘请 Ilya 担任 Google Brain 的研究科学家。

在 Google Brain 工作期间,Ilya 参与了许多后来惊艳世人的工作,比如与 Demis Hassabis 和 David Silver 等人共事,参与AlphaGo的核心工作。

此外,他还积极参与了 TensorFlow 的开发,造福了众多深度学习研究人员。

曾一起共事的同事称,“Ilya 是个无所畏惧的人。”

在这个阶段,Ilya 的愿景变得更加宏大——开始坚信通用人工智能(AGI)近在咫尺。

2014年:机器翻译的革命—— Sequence-to-Sequence

在谷歌工作期间,Ilya 发明了一种用于将英语翻译成法语的变体神经网络。他提出的序列到序列学习方法捕捉输入的时序结构(如英语句子)并将其映射到具有时序结构的输出(如法语句子)。

当时的研究者们并不相信神经网络能够进行翻译工作,而他的发明击败了表现最佳的翻译器,并促使谷歌翻译重大升级,让机器翻译领域从此焕然一新,也自此引起了自然语言领域的研究新热潮。

没错,这背后的就是序列到序列学习(Sequence-to-Sequence Learning)算法。

这对后来Transformer 的诞生也做出了重要贡献。

2015年:联合创建OpenAI,开启新篇章

谷歌在 AI 领域一直处于领先地位,而 Ilya 作为备受重视的研究人员,有天收到了一封来自 Sam Altman 的邀约。他赴约去与 Sam Altman、Greg Brockman 和 Elon Musk 等人共同讨论人工智能的未来,畅想未来可能发生的事情,以及他们是否能够采取一些积极措施来影响人工智能的发展。

就在这场聚会中,OpenAI 的创始理念首次被明确提出——“利用人工智能造福全人类,并以负责任的方式推动人工智能的发展”,这激发了所有参与者的期待和激情。然而,当时 Ilya 还在谷歌工作,对于是否加入 OpenAI 的问题犹豫不决。最终,在多次思考和马斯克等人的劝说下,Ilya 决定放弃在谷歌数百万美元的工作机会,成为非营利组织 OpenAI 的联合创始人,并担任研究总监。

▲Sam Altman 与 Ilya Sutskever

OpenAI 的早期发展并不顺利,作为非营利组织,寻找投资人成为一项艰巨的任务。然而,马斯克等人决定向该项目投入 10 亿美元,这使得 OpenAI 能够聘用领域内的优秀人才,并取得了一些重要突破。但是这些发展也付出了昂贵代价——每个月需要在云计算上花费数百万美元,而且还需要从其最大的竞争对手谷歌那里租用计算能力。

马斯克曾是OpenAI 的董事会成员,在 2018 年因与特斯拉发生利益冲突而选择离开,这一度使得 OpenAI 面临严重的资金问题。在如此困境下,Sam 试图利用他的人脉寻找新投资者,但由于 OpenAI 是个非营利组织,需要的资金过多,几番尝试并未成功。他们必须迅速找到解决方案,否则所有努力都将付诸东流。

在这个关键时刻,微软的 CEO 同意与他们会面,会议结果改变了 OpenAI 的窘境。Sam 成功说服了微软投资 10 亿美元,并获得了使用 Azure 云计算平台的权限。这样,OpenAI 就不再需要向谷歌支付费用,而微软转而成为他们的重要合作伙伴。

2018-2020:GPT-1~3 的发展

GPT 模型的每一次迭代都代表了自然语言处理领域的重大进展:

  • GPT-1(2018):这是该系列的首个模型。其关键创新之一是采用了无监督的预训练方法,经过对大规模互联网文本数据集的训练,通过学习根据前面的单词上下文来预测句子中的单词,使模型能够深入理解语言结构并生成类似于人类的文本。

  • GPT-2(2019):在 GPT-1 的成功基础上构建,采用更大的数据集训练,生成更为强大的模型。GPT-2 的一项重大进展是其能够在各种主题上生成连贯而流畅的段落文本,使其成为无监督语言理解和生成任务中的关键参与者。

  • GPT-3(2020):在规模和性能上都取得了显著突破。GPT-3 拥有当时震惊世人的 1750 亿参数,在众多语言任务上取得了最先进的性能,在问答、机器翻译和摘要生成等能力上可以媲美人类水平。此外,它还展示了执行简单编码任务、撰写连贯新闻文章甚至是诗歌的能力。

▲GPT 架构

在微软的支持和 Ilya 等人的领导下,OpenAI 的研究人员在 2018 年创建了原始的 GPT 模型。一年后,他们又发布了 GPT-2,这个新模型展示了大型语言模型的巨大潜力,但同时也引发了 AI 社区的不满,因为 OpenAI 不再是一个非营利实体,而且开源作品越来越少。

然而,尽管面临争议,OpenAI 仍取得了显著的研究成果。2020 年,他们发布了GPT-3,使得OpenAI到达一个重要转折点。尽管 GPT-3 的性能出色,但它并没有引起太多关注。为了让更多的人能够使用 GPT-3,Sam 说服了另外两位创始人,提出了用户友好界面的想法。

2021年: 对 DALL-E 1 的研究

Ilya 总是走在创新前沿,2020 年 6 月,OpenAI 提出了新概念—— Image GPT,旨在利用神经网络依据用户的文本指令生成新的高质量图片,而 DALL-E 便是实现了该想法的杰作。

在 Ilya 的领导下,OpenAI 团队创造出了由AI驱动的图像生成模型 DALL-E ,采用与 GPT 模型类似的架构和训练过程,可以根据用户的文本输入生成各种风格的图像

DALL-E 的发展与设计过程对后来的模型(如 DALL-E 2 和 MidJourney)都具有指导作用,它的成功为推动多模态领域的研究和创新奠定了基础。

2022年:ChatGPT 的诞生与发展

随后,OpenAI 的研究团队对 GPT-3 模型进一步改进,并将新模型命名为 GPT-3.5,采用了最简单的用户界面。由此,语言模型的不断发展促使了 ChatGPT 在 2022 年 11 月 30 日诞生。如今,又衍生出升级版本 GPT-4,再次将生成式人工智能的成就推向一个新高度。

正如 Sam 的先前所说的那样,这一切引发了世界范围内的 AI 变革。在短短的五天内,ChatGPT 吸引了逾百万用户注册使用,创下了产品史上用户增长最快的记录。包括 ChatGPT 的创造者在内,所有人都对这一产品的成功感到震惊。

在 OpenAI 的发展过程中,Ilya 不仅关心技术创新,而且认真对待潜在的风险,他格外关注人工智能的安全性,并在公司内积极为人工智能系统的安全性分配更多资源。他领导着公司的 Superalignment 团队,专注于管理人工智能带来的潜在风险。为实现这一目标,将公司计算能力 20% 的资源用于解决与人工智能安全性相关的问题

这又将我们带回了他与 Sam 的冲突上,Ilya 的谨慎立场显然与 Sam 更为激进的做法产生了分歧,后者倾向于更快地推进开发强大的人工智能,事态随后发展到 OpenAI 董事会成员策划撤职 Sam Altman,用似乎更为稳重的 Emmett Shear 替代他。但随之另一位联合创始人 Greg 也宣布辞职,同时 700 多名员工联名声讨董事会,仅仅几天后,Sam 又回到了 OpenAI……

总结

在吃瓜之余,抛开 ChatGPT 的诞生与成长来说,Ilya 对整个人工智能领域也有着重要影响。

在过去的十多年里,Ilya 立足于人工智能变革的前沿,其每个阶段的成果都可能是我们一生也无法企及的高度

Ilya 参与或主导的工作一度改变了计算机视觉领域、机器翻译甚至自然语言处理领域的研究进程,其研究工作被引用超过 42.7 万次,成为引用量最多的计算机科学家之一。在 2015 年,MIT还将他列为全球 35 位最重要的创新者之一,时代杂志也将他评为最具影响力的人物之一。

或许有朝一日,当AGI真正改变世界的时候,Ilya 将会被誉为历史上最重要的科学家之一,在人工智能领域的贡献也将会被所有人熟知。

这篇关于Ilya Sutskever:师从Hinton,“驱逐”奥特曼,一个改变AI世界的天才科学的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/432409

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

揭秘世界上那些同时横跨两大洲的国家

我们在《世界人口过亿的一级行政区分布》盘点全球是那些人口过亿的一级行政区。 现在我们介绍五个横跨两州的国家,并整理七大洲和这些国家的KML矢量数据分析分享给大家,如果你需要这些数据,请在文末查看领取方式。 世界上横跨两大洲的国家 地球被分为七个大洲分别是亚洲、欧洲、北美洲、南美洲、非洲、大洋洲和南极洲。 七大洲示意图 其中,南极洲是无人居住的大陆,而其他六个大洲则孕育了众多国家和

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件,然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它,快速获取到想要知道的信息。https://www.chatpdf.com/

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡,拥有登录权限的账号密码,一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 (如果是1集群把75改成66) 交互式开发 执行器选Terminal 密码随便设一个(需记住) 工作空间:私有数据、全部文件 加速器选GeForce_RTX_2080_Ti

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU