张亚勤:深度学习更近一步,如何突破香农、冯诺依曼和摩尔瓶颈?

本文主要是介绍张亚勤:深度学习更近一步,如何突破香农、冯诺依曼和摩尔瓶颈?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

来源:机器之心

本文约3100字,建议阅读6分钟

本文为你分享张亚勤在2020 CEO 年会上演讲《未来科技趋势展望》。

近日,在联想创投 2020 CEO 年会上,清华大学讲席教授、智能产业研究院院长、美国艺术与科学院院士、百度前总裁张亚勤先生带来了《未来科技趋势展望》。 

张亚勤表示,数字化的 3.0 时期已经到来,数字化的范围已从内容、社交和企业服务领域向物理和生物世界进行延伸,将我们熟悉的城市、工厂、电网、家庭向智慧交通、工业互联网、智慧医疗等方向进行升级,为了完成物理世界的“数字化”,数据需要更清晰地让数字世界和现实世界一一对应,通过深度学习,计算机不断加深着对于人类世界的认知。

随着数据的海量爆发,如何突破目前的算力,成为了一代又一代科学家攻克的关键,香农定律、冯诺依曼架构和摩尔定律奠定了传统计算与通讯范式,如何突破已经接近极限的三种理论?张亚勤表示,需要通过对信息的重新定义,制定新的计算范式、计算体系和通讯架构,而他们又给产业带来了新的机会。为此,中国需要抓住机会,引领数字化的 3.0 时代和第四次工业革命浪潮。

 

清华大学讲席教授、智能产业研究院院长、美国艺术与科学院院士、百度前总裁张亚勤发表演讲

以下为张亚勤演讲全文:

大家下午好!非常高兴能够来到联想创投 CEO 年会,作为中国 IT 的 icon,联想 36 年历经坎坷,也取得很多进展,尤其是联想的"3S"战略,和我今天要讲的内容"智能技术趋势"非常吻合。

数字化进程的演变与 3.0 时代的到来

回顾 IT 产业 30 年发展历程,最大的特征就是数字化。第一波数字化开始于 80 年代中期,也是联想成立的时期。围绕自然界的内容表述,数字化的范围包括音乐、视频、声音、图像等,算法和标准有 MP3/4、H.26、AVS 等;随着 PC 的推出,又出现了 PPT、EXCEL、WORD 文档数字化。

第二波数字化开始于 90 年代中期,在内容数字化的基础上加上互联网、HTDP、HTML 的产生,从而催生消费者互联网,从早期的 PC 网站、门户,到搜索、电商、社交,再到后来的共享经济、Zoom 等视频通讯、数字货币和移动支付。从产品体验和规模等方面来看,中国在移动互联网时代下的消费互联领域整体领先于世界。

与此同时,企业也在数字化方向不断细化与革新,比如 ERP、CRM、HR、Supply Chain、BI、workflow 等管理系统的诞生。在云领域,中国已在逐步追赶基础设施云的建设,逐渐缩小与其他国家在规模效应上的差距。

我认为,中国软件的发展跳过了以"软件作为产品"的时代,直接进入以"软件作为服务"的时代。互联网本身就是"软件作为服务"的一种符号,作为一种新软件模式,我认为大量 SaaS 公司会在 5 年之后陆续出现,未来 SaaS 平台会有很大的机会。

现在,我们进入了数字化 3.0 时期,也即智能感知时代,这个阶段发生了两方面转变:一是物理世界的数字化,我也把它叫做"互联网的物理化"——工厂、电网、机器,乃至所有移动设备、家庭、城市都在向数字化发展。在这个过程中出现了相较于过去上千甚至上万倍的海量数据,比如一辆无人车每天产生的数据量大约 5-10T;相比于数据主要提供给人员辅助决策的 1.0 和 2.0 时代,数字化 3.0 时期 99% 以上数据在机器间传输,到最后一环节才传递给人员。

第二个方面的转变生物世界的数字化,人们的细胞结构、所有器官乃至整个身体都在数字化,整体数量级比物理世界大上千倍。从虚拟、宏观到微观,整个数字信息世界、物理世界和生物世界正在走向融合。此外,"数字孪生"技术可以让我们更加清晰地将物理世界和生物世界进行一一对应。

有了大数据之后,我们还要实现数据的结构化和智能化在人工智能的 60 年发展过程中,有"冬天"也有"春天"。人工智能根据不同算法大致分为两类:一种是逻辑推理,是以知识为驱动的算法;另一种是以大数据为驱动的算法,两者都运用到了人类大脑的基本认识、基本模型和决策模型。

过去十年里最流行的深度学习,基本是以大数据、大计算、大模型算法来驱动,其中包括 AlphaGO、AlphaZero。深度学习确在过去一段时间取得很好的进展,比如 GAN、Transfer learning,到现在的 GPT-3 等等。未来,深度学习还有很大发展空间,其算法需要结合符号逻辑、知识型推理和更多模型的因果关系和新的范式,目前对于产业来讲,未来五至十年,深度学习还会是最重要的算法。

根据 Google AI 负责人 Jeff dean 的观点,人工智能的三大要素是数据、算法和算力,实际上是数据加上 100 倍的算力,并且算力比数据更重要 100 倍。这个观点我不完全同意,但我同意在目前深度学习框架下,算力十分重要。

突破香农、冯诺依曼、摩尔瓶颈,推动算力发展

怎么突破目前的算力?过去 60 年,传统计算与通讯范式有三个重要原理:香农定律、冯诺依曼架构和摩尔定律。

香农定律,定义了熵、信道容量和失真情况下压缩极限,目前,我们距离这三个极限已比较接近。冯诺依曼架构是指五个最基本模块加上程序存储原理,是图灵意义下最好的一种实现,但它的瓶颈在于数据和计算的分离。在深度学习中,庞大数据量本身就会形成一个瓶颈。最后还有摩尔定律的限制。

如何突破这三个瓶颈?

首先,我们需要对信息做一个重新的定义,制定新的计算范式。另外,进入互联网时代,香农理论从点对点通讯延伸到多用户信息论,但真正的理论框架并没有太大进步,所以需要更多理论层面的模型更新,否则深度学习就很难引入因果关系和模型。

目前,图像视频编码技术的发展已经达到性能极限,如何用 AI 彻底、大幅度地进行改善也需要我们的思考。

此外,还需要新计算体系和通讯架构,创新传感器类型。传感器能够获取各种各样的数据,所以非常重要。有观点认为,人用"小数据"就可以做决策,但我认为大数据是机器的优势,虽在决策方面与人相比稍有欠缺,但在获取各种不同数据时比人更有优势。

同时,需要新模态。深度学习需要的 Tensor Products、线性代数、布尔代数等要素在传统的冯诺依曼架构下不易实现,通过研发 GPU、ASIC 等技术加速并彻底形成新架构成为了大趋势。除了传统的英特尔、AMD,谷歌、百度、地平线、寒武纪等公司也在做这件事,在新架构产生之后,就会随之产生更多新算法、新模型、新型芯片,这将是一个非常大的机会。

这是一个我在百度启动的项目:昆仑芯片,这是一个大型芯片,主要用于大型训练,已经在百度部署。第一代昆仑芯片能在 150 瓦的功率下实现 260 TOPS 的处理能力。第二代昆仑芯片采用 7nm 先进工艺,相对于第一代芯片而言,性能提高了 3 倍。

核心基础设施"ABCD"带来智能时代的颠覆性改变

计算、通讯、新架构、新算法,它们给产业带来的新机遇,就像联想的"3S 战略",在 IT 行业不断升级的背景下,为整个产业带来了新机遇甚至是颠覆性的改变。

抓住新的行业机遇,我们正在面临第四次工业革命,如果说前三次工业革命中国是旁观者,但在这一次,中国有机会在很多方面成为引领者。

面向第四次工业革命,我们希望能够打造成一个国际化、智能化和产业化的智能产业研究院(AIR)。我们有三个方式达到这个目标:最重要的是吸引一流人才,特别是担任过 CTO、研究院院长的人才,另外还要有深厚的学术背景和丰富的企业经验;其次,研究院还要培养目前我们还比较缺乏的、具备深度大系统思维能力和顶层设计能力的 CTO 和顶级架构师;最后,我们要打造核心技术并逐步将其发展为公司。

目前,我们刚刚起步,除我之外,还有两位联合合伙人,一位是马维英博士,他是电气电子工程师学会院士,字节跳动副总裁、人工智能实验室主任,也是微软亚洲研究院前常务副院长;另一位是赵峰博士,他也是电气电子工程师学会院士,还是前海尔集团 CTO、副总裁,全球 loT 教科书编写者。这两位联合合伙人非常符合我刚才的描述,不仅发表很多学术文章,同时又有丰富的产业经验。  

我们聚焦于三个研究领域:智慧交通、工业互联网、智慧医疗。我认为,智慧交通能够为整个社会和产业带来巨大的影响,作为未来 5-10 年最有挑战的技术,无人驾驶还能够通过狭义的人工智能解决自身的难题。我们还聚焦工业互联网、IoT、智能感知,因为他们是数字世界和物理世界的接口;在我们看来,AI 在未来十年还可以深层次地改变整个医疗健康产业,不局限于 AI 机器人针对病人和医护人员的协助性工作,还包括制药、蛋白质结构预测等,实现以上三领域的发展都需要基础设施"ABCD",即 AI、Big Data、Cloud、Device,以及学者对基础科学研究的支持。

在 AIR,我们采用完全开放的模式,希望和整个产业有多种形式的合作,比如联合实验室、联合科研项目、共同孵化项目,我们也希望能够通过这个机会认识更多创业者,让大家更了解 AIR,大家齐力构建更大的生态圈。

编辑:于腾凯

校对:林亦霖

这篇关于张亚勤:深度学习更近一步,如何突破香农、冯诺依曼和摩尔瓶颈?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/901263

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

黑神话,XSKY 星飞全闪单卷性能突破310万

当下,云计算仍然是企业主要的基础架构,随着关键业务的逐步虚拟化和云化,对于块存储的性能要求也日益提高。企业对于低延迟、高稳定性的存储解决方案的需求日益迫切。为了满足这些日益增长的 IO 密集型应用场景,众多云服务提供商正在不断推陈出新,推出具有更低时延和更高 IOPS 性能的云硬盘产品。 8 月 22 日 2024 DTCC 大会上(第十五届中国数据库技术大会),XSKY星辰天合正式公布了基于星

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

线性代数|机器学习-P36在图中找聚类

文章目录 1. 常见图结构2. 谱聚类 感觉后面几节课的内容跨越太大,需要补充太多的知识点,教授讲得内容跨越较大,一般一节课的内容是书本上的一章节内容,所以看视频比较吃力,需要先预习课本内容后才能够很好的理解教授讲解的知识点。 1. 常见图结构 假设我们有如下图结构: Adjacency Matrix:行和列表示的是节点的位置,A[i,j]表示的第 i 个节点和第 j 个