Jeff Dean

2023-12-10 17:39
文章标签 jeff dean

本文主要是介绍Jeff Dean,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Google 公司的 Jeff Dean在Stanford大学做了一个非常精彩的演讲(视频未墙)。我们每一个人都应该去看一看这个视频,没有字幕,需要不错的听力。下面是一些相关的Notes,供你参夸,并欢迎牛人指证。
 
  




  ● 比较了从1999年到2010年十年来的搜索量的变化。搜索量增加了 1000 倍,而搜索速度快了5 倍。1999年,一个网页的更新最多需要一个月到两个月,而今天,只需要几秒钟,足足加快了5w倍。


  ● 一开始,这些大量的查询产生了大约30GB的I/O量。2004年,他们考虑过全部重写infrastructure。


  ● 讨论了一些关于变量长度字节对齐的东西。


  ● 今天的MapReduce 有400万个作业,处理将近1000PB的数据,130PB的中间数据,还有45PB的输出数据。(1PB =1024TB)关于 MapReduce (Google云计算的精髓)的一些统计,见下图:
 
  
 
  ● 现在Jeff正在做一个叫Spanner的项目,这是一个跨多个数据中心的项目。在后来的Q&A中,Jeff解释了现在的数据基本上都在各个数据中心中,数据在不同数据中心间的交换几乎不可能。所以,他们需要提供一些手动的方式或是一些工作或任务来达到数据共享。这其中还需要有一些策略配置,共同的namespace,事务处理,数据一致性等等工作。


  ● 最后一个段落应该是最精彩的,Jeff讲了很多很有意思的东西,绝对让你受用一生:


  ○ 一个大型的系统需要分解成N多的小services.(这和Amazon的很相似,一个页面的调用可能要经过几百个后台的services)


  ○ 代码的性能将会是相当的重要。Jeff给了一张叫“Numbers Everyone Should Know” 的slide,如下所示,太经典了,其中的东西,可以看看这篇“给老婆普及计算机知识”。(注:1 ns = 十亿分之一秒)
 
  




  ○ 把相同的东西抽出来去建立一个系统,而不是把所有的事情交给所有的人。他说: “最后的那个功能可能会导致你怎么个系统超出了原有的复杂度”。


  ○ 不要无限制地设计可扩展性。5倍到50倍的扩展性设计足够了。如果你要达到100倍的,那应该是re-arch了。


  ○ Jeff很喜欢有中心主结点的架构体系,他并不喜欢分布式系统。当然,中心主结点主要是用来做控制的,而不是做数据或是计算服务的。


  ○ Jeff在一些小机器上运行多个小服务,而不在一个大机器上运行一个mongo作业。越小的单元就越容易处理,修复,负载均衡和扩展。(化繁为简)


  …… ……


  这是一个非常不错的演讲,很让人开阔眼界。
 
 
相关英文链接:
http://ae97013.wordpress.com/2010/11/25/jeffrey-dean-building-software-systems-at-google-and-lessons-learned-stanford-ee-computer-systems-colloquium-2010/
相关英文Slide链接:
http://www.stanford.edu/class/ee380/Abstracts/101110-slides.pdf
中文原文链接:
http://coolshell.cn/articles/3301.html

这篇关于Jeff Dean的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/477831

相关文章

Codeforces Round #204 (Div. 1) A. Jeff and Rounding

A. Jeff and Rounding time limit per test 1 second memory limit per test 256 megabytes input standard input output standard output Jeff got 2n real numbers a1, a2, ..., a2n as a birt

跟TED演讲学英文:AI isn‘t as smart as you think -- but it could be by Jeff Dean

AI isn’t as smart as you think – but it could be Link: https://www.ted.com/talks/jeff_dean_ai_isn_t_as_smart_as_you_think_but_it_could_be Speaker: Jeff Dean Jeffrey Adgate “Jeff” Dean (born July

2017.4-Jeff Donahue, Trevor Darrell-Adversarial feature learning-UCB-ICLR2017 阅读笔记

2017.4-Jeff Donahue, Trevor Darrell-Adversarial feature learning-UCB-ICLR2017 本文创新点:提出 BiGANs,能够进行 inverse mapping (data => latent space) 在GAN 中引入 encoder,命名为 Bi-GAN, 将 discriminator 对 X 和 G(z) 的判别转化

Jeff Dean亲自揭秘谷歌下一代AI架构:通用、稀疏且高效,网友不买帐:毫无新意...

来源:机器之心本文约2500字,建议阅读5分钟 Jeff Dean 亲自撰文介绍他眼中的下一代 AI 架构 Pathways。 对谷歌的下一代 AI 架构,你怎么看? 在这波 AI 浪潮中,人工智能技术经过十几年的爆发式发展,已经在各个领域有着极为广泛的应用,如医疗、科学研究、汽车等。 但是随着技术发展的缓慢,以深度学习为代表的人工智能技术瓶颈开始凸显。 今年 8 月份,谷歌人工智能主管 J

CodeForces 352C Jeff and Rounding

题意 有一个含有\(2n(n \leqslant2000)\)个实数的数列,取出\(n\)个向上取整,另\(n\)个向下取整。问取整后数列的和与原数列的和的差的绝对值。 就是说,令\(a\)为原数列,\(b\)为取整后数列,求\[ min(abs(\sum_{i=1}^{2n}a-\sum_{i=1}^{2n}b)) \] 解题思路 刚开始大力猜了一波贪心结论,然后怒WA n发…… 我也不知道怎

Jeff Dean长文展望:2021年之后,机器学习领域的五大潜力趋势

Jeff Dean长文展望:2021年之后,机器学习领域的五大潜力趋势

视频专访:国内著名IE外壳浏览器Maxthon公司CEO Jeff Chen

Maxthon 做为一款知名的多核浏览器,相信大家一定不会陌生。一款成功产品背后,一定有一支优秀的团队。所以CSDN借IE7浏览器发布之际,专门走访了Maxthon 公司CEO Jeff Chen 。一同畅谈了Maxthon浏览器成功背后的创新与奋斗。他们是如何理解浏览器未来的发展方向?又是如何看待国内的外壳浏览器开发市场?Maxthon 将来会朝什么方向发展?在Jeff Chen 看来,中

Android学习笔记Android必备开发工具之一命令行创建Git库(Dean)

http://www.2cto.com/kf/201107/96819.html 在前面一篇文件简述了一个标准流程的基本Git的操作!现在我尝试自己建立git库并操作文件将git命令的使用进行分析!采用SSH方式让局域网的同学们可以访问并且push和clone! 首先要安装的几个工具包: Java代码  git工具包  sudo apt-get install git-core    一

Jeff的错题集(四):压死骆驼的最后一根稻草-----树

题一: 若一棵二叉树具有10个度为2的结点,5个度为1的结点,则度为0的结点个数是( )。 正确答案: B 你的答案: C (错误) 9 11 15 不确定 解答: 若在任意一棵二叉树中,有n0个叶子节点,有n2个度为2的节点,则必有n0=n2+1。 题二: 下列各树形结构中,哪些是平衡二叉查找树: 正确答案: C 你的答案: A (错误) 4 / 3 5 / 2 8 / 1 9

敏捷史话(一):用一半的时间做两倍的事——Scrum之父Jeff Sutherland

更多“敏捷史话”系列请关注敏捷开发。 普通的人生大抵相似,传奇的人生各有各的传奇。Jeff就是这样的传奇人物,年近80的他从来没有“廉颇老矣尚能饭否”的英雄迟暮,不久前还精神矍铄地与好几百名中国学生进行线上交流,积极回答中国粉丝关于Scrum的疑惑。 他在某个领域的成就很可能是很多人一辈子都难以望其项背的存在。 军校和越战 Jeff的教育经历丰富,就从那个大名鼎鼎的西点军校讲起吧!西点军校