【逐云】阿里巴巴通用计算平台负责人关涛:让计算平台成为阿里的“水电煤”...

本文主要是介绍【逐云】阿里巴巴通用计算平台负责人关涛:让计算平台成为阿里的“水电煤”...,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

《逐云》是云栖社区的一档人物记录短视频栏目。一共10集。锁定云技术领域,每期记录1位云技术细分领域的代表专家,见证云技术先行者在时代潮流下的选择与追寻、坚持与自由。了解更多云栖专家分享,请点击云栖专家频道,当然我们也欢迎你往前走一步,成为我们的云栖专家(https://yq.aliyun.com/expert),与技术大牛一起“煮酒论英雄”。

 

本期人物:阿里巴巴通用计算平台负责人关涛

 

以下为关涛讲述:

 

学生时代:一路保送,但可能不是你想象中的学霸

 

可能我不是那种大家想象中的学霸。爱读书,但也很爱玩。我觉得兴趣是最重要的。读书经历的话,一路基本没考过试。初中到高中是保送,高中到大学因为数学竞赛保送了南开大学,读的计算机专业。选择计算机,是因为从小特别爱玩游戏,边玩还会边修改存档,就这样迷上了计算机。后来大学到研究生,是从南开推荐到了天津大学,带我的导师在网络方面研究成果很领先,也是通过他在计算机的领域里走得更深入。

 

除了游戏,也很爱运动。工作后没了那么多时间玩游戏,但会一直坚持运动。在微软时也曾做过微软中国网球协会主席,拿过微软大部门网球联赛的冠军。很爱单板滑雪,之前也一直坚持在每年的最后一天自驾去不同的滑雪地滑雪。

   

初入社会:微软最年轻的技术管理者之一,带跨国团队更具挑战

 

研究生毕业后,拿到了微软的offer,一做就是6年。在微软的第一个项目,是做基础架构,主要负责分布式系统。在当时的体量还是很大,团队有几千台机器可以布局。最考验的是系统的拓展能力,这个经历也成为了后来逐步往上做的基础。

 

第二个项目,是做搜索后台,那时整个业界搜索技术也刚起步,可以理解为是从0到1的过程,到后来这个搜索后台也成为了微软后台最重要的搜索架构之一。

 

做完了这两个偏存储层面的后台后,开始往上做,做大数据,更偏重于计算层。也就是在微软的第三个项目:交互式查询。从最初牵头来做这个项目到经历各种系统的升级更新,做到后面基本微软一半以上的团队都在用这个系统。

 

做到这里,在微软国内已经算是比较资深的员工,刚好在做组织架构调整,希望可以接受更大的挑战,便决定去到美国那边的对口组,在那边工作了两年的时间。这期间继续深入做交互式查询、优化推动等,因为在微软比较早就开始带团队,在美国那边也是带团队,不过这次是多国的战队。也是在那时积累了很多团队管理的经验,包括如何带领多国成员组成的团队,如何与远程团队沟通等。

 

阿里人:从微软到阿里,技术信念的回归

 

在微软工作将近10年,中国美国都工作过,带一个团队做交互式大数据计算这个领域,当时是一个比较“得心应手”的状态。微软也是大型工作,内部可以换到各种不同的工作和岗位,之前大约每两年也会make some change。过去的十年,以BAT为代表的本土公司也发展的很快,一直很好奇哪些技术、风格、文化上的特点驱动了BAT。所以当时有了阿里的机会,也很好奇希望更深入的了解,也算是make a bigger change。

 

从工作性质上,还是很match,都是大数据引擎(规模上有较大差异),而且阿里在国际化方面有投资,也需要跨国经验,之前的技术,工程和管理经验都能复用。

 

另外,我在很小的时候,有一次到中关村玩。有两个广告牌给我留下了深刻的印象,到现在我都记得,一个是联想的“人类失去联想,世界将会怎样”,一个是金山软件“为国产软件的发展而奋斗”,这两个广告体现了。。。。。。。兜兜转转十年,转回到阿里,做通用计算平台,也算是为国产软件而奋斗了。

 

在微软做了近10年,一路都是在核心项目上深挖,也是在业界比较领先的技术上向前走,当时国内的BAT也有了加速的发展,很多地方速度超越了微软、谷歌这样的外企,正巧阿里在西雅图成立了分部,对阿里技术一直比较看好,再加上技术线和自己也很匹配,便来到了阿里,成为了当时阿里西雅图分部的第22名员工。    

 

之前也一直带北京和美国的团队。这次在阿里,我管这个叫“两岸三地工作”(太平洋两岸,北京,杭州,西雅图),这个工作状态,确实工作更忙一些,很多会议需要照顾两边的时差,但这也是必要的。杭州和北京团队setup都很齐整,西雅图是我们最近两年的海外研发中心,特别的西雅图的“云谷”,云计算北美的三巨头都在,希望通过海外人才的引进,进一步提升我们竞争力。这方面需要加大投资,付出一些时间和沟通成本也是值得的。

 

随着三边团队融合和成熟,情况已经不错了。研发全球化一些优势已经开始体现,例如24小时全球事情cover的值班能力,国内/海外的客户和合作伙伴会议,可以就近参加(例如与Intel美国团队的合作,由西雅图同学完成)。

 

责任:在阿里,开启的是一场大的硬仗

 

在阿里我有一种感觉,就是事比人多,可做的事情非常多。就好像带领一个大战队,去打一场很大很持久的硬仗。关于计算平台,你可以想象一座航母,本身系统很复杂,周期也很长,这个航母的每次转型都耗资巨大,但如果转型的方向正确,战斗力里一定会非常地强。计算平台之于阿里,便是类似这样一个存在。

 

在阿里负责的是带整个计算平台的团队,在之前,阿里是各个业务部门会搭自己的数据平台,现在是统一收到一个统一的大后台中,计算平台便是这个统一的平台,也是整个阿里巴巴的数据中心。阿里内部超过95%的数据都在这个平台上,每月的月活有一万多人,也就是每4个阿里员工中就会有1个人在用这个系统,每天的获阅量有300万左右。阿里这么多业务线的数据汇总在一起,数据也就具有了一加一大于二的特性,所有这些数据综合在一起也是阿里巴巴最大的数据价值之一。如果这个平台一旦不工作,举例说,像支付宝的商户订单、商家商户的统计信息以及商品的维度信息等都会缺失掉,影响是非常难以想象的。

 

来到阿里,最开始就在和其他架构师一起,对这个计算平台进行一次全面的革新,将性能提升了一倍。一倍可能很多人会没有明确的概念,举例来说,性能提升5%可以省去的预算时一个亿,那么一倍的话其实是节省了20亿的预算。

 

计算平台最典型的应用,便是每年的双十一。双十一期间我们团队会值48小时的班,第一天支撑实时流量和交互式查询,第二天需要支撑分量的信息,中间不能有间断。每年双十一结束的时候,计算平台也会迎来全年最大的洪峰期,数据量会暴涨三倍到五倍的样子,非常考验整个数据平台的能力,所以真的是一场很大的硬仗。

 

对未来的展望:让计算平台成为阿里的“水电煤”

 

针对计算平台的未来,是希望它可以普及成为“水电煤”一般的基础设施。具体的方向,一是要有匠心也要有深耕,要从以业务为主能上能下,转变为可在某一个领域深耕,能够打造业界影响力的一个状态。二是生态线上有非常多的地方值得我们学习,也值得去整合,希望可以做到闭源系统与开源平台很好的互动,在保证数据资源都统一的基础上,能够保有既有资源系统最核心的能力,比如更安全、更高效、功能更强的优势,也能支撑开源系统更好的生态性,从而找到这中间的结合点。我也很坚信,目前我们做的方向是对的。希望自己可以带领阿里计算平台这座航母,开得更远。

 

就我个人而言,也是希望可以以内部和外部业务为导向,把计算平台这座航母本身的战斗力提升上来,在业务、科研、高校等领域打造影响力,把它打造为世界上最好的计算平台。

转载于:https://my.oschina.net/u/3722671/blog/1576614

这篇关于【逐云】阿里巴巴通用计算平台负责人关涛:让计算平台成为阿里的“水电煤”...的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/369398

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

如何解决线上平台抽佣高 线下门店客流少的痛点!

目前,许多传统零售店铺正遭遇客源下降的难题。尽管广告推广能带来一定的客流,但其费用昂贵。鉴于此,众多零售商纷纷选择加入像美团、饿了么和抖音这样的大型在线平台,但这些平台的高佣金率导致了利润的大幅缩水。在这样的市场环境下,商家之间的合作网络逐渐成为一种有效的解决方案,通过资源和客户基础的共享,实现共同的利益增长。 以最近在上海兴起的一个跨行业合作平台为例,该平台融合了环保消费积分系统,在短

Android平台播放RTSP流的几种方案探究(VLC VS ExoPlayer VS SmartPlayer)

技术背景 好多开发者需要遴选Android平台RTSP直播播放器的时候,不知道如何选的好,本文针对常用的方案,做个大概的说明: 1. 使用VLC for Android VLC Media Player(VLC多媒体播放器),最初命名为VideoLAN客户端,是VideoLAN品牌产品,是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及文件格式,并支持DVD影音光盘,VCD影

poj 1113 凸包+简单几何计算

题意: 给N个平面上的点,现在要在离点外L米处建城墙,使得城墙把所有点都包含进去且城墙的长度最短。 解析: 韬哥出的某次训练赛上A出的第一道计算几何,算是大水题吧。 用convexhull算法把凸包求出来,然后加加减减就A了。 计算见下图: 好久没玩画图了啊好开心。 代码: #include <iostream>#include <cstdio>#inclu

uva 1342 欧拉定理(计算几何模板)

题意: 给几个点,把这几个点用直线连起来,求这些直线把平面分成了几个。 解析: 欧拉定理: 顶点数 + 面数 - 边数= 2。 代码: #include <iostream>#include <cstdio>#include <cstdlib>#include <algorithm>#include <cstring>#include <cmath>#inc

uva 11178 计算集合模板题

题意: 求三角形行三个角三等分点射线交出的内三角形坐标。 代码: #include <iostream>#include <cstdio>#include <cstdlib>#include <algorithm>#include <cstring>#include <cmath>#include <stack>#include <vector>#include <

XTU 1237 计算几何

题面: Magic Triangle Problem Description: Huangriq is a respectful acmer in ACM team of XTU because he brought the best place in regional contest in history of XTU. Huangriq works in a big compa