专访迅雷首席工程师:迅雷的下一代互联网底层技术构想

本文主要是介绍专访迅雷首席工程师:迅雷的下一代互联网底层技术构想,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

摘要:互联网合纵连横频频上演,迅雷与小米的联姻也成为了热点,有许多人为迅雷的上市和迅雷的未来担忧,这家像工程师一样的公司,命运会怎样,他们未来会如何走下去?对此CSDN专访了迅雷首席工程师刘智聪。

刘智聪,迅雷首席工程师,1984年出生,从小自学编程,毕业于南昌大学化学系,加入迅雷后设计开发了多款迅雷核心产品,是多个领域的技术专家,也是BOLT 界面引擎的发明人。下面是对他的专访全文,内容涵盖迅雷现在和未来的技术方向,以及刘智聪本人对未来技术的看法:


行业里最好的P2P团队和客户端团队

CSDN:能否先给大家介绍一下迅雷技术团队构成?

刘:迅雷的技术团队结构更趋向于扁平化而非树形。目前技术团队分为两大部分,一部分是事业部,这和传统互联网公司基本一致,每个产品都会一个技术团队。另一部分是有迅雷特色的基础技术研发,负责推动迅雷的技术发展和创新,这部分人在迅雷的时间长,级别高,但基本都不需从事管理工作。 

CSDN:能否说说迅雷的特色团队?

刘: 迅雷有顶尖的P2P团队。P2P本来就是一个很少有公司涉足的领域,有机会做到上亿节点的网络公司更少,许多人讨论过的问题,我们的团队都见过。

我也有很强的分布式存储团队。现在行业讲的很多的云存储,其实迅雷很早以前就在做,当时不叫云,叫分布式存储,它最开始得益于Google那篇著名的GFS论文,但后来发现Google那套东西不完全适合迅雷,迅雷业务重流量,所以我们进行了很大的调整并在此基础上进行发展和创新,成为现在迅雷离线下载后台的核心技术。

另外,迅雷有整个行业里最好的客户端团队。当然这点没有什么值得骄傲的,因为迅雷本身就是一家做客户端起家的公司。行业里做客户端最出名的也就三家,分别是迅雷、腾讯和360,360是2008年左右才发展起来的。因为圈子比较小,相关团队后面都有过交流,其实使用的技术与大家能通过网络学到的东西差别很大。而迅雷是这3家里总结并升华得最好的,咱们有不少独门秘笈。不过由于现在Windows客户端开发不再是热点领域了,缺少新鲜血液,这个行业积累的技术其实很难传承下去。

迅雷是一家技术驱动的公司

CSDN:能否说说迅雷的技术文化?

刘:迅雷的技术文化就是典型的工程师文化,追求技术创新。刚刚提到的技术研发团队基本上代表了迅雷的技术文化。每个公司都有自己的风格,有些公司是产品创新型公司,比如腾讯,做微创新做得很好,这绝对是一种强大的能力,还有些是数据驱动型公司,而迅雷则是一家典型的技术推动型公司,我们真正做成的产品背后都是靠技术创新在驱动,这种性质导致迅雷必须坚持在基础技术创新上做投入。

另外,迅雷不论前端后端,各个部门都在用同一套框架,比如客户端使用 BOLT引擎。内部统一框架的好处非常大,有什么Bug都能很快向得到响应,可以说能做到这点的国内公司非常少。很多程序员,他们写代码总觉得别人的烂,自己的好,但是在我们这里,如果使用同一套框架,出了问题大家先不说代码的好坏,而是先解决问题。我们创始人是工程师出身,他自己非常推崇这一点。

CSDN:在你看来,迅雷最核心的技术是什么?

刘:P2P,迅雷一直致力于让整个网络更有效率。举个简单的例子我们一直在研究P2P上传的数据是什么?我们常说,百度是最理解二进制文本文件的公司,那么迅雷算是行业里最理解二进制的一家公司。迅雷有很先进的P2P内容识别技术,不过迅雷的技术会一不小心踩到所谓的灰色地带,这种事已经发生过很多次,有时候做了一个很好的产品无法上线,吃一堑长一智,久而久之,迅雷的研发团队个个都成了法务专家。

CSDN:迅雷有什么产品是因为法律问题而无法存活的?

刘:最著名的就是狗狗搜索。迅雷在2007年的时候是下载领域的老大,彻底击败了BT。我们2007年做了几件事情,一是推出迅雷看看,那时候迅雷是国内唯一一家能提供高清在线视频播放的公司,播放后面的技术就是P2P。二是推出狗狗搜索,你可以在上面找资源,当时狗狗搜索的量非常大,基本上达到了百度的三分之一,但因为存在法务上的风险最终放弃了。所以现在大家都注重技术和产品的法律前瞻意识。

迅雷的现在:分离资源寻找与资源下载

CSDN:在大家的印象中,迅雷就是下载的代名词,但互联网变化风云莫测,而且迅雷已经称霸下载市场多年,迅雷下载未来会怎么发展? 

刘:我们今天的一个想法是你可以在任何一个地方去找资源,除了搜索之外,还可以有朋友之间的分享。但用户肯定不会随身携带电脑,而且用户一般不会在手机上下载资源。所以迅雷就想将两者分离,用手机找资源,然后遥控其他终端进行下载,下载端可以是电脑、电视,或者路由器,最适合的是路由器,因为你不可能一直开着电脑或者电视,但是大多数人的家中,路由器是不会关闭的,可以在任何时候遥控下载。这样回到家后想要的资源已经下载完成了。

迅雷的未来:建立下一代P2P网络 

CSDN:上面说的都是最近事情,很多人感兴趣,迅雷未来会做什么?

刘:迅雷的未来想做这么一件事情:提高整个网络数据传输的效率,通俗了讲就是泛加速。迅雷下载实际上是一种比较特殊的数据传输行为,频度不高,但数据传输在网路里每时每刻都在发生,包括浏览网页,看视频、看图片、玩游戏等等都无需下载的操作。做泛加速的目的,不希望仅仅把加速局限于下载,而是扩展到数据传输。 

CSDN:如何做到

刘:这就需要考虑网络的核心问题,你可以把中国的互联网想象成公路网,如何提高运输效率?有一个公式是D*L,D就是数据,你没法减少网络对数据的需求总量,网络负载就只有这么大。提高效率的重任就落在了L上,L过去是从原始服务器到用户终端的距离,如果缩短了L就可以提高效率了。

如何缩短?这个可以跟物流公司学,有一句话叫“物流不流”,比如在深圳买北京的东西,如果在广州仓库有一模一样的货,那么它会从广州直接发货而不是从北京,这就叫物流不流。但P2P数据传输有个问题,它在传输过程中,只有两端知道传输的是什么数据,中间的节点不知道。

迅雷要做的事情就是通过对数据贴标签的方法来识别“一模一样的货物”,再通过在建数据缓存节点的方法来让数据离用户更近,而在路由节点上建缓存的过程其实是将TCP/IP网络改造变成一个有Cache的网络。为了要提高Cache的命中率,我们会预测数据是不是非常热门,如果是,那么就更容易被缓存。

改进网络效率的另一个方法是更好的调整整个网络的路由。最近相当流行的SDN技术解决的还是机房内的问题,但如果我们把SDN的思想运用到全网,这就像是支持路况信息的导航路线规划。我们要做的就是,在网络繁忙的时候能够让一些数据的中转,就是路由器的转发表,不再去往主干光纤转,而是往一些可能平时比较偏门,大家觉得不愿意走的小路上去。

而通过软路由,我们能做一个覆盖一、两亿结点的SDN网络来。要做这件事情,并能够时时分析出一些东西来,需要非常好的大数据处理能力,所以我们也开始在这一块加大投入,支撑智能选路。

第三个就是,希望SDN网络除了能做到分流之外,还能修改网络的物理拓扑,现在的情况是,有线路由器的拓扑结构必须要拔线才能改变,比如说AB两个路由连着C,然后C连D,D再连着E和F,它是一个蝴蝶型的结构,在有线情况下,是没有办法通过软件去修改的,你只有通过拔线,但是未来我们要动态的去修改这条路的关系,比如说这两个路本来是相交的,我们把它改成平行,能不能做到这一点?这个可能我们不但要自己做这方面的技术研究,而且我们还需要跟硬件厂商在一起,做一个开放的标准,比如所有的无线路由器,都需要支持我们一个这样的软件控制接口,能够去修改它的连接方式。

CSDN:现在这份工作进展到哪一步了?

刘:面向系统的第一个目标及第二个目标的最主要的相关协议和规则我们已经在设计了,不是什么特别复杂的东西。在迅雷验证这些技术靠谱后我们希望把它公开出来,大家共同建立这个网络。时间上希望这套方案能在2014年完成技术验证,毕竟迅雷已经为互联网上20%左右的数据贴好了标签。

CSDN:有人说迅雷在移动互联网转身太慢,你怎么看?

刘:每家公司都有自己的基因,迅雷在移动互联网发力并不晚,我们在塞班时代就已经开始做手雷了,但现在一直不温不火,主要还是下载在移动互联网上确实不算是一个主流的事情。但是一家公司的基因不是说改就改了,我们不会去做社交,或者电子商务, 我们一直在找公司的基因与移动互联网的结合点,并会坚持下去。

希望BOLT未来能与HTML5抗衡

CSDN:能否说说BOLT引擎?它如何与你们现在所做的东西结合?

刘: 我现在的愿望是BOLT能取代HTML5,其实BOLT跨平台的方案比HTML5更彻底,性能更好,但它不是关系迅雷生死存亡的东西,目前在这上面投入精力比较少。BOLT这个东西,解决的问题涉及面太广了,未来还有更广泛的应用,它的舞台会更大,影响会超过中国的范围。我希望在解决了迅雷的核心问题之后再回到BOLT这件事情上来。目前这个系统还处于早期阶段,要像HTML5一样过渡到行业标准,必然要解决开源、标准化、工具支持等等一系列问题。现在使用BOLT的开发者,在国内公司大概有170多家,独立开发者也有一些,加起来大概有三四百来人。

只有具有强烈爱好的人才能真正做一些很难的事情

CSDN:你给人的感觉简单直爽,迅雷在招聘上喜欢哪种人才?不喜欢哪种人才?

刘:人一定要有独立判断能力,国内不论普通人还是一些大佬,跟风都特别严重,如果出现什么新的技术,他们的第一反应就是抱发明者大腿,抱大腿有一个好处,如果这项技术起来了,你会成为行业里的第一批专家,可以垄断一些话语权、出书。国内有很多高手去干这件事情,对此我非常伤心。

他们缺少独立的判断能力,大家说HTML5好的时候,我偶尔在技术群里说一两句类似HTML5解决有些问题的方式非常烂,它的包袱太重,以至于没有办法达到更好的性能和轻量化的时候,会被板砖砸死。前段时间Google出了一种GO语言,这个东西别的不说在语法上太丑了,完全不能接受这么丑陋的东西,我偶尔表达一下意思也被一堆人骂老古董。

我喜欢具有独立判断能力的人,绝不是为了反对而反对,我希望的独立判断能力是,你判断的背后是你的价值观和原则,你有你自己的标准。比如说HTML5不好,但不能全部否决,它也有好的部分,里边的CSS我就很喜欢,在我的引擎里,中后期也开始引入类似的东西,但更加单纯一些。

其次要有激情,有自己的爱好。很多硕士面试的时候半天说不出自己有什么爱好,这是个非常严重的问题。我一直相信只有强烈的爱好才能推动你去做一些非常难的事情,你才能真正看到一些背后别人看不到的东西,可能因为应试教育,许多中国人缺少这一点。

最后一点就是与天赋有关了,这个可遇不可求,你要有洞察能力,有一眼看穿本质的能力,如果有这种人,恨不得立马拉进团队。

这篇关于专访迅雷首席工程师:迅雷的下一代互联网底层技术构想的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/786477

相关文章

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

金融业开源技术 术语

金融业开源技术  术语 1  范围 本文件界定了金融业开源技术的常用术语。 本文件适用于金融业中涉及开源技术的相关标准及规范性文件制定和信息沟通等活动。

【编程底层思考】垃圾收集机制,GC算法,垃圾收集器类型概述

Java的垃圾收集(Garbage Collection,GC)机制是Java语言的一大特色,它负责自动管理内存的回收,释放不再使用的对象所占用的内存。以下是对Java垃圾收集机制的详细介绍: 一、垃圾收集机制概述: 对象存活判断:垃圾收集器定期检查堆内存中的对象,判断哪些对象是“垃圾”,即不再被任何引用链直接或间接引用的对象。内存回收:将判断为垃圾的对象占用的内存进行回收,以便重新使用。

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出 在数字化时代,文本到语音(Text-to-Speech, TTS)技术已成为人机交互的关键桥梁,无论是为视障人士提供辅助阅读,还是为智能助手注入声音的灵魂,TTS 技术都扮演着至关重要的角色。从最初的拼接式方法到参数化技术,再到现今的深度学习解决方案,TTS 技术经历了一段长足的进步。这篇文章将带您穿越时

系统架构设计师: 信息安全技术

简简单单 Online zuozuo: 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo :本心、输入输出、结果 简简单单 Online zuozuo : 文章目录 系统架构设计师: 信息安全技术前言信息安全的基本要素:信息安全的范围:安全措施的目标:访问控制技术要素:访问控制包括:等保

哈希表的底层实现(1)---C++版

目录 哈希表的基本原理 哈希表的优点 哈希表的缺点 应用场景 闭散列法 开散列法 开放定值法Open Addressing——线性探测的模拟实现 超大重点部分评析 链地址法Separate Chaining——哈希桶的模拟实现 哈希表(Hash Table)是一种数据结构,它通过将键(Key)映射到值(Value)的方式来实现快速的数据存储与查找。哈希表的核心概念是哈希

前端技术(七)——less 教程

一、less简介 1. less是什么? less是一种动态样式语言,属于css预处理器的范畴,它扩展了CSS语言,增加了变量、Mixin、函数等特性,使CSS 更易维护和扩展LESS 既可以在 客户端 上运行 ,也可以借助Node.js在服务端运行。 less的中文官网:https://lesscss.cn/ 2. less编译工具 koala 官网 http://koala-app.

Spring的设计⽬标——《Spring技术内幕》

读《Spring技术内幕》第二版,计文柯著。 如果我们要简要地描述Spring的设计⽬标,可以这么说,Spring为开发者提供的是⼀个⼀站式的轻量级应⽤开发框架(平台)。 作为平台,Spring抽象了我们在 许多应⽤开发中遇到的共性问题;同时,作为⼀个轻量级的应⽤开发框架,Spring和传统的J2EE开发相⽐,有其⾃⾝的特点。 通过这些⾃⾝的特点,Spring充分体现了它的设计理念:在

计算机视觉工程师所需的基本技能

一、编程技能 熟练掌握编程语言 Python:在计算机视觉领域广泛应用,有丰富的库如 OpenCV、TensorFlow、PyTorch 等,方便进行算法实现和模型开发。 C++:运行效率高,适用于对性能要求严格的计算机视觉应用。 数据结构与算法 掌握常见的数据结构(如数组、链表、栈、队列、树、图等)和算法(如排序、搜索、动态规划等),能够优化代码性能,提高算法效率。 二、数学基础

java线程深度解析(六)——线程池技术

http://blog.csdn.net/Daybreak1209/article/details/51382604 一种最为简单的线程创建和回收的方法: [html]  view plain copy new Thread(new Runnable(){                @Override               public voi