从理想照进现实,浅谈“算力网络”

2023-10-14 10:50

本文主要是介绍从理想照进现实,浅谈“算力网络”,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

近日,“东数西算”让“算力网络”再次成为热点。借此机会来聊一聊对“算力网络”的认知。

谈算力网络之前,先来了解一个故事:在家探索外星生命。

人类对于宇宙的好奇,一直没有停歇。随着科技的进步,有越来越多的手段去探索无尽星空,射电望远镜就是其中之一。

中国在贵州建设有单口径最大的天眼射电望远镜,口径500米,能探索到130亿光年之外的遥远信息。与单个大口径对应的则是射电望远镜阵列。

无论是哪种方式,都是去采集来自宇宙天体发出的强与弱的电磁波信号,聆听来自宇宙的声音。

这些信号里不排除可能隐藏着外星生命发出来的信号。

如何识别出信号是否具备生命特征,美国天文学家构建了一个方程式,用于从信号中计算存在其它生命的可能性。

方程式整出来了,但要分析的电磁波信息数据太多,而且每天都在以海量的方式增加。如果构建单体的超级计算机,耗资极其巨大。

一般的政府很难承受这样的投资,也很难接受极其巨大的投资下去但数十年没有成果的局面。

尽管很难,世界上总会有狂想者和天才来推进。

在上世纪,伯克利大学想到了一个办法,开发出一个专用软件——伯克利开放式网络计算平台BOINC,利用社会上大量的个人计算机来进行开放计算和网格计算。并且还琢磨出一个巧妙模式来推广。

伯克利开放式网络计算平台(Berkeley Open Infrastructure for Network Computing,简称BOINC)是主流的分布式计算平台之一,由加州大学伯克利分校的电脑学系发展出来的分布式计算系统。它本身设计成用于SETI@home项目,但逐渐在其他领域包括数学、医学、天文学、气象学等。BOINC现时旨在为各研究者提供汇集全球各地大量个人电脑的强大运算能力。直至2008年1月25日,BOINC在全世界有约549,000台活跃的主机并平均提供约852TeraFLOPS (TFLOPS)的运算能力。

百度百科

他们设计了一款很炫的屏幕保护程序,个人电脑安装这个屏幕保护程序后,一旦电脑进入空闲状态,便启动屏幕保护程序,后台连接服务器,获取拆小的数据块包,在本地进行分析计算并返回结果。当用户再次使用电脑时,屏保退出,计算终止,完全不影响个人电脑用户的使用,但却充分利用了这些个人电脑的算力来完成海量计算。

这个计划最早在伯克利大学的内网推行,随着互联网的普及,逐步扩展到全球。

在2013年的某一天,有233个国家,145万台机器同时在线,达到了668万亿次的浮点运算能力。

BOINC平台最早为支持“在家探索外星生命”计划而开发,发展到后来,逐渐演进成为主流的分布式计算平台,为众多的数学、物理、化学、生命科学、地球科学等学科类别的计划所使用。

故事讲到这,是不是觉得目前流行的家用无线路由器被聚合起来挖矿跟上述计划有点类似。

从经典经济学的角度,政府的核心职能是提供公共物品和公共服务,比如国防和公园。但实际并不仅如此,还会参与产业战略布局,甚至有时还会通过政策或补贴等方式直接介入到企业运作中。

中国地大物博,经济发展不平衡,资源分布不平衡,完全依赖市场经济并不能获得效率最大化。政府适当介入,以计划经济和市场经济的“混合经济”模式可以更好地推动国家更高效发展。

南水北调、西气东输是很好的例子。没有西气东输,这段时间湖南的大雪可能就会直接影响到当地居民的生活。

近期发改委、工信部、国家能源局联合发布通知,全面启动“东数西算”工程,在8个枢纽节点规划建设10个国家数据中心集群,也是同类性质。用西部丰富的土地资源、可再生能源来发展数据中心,承接东部算力需求的潜力,匹配不断加速的数字产业化进程。

工程刚启动,最先热闹的还是在股市,芯片、服务器、IDC等企业相关股票开始连续飙红。反倒是承接“东数西算”战略的核心主体电信运营商不温不火,还不如谷爱凌夺冠对中移动股价拉升的刺激大。

这也可以理解,毕竟要建大型、超大型数据中心,对芯片、服务器提供商是直接刺激,带来巨幅的增量市场空间。而对于运营商而言,先得重资产投入构建基础设施,然后再一步步通过产业渗透,获得相应的回报,回报周期长,回报率却难以预料,犹如5G的推出。

东数西算,看到是国家层面调配资源,看不到的是可能哪个产业因为这样的政策牵引而蓬勃兴起,比如自动驾驶。

数据中心的建设只是第一步,要将国家战略充分落地,有漫长的路得走。有些关键问题得琢磨,可能蕴藏着商机,也有可能问题突破后能在更大程度推进社会形态改变。

1.如何考虑算力的一体化供给

算力的提供至少可以分为规模算力和零星算力两种提供方式。

运营商一直在全国范围规划部署建设一体化大数据中心体系,比如中国电信的2+4+31+X。除了运营商,像腾讯、阿里、华为、百度、UCLOUD等也均在全国大规模布局,部署的服务器超百万台。当然也有规模小一点的,比如东方国信也在建设数据中心,万台左右的规模。

这些大大小小的IDC,累加起来,提供的算力已然不小。但问题在于由不同企业提供的算力是割裂的,甚至于同一个运营商不同区域的IDC提供的算力也可能是割裂的。

对于算力消费方,不太容易根据自己不同的场景的要求(时延小、计算量大、性价比、安全能力等)灵活动态选择不同形态的算力提供方。算力消费方要么经过复杂对比后选择多个提供方来拼凑完整方案,并在后期投入繁琐的运营管理;要么牺牲性价比降低某方面的算力要求来单一选择某个算力提供方。

对于算力提供方,需要琢磨如何将自己的算力变现,以及更有价值的变现。这也并不容易,后续也有可能陷入增量不增收的局面。

除了规模算力之外,如何用共享经济的模式,搭建平台整合全社会的零星算力,这是算力供给的另一种模式。说不定某一天,冒出一家企业,成为“没有建设一个IDC,但却是全球最大的算力提供商”。

在电网系统,既有年发电量200亿千瓦时的葛洲坝巨型水电站发电入网,也有一些小规模年发电量百万千瓦时的民营水电站发电入网,此外现在也发展到家庭安装屋顶光伏,满足自用外,还可并入大网赚些小钱。

算力网其实也是一样,若有一个平台来聚合各形态算力,实现算力一体化供给。

聚合各形态算力并不简单,规模算力通常由大企业提供,具备云管平台,基于统一算力标识,可以相对方便接入算力大平台。但对于社会零星算力,则需要算力平台方提供手段,进行整合纳管。中国电信规划的云网操作系统,做针对性延展,或许可以来解决这个问题。

“在家探索外星生命”是一个很好的整合社会零星算力的案例。

2.如何考虑算力的一体化服务

算力的消费,不用太关注算力提供方是谁,由算网平台方基于业务场景的诉求,智能扫描,找到最匹配且性价比最高的算力提供方来提供算力。

算力提供方对算力消费者是透明的。算力消费者不需要因为业务场景的复杂,而在不同算力提供方分别做算力订购、算力配置、算力计费、算力监控。

如果业务场景对性能、稳定性、能力要求高,需要涉及的维度就会更多,不仅仅是选择最匹配的算力提供,还得设计配置选择相匹配的网络链路,以保证端到端全程的指标要求。在这方面,运营商更具优势。

如果业务场景对实时性能、稳定性等要求不高的,只是需要较大算力时,则可以选择较低的资费方案,匹配调度经济算力。

一旦经济算力由分布式算力构成,对算网平台的架构和调度则有更高要求。

以BOINC平台为例,为了保证计算结果的正确,BOINC平台会将要分析的数据块包发送给多台计算机,只有在返回结果规范且关联结果是一致时,这个结果才会被确认。如果因为计算错误或者故意提交虚假数据,导致结果不一致,BOINC平台会发送给更多的计算机进行计算,直至达到设定的要求。

这中间涉及到设施层面的有在网算力、算力忙闲、算力调度,还有在应用层面的数据核准、数据汇聚、数据安全、异常调度、发散收敛。要考虑全面,以及灵活扩展,会非常复杂。

无论是一体化算力供给还是一体化算力服务,除了算力、网络,还需要有算网平台:

在算力侧,致力于更经济的手段提供更强大的算力;

在网络侧,用分层分级来保证不同场景下的消费方和提供方的链路匹配;

在平台侧,实现多态算力的有效整合、算力和网络的智能感知调配,以及聚合的设计与监控。

如果哪个运营商打造出来的算网平台,实现既整合规模算力和社会零星算力,又能对算网端到端全程智能感知调配,这个运营商或许能真正成为未来数字社会的核心主体,或许又能增加万亿市值。

这篇关于从理想照进现实,浅谈“算力网络”的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/210024

相关文章

【Altium】查找PCB上未连接的网络

【更多软件使用问题请点击亿道电子官方网站】 1、文档目标: PCB设计后期检查中找出没有连接的网络 应用场景:PCB设计后期,需要检查是否所有网络都已连接布线。虽然未连接的网络会有飞线显示,但是由于布线后期整板布线密度较高,虚连,断连的网络用肉眼难以轻易发现。用DRC检查也可以找出未连接的网络,如果PCB中DRC问题较多,查找起来就不是很方便。使用PCB Filter面板来达成目的相比DRC

通信系统网络架构_2.广域网网络架构

1.概述          通俗来讲,广域网是将分布于相比局域网络更广区域的计算机设备联接起来的网络。广域网由通信子网于资源子网组成。通信子网可以利用公用分组交换网、卫星通信网和无线分组交换网构建,将分布在不同地区的局域网或计算机系统互连起来,实现资源子网的共享。 2.网络组成          广域网属于多级网络,通常由骨干网、分布网、接入网组成。在网络规模较小时,可仅由骨干网和接入网组成

Toolbar+DrawerLayout使用详情结合网络各大神

最近也想搞下toolbar+drawerlayout的使用。结合网络上各大神的杰作,我把大部分的内容效果都完成了遍。现在记录下各个功能效果的实现以及一些细节注意点。 这图弹出两个菜单内容都是仿QQ界面的选项。左边一个是drawerlayout的弹窗。右边是toolbar的popup弹窗。 开始实现步骤详情: 1.创建toolbar布局跟drawerlayout布局 <?xml vers

【杂记-浅谈DHCP动态主机配置协议】

DHCP动态主机配置协议 一、DHCP概述1、定义2、作用3、报文类型 二、DHCP的工作原理三、DHCP服务器的配置和管理 一、DHCP概述 1、定义 DHCP,Dynamic Host Configuration Protocol,动态主机配置协议,是一种网络协议,主要用于在IP网络中自动分配和管理IP地址以及其他网络配置参数。 2、作用 DHCP允许计算机和其他设备通

浅谈 MySQL for excel

欢迎关注微信公众号“Python生态智联”  MySQL for excel是一个大小只有几兆的MySQL附件,它能让我们在Microsoft excel中处理MySQL数据。小编用了两天时间浏览了MySQL for excel的使用指南并按demo演示了一遍(手册地址https://dev.mysql.com/doc/mysql-for-excel/en/),现从功能和局限两方面对MySQL

使用 GoPhish 和 DigitalOcean 进行网络钓鱼

配置环境 数字海洋VPS 我创建的丢弃物被分配了一个 IP 地址68.183.113.176 让我们登录VPS并安装邮件传递代理: ssh root@68.183.113.176apt-get install postfix 后缀配置中的点变量到我们在 DigitalOcean 中分配的 IP:mynetworks nano /etc/postfix/main.cf

Linux网络编程之循环服务器

1.介绍 Linux网络循环服务器是指逐个处理客户端的连接,处理完一个连接后再处理下一个连接,是一个串行处理的方式,比较适合时间服务器,DHCP服务器.对于TCP服务器来说,主要阻塞在accept函数,等待客户端的连接。而对于UDP服务器来说,主要阻塞在recv函数. 2.循环服务器模型 TCP循环服务器: 算法如下:          socket(...);

Linux网络编程之简单并发服务器

1.概念 与前面介绍的循环服务器不同,并发服务器对服务请求并发处理。而循环服务器只能够一个一个的处理客户端的请求,显然效率很低. 并发服务器通过建立多个子进程来实现对请求的并发处理,但是由于不清楚请求客户端的数目,因此很难确定子进程的数目。因此可以动态增加子进程与事先分配的子进程相结合的方法来实现并发服务器。 2. 算法流程 (1)TCP简单并发服务器:     服务器子进程1:

Android 扇形网络控件 - 无网络视图(动画)

前言 一般在APP没有网络的情况下,我们都会用一个无网络的提示图标,在提示方面为了统一app的情况,我们一般使用简单的提示图标,偶尔只需要改变一下图标的颜色就一举两得,而不需要让PS来换一次颜色。当然app有图标特殊要求的就另当别论了。 效果图 当你第一眼看到这样的图,二话不说直接让UI给你切一张图标来的快对吧,我其实开始也是这么想的,但是到了做的app越来越多的时候,你就会发现就算是用

poj 2391 Ombrophobic Bovines (网络流)

这是一道很经典的网络流的题目。首先我们考虑假如我们的时间为无穷大。我们吧每个点拆成2个点 i和i' .。虚拟源点s和汇点t。对于每个点建边(s,i, a[i])  (i‘,t,ib[i]) 。 其中a[i]为给点有多少牛,b[i]为容量。i和j连通 建边 (i,j',inf);如果最大流==所有牛的个数,就可能装下所有的牛。那么现在我们考虑时间。假设最大时间为T.那么如果i到j的的最短时间>T