从理想照进现实,浅谈“算力网络”

2023-10-14 10:50

本文主要是介绍从理想照进现实,浅谈“算力网络”,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

近日,“东数西算”让“算力网络”再次成为热点。借此机会来聊一聊对“算力网络”的认知。

谈算力网络之前,先来了解一个故事:在家探索外星生命。

人类对于宇宙的好奇,一直没有停歇。随着科技的进步,有越来越多的手段去探索无尽星空,射电望远镜就是其中之一。

中国在贵州建设有单口径最大的天眼射电望远镜,口径500米,能探索到130亿光年之外的遥远信息。与单个大口径对应的则是射电望远镜阵列。

无论是哪种方式,都是去采集来自宇宙天体发出的强与弱的电磁波信号,聆听来自宇宙的声音。

这些信号里不排除可能隐藏着外星生命发出来的信号。

如何识别出信号是否具备生命特征,美国天文学家构建了一个方程式,用于从信号中计算存在其它生命的可能性。

方程式整出来了,但要分析的电磁波信息数据太多,而且每天都在以海量的方式增加。如果构建单体的超级计算机,耗资极其巨大。

一般的政府很难承受这样的投资,也很难接受极其巨大的投资下去但数十年没有成果的局面。

尽管很难,世界上总会有狂想者和天才来推进。

在上世纪,伯克利大学想到了一个办法,开发出一个专用软件——伯克利开放式网络计算平台BOINC,利用社会上大量的个人计算机来进行开放计算和网格计算。并且还琢磨出一个巧妙模式来推广。

伯克利开放式网络计算平台(Berkeley Open Infrastructure for Network Computing,简称BOINC)是主流的分布式计算平台之一,由加州大学伯克利分校的电脑学系发展出来的分布式计算系统。它本身设计成用于SETI@home项目,但逐渐在其他领域包括数学、医学、天文学、气象学等。BOINC现时旨在为各研究者提供汇集全球各地大量个人电脑的强大运算能力。直至2008年1月25日,BOINC在全世界有约549,000台活跃的主机并平均提供约852TeraFLOPS (TFLOPS)的运算能力。

百度百科

他们设计了一款很炫的屏幕保护程序,个人电脑安装这个屏幕保护程序后,一旦电脑进入空闲状态,便启动屏幕保护程序,后台连接服务器,获取拆小的数据块包,在本地进行分析计算并返回结果。当用户再次使用电脑时,屏保退出,计算终止,完全不影响个人电脑用户的使用,但却充分利用了这些个人电脑的算力来完成海量计算。

这个计划最早在伯克利大学的内网推行,随着互联网的普及,逐步扩展到全球。

在2013年的某一天,有233个国家,145万台机器同时在线,达到了668万亿次的浮点运算能力。

BOINC平台最早为支持“在家探索外星生命”计划而开发,发展到后来,逐渐演进成为主流的分布式计算平台,为众多的数学、物理、化学、生命科学、地球科学等学科类别的计划所使用。

故事讲到这,是不是觉得目前流行的家用无线路由器被聚合起来挖矿跟上述计划有点类似。

从经典经济学的角度,政府的核心职能是提供公共物品和公共服务,比如国防和公园。但实际并不仅如此,还会参与产业战略布局,甚至有时还会通过政策或补贴等方式直接介入到企业运作中。

中国地大物博,经济发展不平衡,资源分布不平衡,完全依赖市场经济并不能获得效率最大化。政府适当介入,以计划经济和市场经济的“混合经济”模式可以更好地推动国家更高效发展。

南水北调、西气东输是很好的例子。没有西气东输,这段时间湖南的大雪可能就会直接影响到当地居民的生活。

近期发改委、工信部、国家能源局联合发布通知,全面启动“东数西算”工程,在8个枢纽节点规划建设10个国家数据中心集群,也是同类性质。用西部丰富的土地资源、可再生能源来发展数据中心,承接东部算力需求的潜力,匹配不断加速的数字产业化进程。

工程刚启动,最先热闹的还是在股市,芯片、服务器、IDC等企业相关股票开始连续飙红。反倒是承接“东数西算”战略的核心主体电信运营商不温不火,还不如谷爱凌夺冠对中移动股价拉升的刺激大。

这也可以理解,毕竟要建大型、超大型数据中心,对芯片、服务器提供商是直接刺激,带来巨幅的增量市场空间。而对于运营商而言,先得重资产投入构建基础设施,然后再一步步通过产业渗透,获得相应的回报,回报周期长,回报率却难以预料,犹如5G的推出。

东数西算,看到是国家层面调配资源,看不到的是可能哪个产业因为这样的政策牵引而蓬勃兴起,比如自动驾驶。

数据中心的建设只是第一步,要将国家战略充分落地,有漫长的路得走。有些关键问题得琢磨,可能蕴藏着商机,也有可能问题突破后能在更大程度推进社会形态改变。

1.如何考虑算力的一体化供给

算力的提供至少可以分为规模算力和零星算力两种提供方式。

运营商一直在全国范围规划部署建设一体化大数据中心体系,比如中国电信的2+4+31+X。除了运营商,像腾讯、阿里、华为、百度、UCLOUD等也均在全国大规模布局,部署的服务器超百万台。当然也有规模小一点的,比如东方国信也在建设数据中心,万台左右的规模。

这些大大小小的IDC,累加起来,提供的算力已然不小。但问题在于由不同企业提供的算力是割裂的,甚至于同一个运营商不同区域的IDC提供的算力也可能是割裂的。

对于算力消费方,不太容易根据自己不同的场景的要求(时延小、计算量大、性价比、安全能力等)灵活动态选择不同形态的算力提供方。算力消费方要么经过复杂对比后选择多个提供方来拼凑完整方案,并在后期投入繁琐的运营管理;要么牺牲性价比降低某方面的算力要求来单一选择某个算力提供方。

对于算力提供方,需要琢磨如何将自己的算力变现,以及更有价值的变现。这也并不容易,后续也有可能陷入增量不增收的局面。

除了规模算力之外,如何用共享经济的模式,搭建平台整合全社会的零星算力,这是算力供给的另一种模式。说不定某一天,冒出一家企业,成为“没有建设一个IDC,但却是全球最大的算力提供商”。

在电网系统,既有年发电量200亿千瓦时的葛洲坝巨型水电站发电入网,也有一些小规模年发电量百万千瓦时的民营水电站发电入网,此外现在也发展到家庭安装屋顶光伏,满足自用外,还可并入大网赚些小钱。

算力网其实也是一样,若有一个平台来聚合各形态算力,实现算力一体化供给。

聚合各形态算力并不简单,规模算力通常由大企业提供,具备云管平台,基于统一算力标识,可以相对方便接入算力大平台。但对于社会零星算力,则需要算力平台方提供手段,进行整合纳管。中国电信规划的云网操作系统,做针对性延展,或许可以来解决这个问题。

“在家探索外星生命”是一个很好的整合社会零星算力的案例。

2.如何考虑算力的一体化服务

算力的消费,不用太关注算力提供方是谁,由算网平台方基于业务场景的诉求,智能扫描,找到最匹配且性价比最高的算力提供方来提供算力。

算力提供方对算力消费者是透明的。算力消费者不需要因为业务场景的复杂,而在不同算力提供方分别做算力订购、算力配置、算力计费、算力监控。

如果业务场景对性能、稳定性、能力要求高,需要涉及的维度就会更多,不仅仅是选择最匹配的算力提供,还得设计配置选择相匹配的网络链路,以保证端到端全程的指标要求。在这方面,运营商更具优势。

如果业务场景对实时性能、稳定性等要求不高的,只是需要较大算力时,则可以选择较低的资费方案,匹配调度经济算力。

一旦经济算力由分布式算力构成,对算网平台的架构和调度则有更高要求。

以BOINC平台为例,为了保证计算结果的正确,BOINC平台会将要分析的数据块包发送给多台计算机,只有在返回结果规范且关联结果是一致时,这个结果才会被确认。如果因为计算错误或者故意提交虚假数据,导致结果不一致,BOINC平台会发送给更多的计算机进行计算,直至达到设定的要求。

这中间涉及到设施层面的有在网算力、算力忙闲、算力调度,还有在应用层面的数据核准、数据汇聚、数据安全、异常调度、发散收敛。要考虑全面,以及灵活扩展,会非常复杂。

无论是一体化算力供给还是一体化算力服务,除了算力、网络,还需要有算网平台:

在算力侧,致力于更经济的手段提供更强大的算力;

在网络侧,用分层分级来保证不同场景下的消费方和提供方的链路匹配;

在平台侧,实现多态算力的有效整合、算力和网络的智能感知调配,以及聚合的设计与监控。

如果哪个运营商打造出来的算网平台,实现既整合规模算力和社会零星算力,又能对算网端到端全程智能感知调配,这个运营商或许能真正成为未来数字社会的核心主体,或许又能增加万亿市值。

这篇关于从理想照进现实,浅谈“算力网络”的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/210024

相关文章

Spring核心思想之浅谈IoC容器与依赖倒置(DI)

《Spring核心思想之浅谈IoC容器与依赖倒置(DI)》文章介绍了Spring的IoC和DI机制,以及MyBatis的动态代理,通过注解和反射,Spring能够自动管理对象的创建和依赖注入,而MyB... 目录一、控制反转 IoC二、依赖倒置 DI1. 详细概念2. Spring 中 DI 的实现原理三、

SSID究竟是什么? WiFi网络名称及工作方式解析

《SSID究竟是什么?WiFi网络名称及工作方式解析》SID可以看作是无线网络的名称,类似于有线网络中的网络名称或者路由器的名称,在无线网络中,设备通过SSID来识别和连接到特定的无线网络... 当提到 Wi-Fi 网络时,就避不开「SSID」这个术语。简单来说,SSID 就是 Wi-Fi 网络的名称。比如

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor

浅谈主机加固,六种有效的主机加固方法

在数字化时代,数据的价值不言而喻,但随之而来的安全威胁也日益严峻。从勒索病毒到内部泄露,企业的数据安全面临着前所未有的挑战。为了应对这些挑战,一种全新的主机加固解决方案应运而生。 MCK主机加固解决方案,采用先进的安全容器中间件技术,构建起一套内核级的纵深立体防护体系。这一体系突破了传统安全防护的局限,即使在管理员权限被恶意利用的情况下,也能确保服务器的安全稳定运行。 普适主机加固措施:

ASIO网络调试助手之一:简介

多年前,写过几篇《Boost.Asio C++网络编程》的学习文章,一直没机会实践。最近项目中用到了Asio,于是抽空写了个网络调试助手。 开发环境: Win10 Qt5.12.6 + Asio(standalone) + spdlog 支持协议: UDP + TCP Client + TCP Server 独立的Asio(http://www.think-async.com)只包含了头文件,不依

poj 3181 网络流,建图。

题意: 农夫约翰为他的牛准备了F种食物和D种饮料。 每头牛都有各自喜欢的食物和饮料,而每种食物和饮料都只能分配给一头牛。 问最多能有多少头牛可以同时得到喜欢的食物和饮料。 解析: 由于要同时得到喜欢的食物和饮料,所以网络流建图的时候要把牛拆点了。 如下建图: s -> 食物 -> 牛1 -> 牛2 -> 饮料 -> t 所以分配一下点: s  =  0, 牛1= 1~

poj 3068 有流量限制的最小费用网络流

题意: m条有向边连接了n个仓库,每条边都有一定费用。 将两种危险品从0运到n-1,除了起点和终点外,危险品不能放在一起,也不能走相同的路径。 求最小的费用是多少。 解析: 抽象出一个源点s一个汇点t,源点与0相连,费用为0,容量为2。 汇点与n - 1相连,费用为0,容量为2。 每条边之间也相连,费用为每条边的费用,容量为1。 建图完毕之后,求一条流量为2的最小费用流就行了

poj 2112 网络流+二分

题意: k台挤奶机,c头牛,每台挤奶机可以挤m头牛。 现在给出每只牛到挤奶机的距离矩阵,求最小化牛的最大路程。 解析: 最大值最小化,最小值最大化,用二分来做。 先求出两点之间的最短距离。 然后二分匹配牛到挤奶机的最大路程,匹配中的判断是在这个最大路程下,是否牛的数量达到c只。 如何求牛的数量呢,用网络流来做。 从源点到牛引一条容量为1的边,然后挤奶机到汇点引一条容量为m的边

如何用GPU算力卡P100玩黑神话悟空?

精力有限,只记录关键信息,希望未来能够有助于其他人。 文章目录 综述背景评估游戏性能需求显卡需求CPU和内存系统需求主机需求显式需求 实操硬件安装安装操作系统Win11安装驱动修改注册表选择程序使用什么GPU 安装黑神话悟空其他 综述 用P100 + PCIe Gen3.0 + Dell720服务器(32C64G),运行黑神话悟空画质中等流畅运行。 背景 假设有一张P100-