奥林帕斯悬红:攻克数据存储世界级难题的诗与远方

2023-11-23 04:10

本文主要是介绍奥林帕斯悬红:攻克数据存储世界级难题的诗与远方,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在攻克数据存储世界级难题上,华为是极为认真和有卓越追求的。

去年底,华为发布了针对数据存储世界级难题的奥林帕斯悬红,聚焦实现‘自动驾驶的数据全生命周期治理’和构建‘每比特极致性价比的数据存储’,鼓励全球科研工作者攻克数据基础设施难题。

当时,有人质疑华为此举是玩票性质,主要目的还是为了博取眼球。如今,新一期的奥林帕斯悬红如期而至,彻底粉碎了之前各种质疑。在2020全球数据存储教授论坛上,华为首先奖励了全球在数据存储领域取得突破性贡献的科研工作者,并发布了2021年奥林帕斯悬红:一是构建每比特极致性价比的数据存储;二是实现下一代存储产业根技术突破。

奥林帕斯悬红:攻克数据存储世界级难题的诗与远方

2021年奥林帕斯数据存储业界难题悬红发布

华为希望与学术界在Cloud-Oriented多云存储服务、Data-Centric新型数据应用存储系统、AI-Driven存储软件架构、创新体系架构等技术方向共同攻坚,构筑更好的数据存储系统。

奥林帕斯悬红的背后

奥林帕斯,火星上的一座盾状火山,高度达到21171米,是太阳系已知的最高山峰。华为将奥林帕斯设置为奖项名字,顾名思义,一是说明其希望解决数据存储难题的难度,二是标志着征服难题所带来的突破意义。

华为为什么要针对数据存储领域来设置奥林帕斯悬红?

任何事情都不能脱离其背后的时代背景。当下,一方面数据规模、数据类型、数据应用是今非昔比,PB甚至EB级的数据量正在成为用户的新常态,随之而来的挑战是也前所未有;另一方面,传统的企业存储市场则一度被认为是夕阳工业,技术创新和突破乏力,面对新挑战是举步维艰,业界亟需在技术上攻克难题。

奥林帕斯悬红:攻克数据存储世界级难题的诗与远方

华为公司董事、战略研究院院长徐文伟发表致辞

本质上,在当前规模如此巨大的数据增长趋势下,数据存储普遍面临着“三高两低一长期”的需求挑战,即:对于数据存储性的高度渴求、对于数据存储可靠性的高度保障、对于数据存储安全性的高度要求;尽可能低的能耗和存储成本,以及尽可能长期保存数据。

具体来看,华为认为数据存储当下主要面临着三个层面的难题与挑战:

首先是技术层面的挑战,包括新型存储介质、新型存储编码、各种算法等。比如新型存储介质领域,意识形存储、DNA存储等前沿方向值得业界共同深入探索,又如EC算法、调度算法、可靠性算法也需要针对当前海量数据规模下进一步创新;

其次是存储系统结构的挑战。近年来,存储系统体系架构创新乏力,在性能、业务需求、可靠性等方面开始逐渐被用户所诟病。在华为看来,以内存为中心的架构、以数据为中心分布式架构、多模存储架构都是存储系统结构的创新方向。

第三,数据存储新生态需要尽快建立,数据存储作为智能世界的黑土地,需要全世界广泛的人才参与其中,把最优秀的专家和人才汇聚起来,建立起良好的创新生态来攻克各种难题。

也正因为此,华为希望携手全球高校科研机构的顶尖人才,通过奥林帕斯悬红等一系列行动在数据存储领域探索出一条产学研用的新路。

数据存储需要产学研新路

在本次2020全球数据存储教授论坛上,汇聚了来自中国工程院、国内外顶尖高校、科研机构以及华为的上百位数据存储领域专家。众多专家汇聚一堂,很重要的一个议题就是数据存储需要产学研新路。

在华为看来,“奥林帕斯悬红”很重要的目的是牵引基础理论研究方向,突破关键技术难题,加速科研成果产业化,实现产学研合作共赢,从而让全世界共享数字技术红利,推动千行百业进行智能化升级。

为什么说“奥林帕斯悬红”可以为数据存储的产学研开拓出一条新路?

奥林帕斯悬红:攻克数据存储世界级难题的诗与远方

敦煌研究院副院长苏伯民介绍《敦煌石窟科技保护与成果应用》

“奥林帕斯悬红”首先明确提出了研究的问题方向,华为在数据存储领域耕耘八年,对于当前千行百业用户的数据存储需求和所面临最为急迫的挑战最为敏感和清晰,华为通过“奥林帕斯悬红”的方式向全球顶尖人才命题,让研究方向更加明确,有助于问题的聚焦与突破。

其次,解决问题有创新。除了全球高校与科研机构顶尖人才积极参与到数据存储世界级难题的研究之中外,华为自身全球海外研究所的科学家、产品专家都将参与进来,形成多范围、多层次人才的联合创新,共同攻克工程和理论等领域的难题。

第三,华为给科研成果转为产业成果提供了最优路径。众所周知,华为存储当前已经是全球第三、中国第一大存储厂商,在全球范围内拥有广泛和丰富的客户群体。一旦数据存储领域相关难题得到攻克,华为可以利用其强大的商业化能力推动相关产品与技术在全球范围内使用。

如今,华为已经在数据存储领域耕耘八年,并且成为全球第三的存储厂商,“奥林帕斯悬红”再次说明了华为将数据存储做大做强的雄心与决心。

华为存储的雄心与决心

根据IDC最新的《全球企业存储系统季度跟踪报告》显示,华为存储已经连续多个季度实现了强势增长,并且在2020年第三季度上升为全球第三。

当前,华为存储目前已经在全球成立了12个研发中心,拥有专利数量达到3146件,位于全球第一,自主研发的体系化平台建设日益成熟。

除了产品自主研发之外,华为存储近年来持续深入客户领域的细分场景中,以解决客户行业痛点为核心目标来打造解决方案。截止目前,华为OceanStor存储目前已进入全球150多个国家,服务超过12000家客户,广泛应用于运营商、金融、政府、能源、医疗、制造、交通等多个行业。

围绕数据存储介质、网络、架构和管理等下一代存储研究方向,华为还建立了 ‘Data Fabric创新Lab’、‘智能存储创新Lab’、‘内存型存储创新Lab’、‘数据缩减创新Lab’、‘视频存储创新Lab’五大实验室,充分激发4000多名研发工程师的潜力,为千行百业打造最好的数据存储技术。

总体而言,在经过八年的艰苦耕耘之后,华为在数据存储领域已经构建其完备的产品体系、研发体系、人才体系和生态体系。但华为存储的雄心与决心并未停止,继续瞄准了数据存储世界级难题,正如华为高层在2020全球数据存储教授论坛所言:“希望明年华为存储再上一个台阶,并在未来真正成为世界第一。”

这篇关于奥林帕斯悬红:攻克数据存储世界级难题的诗与远方的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/415246

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

三国地理揭秘:为何北伐之路如此艰难,为何诸葛亮无法攻克陇右小城?

俗话说:天时不如地利,不是随便说说,诸葛亮六出祁山,连关中陇右的几座小城都攻不下来,行军山高路险,无法携带和建造攻城器械,是最难的,所以在汉中,无论从哪一方进攻,防守方都是一夫当关,万夫莫开;再加上千里运粮,根本不需要打,司马懿只需要坚守城池拼消耗就能不战而屈人之兵。 另一边,洛阳的虎牢关,一旦突破,洛阳就无险可守,这样的进军路线,才是顺势而为的用兵之道。 读历史的时候我们常常看到某一方势

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X