如何穿越大数据深水区,曙光大数据有话说

2024-03-27 03:40

本文主要是介绍如何穿越大数据深水区,曙光大数据有话说,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

如今的中国大数据市场,曙光是走在大数据行业落地最前沿的公司之一。不同于互联网巨头和大数据独角兽,曙光在大数据这条路上不经意间已经低调地走过十个年头,完成了从摸索、成长到蜕变和引领的过程。

时光回到2009年,曙光正式组建了大数据团队,并且发布海量数据处理系统DRAC,踏上了大数据的征程。而仅仅在这一年之前,Hadoop才正式成为Apache基金会的顶级项目,标志着全球大数据浪潮的开启。

十年前的一次布局,是曙光孕育了一次关于“数据”的梦想。十年之后,大数据产业日新月异,曙光初心不改,在大数据行业应用步入深水区之际,曙光携“1+4+N”智能引擎再出发,与合作伙伴一起全方位推动行业用户的数字化全面升级。

曙光大数据的十年

从2009年组建大数据团队开始,曙光在2012年正式发布了大数据产品XData,并且成功落户上百用户;2013年,曙光成功研制EB级数据存储系统,国内单一容量最大;2015年,曙光正式启动“数据中国”战略,开始全面布局大数据业务;2016年,曙光发布“数据中国加速计划”;2017年,曙光发布“数据中国智能计划”,并获批建设大数据分析系统国家工程实验室;2018年,曙光在TPC-BB全球大数据标准测试中,荣获性能/性价比第一……

曙光大数据的十年可谓是见证了中国大数据产业从无到有,从萌芽到兴起的全过程。经过十年的砥砺前行,曙光大数据平台已经运行支撑了超过1000款智能应用运行,累计处理超过1000PB的数据,服务超过2000家客户,并且与超过600家合作企业一起打造大数据生态。

实际上,2009-2019这十年也是中国产业数字化从启动,到快速成长的十年。就如尤瓦尔赫拉利在《未来简史》中所言:数据将成为人们未来的信仰。过去十年,国内大部分行业的企业与组织对于数据及其价值的认可度得到了迅速提升。业界甚至普遍认为,数据正在成为一种新型的生产资料,将是未来企业/组织业务运转中不可或缺的要素,未来企业的产品、服务、流程乃至商业模式都在围绕数据而进行重构。

“大数据产业最近两年依然保持着高速增长,年增长率超过了20%。不过也能够明显看到,大数据产业正在脱虚向实,由高速向高质量转变,大数据与实体经济的深度融合在加速。”曙光大数据首席科学家宋怀明表示道。

如何穿越大数据深水区,曙光大数据有话说

曙光大数据首席科学家宋怀明

经过十年的建设,大数据基础设施正在趋于不断完善,行业数字化程度的不断提升,已经让行业用户的数字环境日趋变化,接近完成了数据的“原始积累”,更敏捷、更智能、更融合、更安全的数据分析和智能工具,将成为企业与组织的主要需求。

宋怀明直言,大数据产业发展到目前这个阶段,基础性条件已经完成初期储备,数据采集、存储、处理能力不断提升,大数据平台将朝着标准化、一体化的方向发展,而数据则会更加容易的进行融合共享和综合治理,大数据应用则会加速走向智能化和生态化。

打造大数据的智能引擎

大数据应用进入到行业应用的深水区,之所以如此,是因为各行业进行数字化多年之后,开始从“积累数据”到“用活数据”这个过程进行转变。而这个过程依然面临着很多典型的挑战,例如数据资产体系有待更加完善的建立,智能化的应用依然匮乏,多项新技术的融合存在着挑战等等。

正因为如此,曙光致力于打造1+4+N大数据业务格局,打造数字时代的“智能引擎”,持续帮助客户实现数据价值的落地。所谓“1”为打造一个大数据平台;“4”则结合自身大数据优势,聚焦“敏捷、智能、融合、安全”四大核心能力;“N”表示联合生态伙伴构建N个行业解决方案,推动数据价值在百行百业中的落地。

事实上,大数据平台被认为是企业数字化转型和智能化的基石。而曙光过去十年一直在致力于将大数据平台这块基石打造的更加牢固、可靠、支撑能力强。可以明显看出,曙光希望自身的大数据平台对下能够更加自动化、智能化的完成数据的接入、清洗、加工和整合等数据全链路的工作,帮助企业构建起统一的数据标准、数字资产管理体系和完善的数据生态;对上则是与行业应用紧密融合,将曙光大数据十余年在行业中的经验进行沉淀,衍生出包括模创工厂、SAI视频智能服务、天网知识图谱分析等一系列智能服务。

“通过大数据平台,用户在数据处理层的工作,包括采集、集成、分析、可视化、共享交换等都会非常容易。而面对大数据系统以应用为导向的趋势,我们也将一线行业经验沉淀下来,比如在公安交通行业,将一线公路警务的宝贵经验通过模型沉淀下来,以智能应用直接服务其他交警干警。”曙光大数据及创新事业部副总经理郭庆表示道。

如何穿越大数据深水区,曙光大数据有话说

曙光大数据及创新事业部副总经理郭庆

曙光在直言,其大数据平台与数据中台依然有着一定的区别。事实上,数据中台近年来成为一大热门词汇,被包括互联网公司、各个行业用户反复提及,被认为是企业数字化转型的建设中必不可少的一个模块。对此,郭庆认为,数字中台一定是未来的发展趋势,但是它更像是一个解决方案层面的东西,并不是一个标准化的产品。“曙光希望夯实大数据平台的各种能力,通过大数据平台去解决数据中台建设中的若干问题,这是曙光大数据平台在数据中台中的定位。”

经过十余年的大数据行业实践以及潜心研发,曙光大数据已经形成了敏捷、智能、融合、安全的四大核心能力。在敏捷方面,曙光大数据具备超大规模集群处理能力,可以完成万亿数据实时处理,并且支持一站式大数据开发和一体化软硬件交付;在智能层面,融合了深度学习等多种计算框架,沉淀出丰富的实战化模型算法库,并实现了向导式自助化模型训练;曙光大数据还有强大融合能力,实现了数据融合、资源融合与服务融合,比如在数据融合层面实现了多源异构感知数据活化,多模态高动态数据认知等;此外,曙光大数据还具备全面的安全能力,从芯片级安全加固的器件安全,到数据安全、服务安全,为用户构建起安全可靠的大数据平台。

在曙光打造的1+4+N大数据业务格局中,1和4是跟自身密切相关的产品或者能力,而N在曙光智能引擎中扮演的角色亦非常重要,它代表着曙光希望联合生态伙伴构建N个行业解决方案,在大数据应用这一层驱动数据价值的落地。

攻克数据价值落地的深水区

N代表着一个变数,N的数字可能很大,也可能很小。在曙光看来,曙光希望把1和4做的越来越好,把产品和能力构建的足够强大,进一步就是以开放与合作的心态,携手广大行业合作伙伴,打造越来越多的行业落地解决方案,把N越做越大、越做越强。

“进入大数据应用深水区阶段,曙光将与生态合作伙伴戮力同心,形成优势互补的共同体,帮助推动客户从技术改进、运用优化、业务创新三个层级实现全方位、多角度、全链条的数字化升级。”宋怀明如是说。

众所周知,大数据应用通常与该应用所在行业的业务密切相关,不同行业之间的业务存在着较大的差异性,甚至同一个行业不同的用户之间对于数据的理解、运用的差别,这就决定了大数据应用进入深水区之后,必须以联合与合作的方式实现大数据应用的落地。在曙光看来,曙光希望携手生态合作伙伴,通过曙光大数据平台强大的产品和能力,与各类数据业务场景深度融合,以数据智能来重塑行业应用,驱动客户的数字化转型。

因此,曙光正在加快其大数据生态的建设与成长。以开放城市云数据平台为例,曙光已经打造超过40+城市云中心,为城市管理提供智慧云脑,并携手超过300个合作伙伴,形成4个生态联盟,全力打造了超过1000个政务及智慧应用;此外,曙光人工智能公共服务平台,为区域的初创企业、科研院所和企业用户提供平台资源支撑;以应用需求驱动创新,为行业量身定制数据智能解决方案。

“未来,曙光希望打造出大数据的智慧引擎,更加便捷地让合作伙伴孵化更多大数据应用,帮助客户在数字化转型中开辟新航路、平稳快速横穿深水水域,实现价值大发现。”宋怀明最后表示道。

这篇关于如何穿越大数据深水区,曙光大数据有话说的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/850825

相关文章

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

Oracle存储过程里操作BLOB的字节数据的办法

《Oracle存储过程里操作BLOB的字节数据的办法》该篇文章介绍了如何在Oracle存储过程中操作BLOB的字节数据,作者研究了如何获取BLOB的字节长度、如何使用DBMS_LOB包进行BLOB操作... 目录一、缘由二、办法2.1 基本操作2.2 DBMS_LOB包2.3 字节级操作与RAW数据类型2.

MySQL使用binlog2sql工具实现在线恢复数据功能

《MySQL使用binlog2sql工具实现在线恢复数据功能》binlog2sql是大众点评开源的一款用于解析MySQLbinlog的工具,根据不同选项,可以得到原始SQL、回滚SQL等,下面我们就来... 目录背景目标步骤准备工作恢复数据结果验证结论背景生产数据库执行 SQL 脚本,一般会经过正规的审批