很遗憾:数据中台的技术架构没有标准

2024-04-27 03:08

本文主要是介绍很遗憾:数据中台的技术架构没有标准,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

数据中台起初是个企业管理概念

很多人都知道“中台”这个名词,在国内最早是由马云提出来的。2015 年,马云参观了一家芬兰游戏公司——Supercell,观察到 Supercell 每个游戏开发的小团队都只有六七个人,但是他们开发新游戏的速度特别快,同时放弃游戏也很快。而能够做到这一切的主要原因是他们把游戏开发过程中用到的一些通用的游戏素材和算法整理出来了,作为工具提供给小团队使用,同一套工具可以支持多个游戏研发团队。

马云发觉这种方法很好,不久之后,阿里就成立了一个数据中台的团队,“数据中台”这个名词也渐渐在国内流行起来,在公开场合中谈数据中台的企业也多了起来,原因也很简单,大家都想往更新、更热的概念上凑,增强用户购买欲、推动业务增长。

但李扬认为从数据中台的由来来看,数据中台首先是个企业管理概念,“主要是通过复用数据资产来驱动前线业务的高速创新和改造,如果要是让我给数据中台下个定义的话,从企业管理层面来看,我认为数据中台是个组织,它提供 3 个方面的东西:共享的数据服务(Data-as-a-Service)、集中治理数据资产(Goverance)、用数据改造业务(Data changes business)。”

如果从企业管理概念出发,理论上来说,不使用 IT 技术也可以完成数据中台。举个不太恰当的例子,假设我们汇总了纸质报表,进行人工审核,并从中得到了某些趋势洞察,进而改造了多条前线业务,那么这些纸质报表也可以称之为“数据中台”。

数据中台的出现是有其时代背景的,如果市场处于空白期,我们根本就不需要数据来辅助决策,当红利期过后,存量市场变得越来越小,这时企业之间就要比拼谁的服务质量更高、谁的成本更低、人效更高。于是,就出现了之前爆火的信息化,企业从手工作坊式转型到用电子系统来管理。当企业完成了内部的组织架构调整和信息化之后,并且简单的、侵略性的市场推广不再奏效时,才适合聊数字化驱动前线业务的高速创新增长,也正是在这个时间节点才会出现“数据中台”这样的概念。

数据中台过渡到技术概念

从数据中台的由来看,它是个企业管理概念,为什么很多人在谈到“数据中台”的时候都谈到技术呢?李扬解释道:“在信息化时代,负责数据中台的组织的主要职责就是维护数据、并提供数据服务,而他们使用的工具通常是电子信息相关的技术,所以很自然的,数据中台就会从一个企业管理概念过渡到技术概念。”

从技术概念来看,数据中台和另一个平行概念有点相像——数据平台。如果非要在技术概念的层面给数据中台下个定义,数据中台就是以驱动业务为目的的数据平台。对应前文提到的数据中台包含的三个内容,数据平台本身就提供共享的数据服务和集中治理数据资产。

所以数据中台和数据平台的区别就在于是否以数据驱动业务为目的,并不是所有的数据平台都有此目的,例如 Data Lake 是整个数据链条中比较靠底层的部分,它不是直接来驱动业务的,而是为了向上上一层的数据仓库或者更上层提供数据,所以,Data Lake 不能称之为数据中台,顶多可以称为数据中台的一部分。

想要实现数据中台需要经历哪些阶段呢?李扬认为关键的有三步:第一步,需要有个完整的地方把所有数据串联起来;第二步,数据需要打通,并被整理好;第三步,数据要能够驱动业务增长。其中,只有第二步和软件架构有关系,其它两步与软件架构的关联都不是那么紧密,第一步是信息化,第三步与管理层更紧密。

数据中台中包含了很多系统,如果非要划分一下数据中台的组成部分,李扬认为一种典型的设计可以分为三层,从最底层到最上层分别为:Data Lake、Data Warehouse 和 Data Mart,再往上面就是对接 BI。比如 Kyligence 就提供有下一代的智能数据仓库产品,处于 Data Mart 或 Data Warehouse 的定位,负责底层大数据与上层 BI 的高速对接,释放数据生产力,赋能前线业务。在 Kyligence 接触的客户中,已经有不少企业内部建立了中台的项目,Kyligence 也被贴上了“中台供应商”参与其中,而我们提供的技术方案实质并没有因为中台这个概念而发生变化。

谈数据中台的企业与数据中台的关系

前文提到现在谈数据中台的企业特别多,如果我们把这些企业稍稍分类一下,大致可分为三类:第一类是做大数据营销、SaaS 企业,第二类是数据库、数据仓库、开发平台类企业;第三类是外包咨询类软件企业。当然,这些企业中不乏有炒概念的,但除去这些,我们来看看这三类企业和数据中台有哪些联系?

大数据营销、SaaS 企业:这类企业主要提供的是共享的数据服务,即 Data-as-a-Service。如果更加直白的来说,它们具备一定的数据能力,是一个工具可以被用来建设数据中台。当他们理解了用户的业务增长方式,并把这种增长方式与其 SaaS 产品结合起来,那么勉强可以成为数据中台,否则他们永远提供的是数据服务。

数据库、数据仓库、平台开发类企业:数据库其实是在数据中台更低一层的系统,企业因为信息化的历史周期不同,会沉淀非常多的数据系统。如果我们认可了前面数据中台从最底层到最上层分别为 Data Lake、Data Warehouse 和 Data Mart,那么数据库、数据仓库等企业只能是数据中台的一部分,无法成为一个完整的数据平台。

外包咨询类企业:与前两类企业相比,这类企业提供的更多的是一个解决方案,根据客户定制化需求交付产品。同时也可能是对“数据中台”概念理解最深刻的一类企业。

数据中台是个新概念吗?

数据中台是个新概念吗?李扬认为在国内是,但全球来看并不是。早在三年前,Hortonworks 在都柏林举办 Hadoop Summit 活动,其 CEO RobBearden 带来的 keynote 分享“Data is  Transforming the World of Business”就与数据中台有异曲同工之妙。由于国外数字化建设进程总体领先,在数年前就提出了数据驱动商务革新的概念,仅大会上提到的案例就覆盖了风控、医疗、智能汽车等多个领域。现在只是国内恰好发展到这一阶段了,数据中台的概念适时被提出来了,它的精妙之处在于指出了我们已不再处于野蛮生长的状态了,而是需要使用精细化来提高质量、实现下一轮增长。

“数据中台是个很精炼的概念”,李扬这样解释数据中台,“数据指出了原动力,中台前台的概念中,前台指的是业务线,而中台就是在支撑业务线,代表数据赋能业务的意思。只用四个字就概括出了数据为核心、平台为支撑、驱动前线商务变革,这三层意思,成功地在业务和技术之间建立了一个沟通的桥梁。”

如果数据中台不再是个新概念,那么它带来的主要变化是什么?李扬表示:“当一个组织、企业喊出了要建设‘数据中台’的口号,那么最大的变化就在于该组织决心要用数据去改造业务了。”

“数据中台的建设一定会伴随着企业组织架构调整,这才是真正切到了数据中台的关键。”李扬表示。首先,企业组织架构很明显的变化会是,之前负责数据的部门或团队可能缺乏话语权,但是建设数据中台之后,数据中台团队化被动为主动;其次,之前数据团队的主要工作是项目管理、需求管理等等,现在可能还需要研究业务、数据和模型等;第三,数据中台团队要从传统的支撑角色逐步向运营角色转变。

当人人都在谈数据中台时,它会是一个通用的存在吗?“绝对不会有通用的数据中台,除非两家公司所有的业务都一模一样,”李扬认为:“不要试图把中台做成一个标准的架构,那不现实,因为每家的业务都不一样。最好的情况是提供一个参考架构,在此基础上定制出自己的框架,这也是为什么架构师是个脑力活,如果每个架构都是标准化的,那架构师的工作也就不值钱了!”

 


=>更多文章请参考:《中国互联网业务研发体系架构指南》

=>更多行业权威架构案例及领域标准、技术趋势请关注微信公众号:

 

公众号:关注更多实时动态
更多权威内容关注公众号:软件真理与光

这篇关于很遗憾:数据中台的技术架构没有标准的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/939368

相关文章

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

豆包 MarsCode 不允许你还没有女朋友

在这个喧嚣的世界里,爱意需要被温柔地唤醒。为心爱的她制作每日一句小工具,就像是一场永不落幕的浪漫仪式,每天都在她的心田播撒爱的种子,让她的每一天都充满甜蜜与期待。 背景 在这个瞬息万变的时代,我们都在寻找那些能让我们慢下来,感受生活美好的瞬间。为了让这份浪漫持久而深刻,我们决定为女朋友定制一个每日一句小工具。这个工具会在她意想不到的时刻,为她呈现一句充满爱意的话语,让她的每一天都充满惊喜和感动

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业