袋鼠云数据中台专栏(六):企业数据指标的那些事儿

2024-06-14 20:18

本文主要是介绍袋鼠云数据中台专栏(六):企业数据指标的那些事儿,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文作者:子玺

 

袋鼠云数据中台解决方案专家。拥有近10年大数据从业经验,拥有PMP项目管理资格认证,精通数据类项目的开发实施和管理。曾服务过国家工商总局、北京市工商局、北京市财政局、广州开发区大数据局、平湖人社局、海盐人社局等行政单位,担任多个大型数据项目的数据应用咨询顾问/项目经理。

 

一、企业指标体系的重要性不言而喻

在我们谈论指标之前,先将时间倒推几十年,现代管理学之父彼得·德鲁克说过一句很经典的话:如果你不能衡量它,那么你就不能有效增长它。所谓衡量,就是需要统一标准来定义和评价业务,这个标准就是指标。

一个企业的生产、运营离不开指标,它的重要性不言而喻,我们这里就不再讨论了,接下来,我们主要看一看企业发展过程中与数据及数据指标有关的那些事。

 

二、从全局角度看,企业数据指标体系可能存在一些问题

  • 全局总览下来,不同部门利用数据指标的水平和标准参差不齐

  • 因基础数据问题,缺失某些重要指标,想看的指标看不到

  • 混乱的数据基础制约了探索性分析,对新业务开展支持力度有限

  • ……

我们想象数据指标就像是企业发展的“记牌器”,是衡量企业/业务发展健康程度的重要存在,那么如何解决上述问题,用好这个记牌器呢?

笔者认为可以从以下几个方面入手:

  • 帮助企业站在全局视角,快速梳理现有的所有指标情况,清晰掌握企业当前利用数据的情况,评估每一个部门指标体系搭建及应用情况,至少做到“知己”;

 

  • 针对缺失的指标提供建设路径与参考方案,为企业主衡量决策时提供必要的支持;

 

  • 基于数据中台策略为企业构建OneData数据架构,解决全域数据统一的问题,同时借助数栈-数据治理套件从工具层面解决数据血缘追溯,方便不同部门数据使用人员使用,降低沟通和管理成本。

构建数据地图,梳理数据指标,让企业数据可感、可知、可管

 

三、什么是OneData体系?

在企业发展初期,数据研发模式一般紧贴业务的发展而演变的,数据体系也是基于业务单元垂直建立,不同的垂直化业务,带来不同的烟囱式的体系。

但随着企业的发展,一方面数据规模在快速膨胀,垂直业务单元也越来越多;另一方面基于大数据的业务所需要的数据不仅仅是某个垂直单元的,使用数据类型繁多(Variety)的数据才能具备核心竞争力。

跨垂直单元的数据建设接踵而至,混乱的数据调用和拷贝,重复建设带来的资源浪费,数据指标定义不同而带来的歧义、数据使用门槛越来越高……这些问题日益凸显,成为企业发展迫在眉睫要解决的问题。

针对以上问题,我们建议企业以Kimball的维度建模为核心理念,借鉴典型互联网大型企业的海量数据架构设计思路,构建属于企业自己的数据架构体系——OneData。

 

那么,到底什么是OneData体系?

OneData体系:即建立企业统一的数据公共层,从设计、开发、部署和使用上保障了数据口径的规范和统一,实现数据资产全链路管理,提供标准数据输出。该体系包含:数据规范定义体系、数据模型规范设计、ETL规范研发以及支撑整个体系从方法到实施的工具体系。

 

以数据规范体系为例,不同于以往分部门的指标混乱定义做法,OneData体系中,我们将此前个性化的数据指标进行规范定义,抽象成:原子指标、时间周期、其他修饰词等三个要素,如下所示:

 

 

 

例如,以往业务方提出的需求是:最近7天的成交。而实际上,这个指标在规范定义中,应该结构化分解成为:

原子指标(支付订单金额)+修饰词-时间周期(最近7天)+修饰词-卖家类型(自营)。

这样做的好处是指标口径复用性强,可以极大的精简复杂的指标体系,便于理解和使用。

同时,我们也会借助工具(数栈——大数据开发套件)来帮助规范数据开发过程,替代传统的人工经验+人工约定模式,从根本上解决数据指标口径一致,各种场景下看到的数据一致性得到保障。

 

这篇关于袋鼠云数据中台专栏(六):企业数据指标的那些事儿的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1061407

相关文章

分辨率三兄弟LPI、DPI 和 PPI有什么区别? 搞清分辨率的那些事儿

《分辨率三兄弟LPI、DPI和PPI有什么区别?搞清分辨率的那些事儿》分辨率这个东西,真的是让人又爱又恨,为了搞清楚它,我可是翻阅了不少资料,最后发现“小7的背包”的解释最让我茅塞顿开,于是,我... 在谈到分辨率时,我们经常会遇到三个相似的缩写:PPI、DPI 和 LPI。虽然它们看起来差不多,但实际应用

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

Oracle存储过程里操作BLOB的字节数据的办法

《Oracle存储过程里操作BLOB的字节数据的办法》该篇文章介绍了如何在Oracle存储过程中操作BLOB的字节数据,作者研究了如何获取BLOB的字节长度、如何使用DBMS_LOB包进行BLOB操作... 目录一、缘由二、办法2.1 基本操作2.2 DBMS_LOB包2.3 字节级操作与RAW数据类型2.