数据指标的华丽蜕变:治理之路

2024-04-01 15:12

本文主要是介绍数据指标的华丽蜕变:治理之路,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

指标类文章在朋友圈和公众号中隔三差五就能阅读到,说明此类文章颇受广大群众欢迎。同时,这也意味着企业指标管理尤为重要。作为数据指标的产品经理,我也一直默默关注同行的分享。今天,我想从指标治理角度来分享一些我的看法。

指标建设通常相对容易,但确保指标的长期良好运营、保持其新鲜度、规范性、高质量和安全性,却是指标管理上的难题。那么,数据治理部门对数据指标有哪些主要工作要点呢?以下几点最受瞩目:

⦁ 统一数据指标的定义和管理流程:确保不同团队和部门对指标的理解一致,避免混淆和误解。

⦁ 保证数据指标的质量与安全可管、可控:建立数据质量评估机制,监控数据指标的准确性、完整性和一致性。同时,确保数据的安全性,防止数据泄露和滥用。

⦁ 更好地为企业更多用户赋能:指标不仅仅是数据分析人员的工具,还应该为企业的各个层级和角色提供有用的信息。数据治理部门需要积极推动指标的广泛应用,让更多人受益。

为了给数据治理的同仁们提供更好的数据指标全生命周期治理服务,我将详细阐述以下几个方面:
在这里插入图片描述

需求规范化管理:指标的需求应该明确、具体,并且能够满足不同用户的需求。规范化管理可以帮助确保指标的一致性和有效性。

指标标准定义:明确每个指标的定义、计算方法和数据来源,避免歧义和混淆。

打通数据链路:指标的数据来源可能分散在不同系统和数据库中,数据治理部门需要协调各方打通元数据各堵点,梳理数据从源头到目标指标生成的全流程路径。

保障指标质量:建立数据质量评估机制,监控指标的数据质量,及时发现和解决问题。

确保安全合规:数据指标涉及敏感信息,需要确保数据的安全性和合规性。

最大化应用价值:指标不仅仅是数据的展示,还应该为企业决策提供有力支持。数据治理部门需要积极推动指标的应用,让其发挥最大的价值。

01、指标需求规范化——确保源头权威

在公众号发表的指标文章中,都提到了一个业务痛点是“同名不同义、同义不同名”。这种现象的一个重要原因是脱离需求评审管理、多处随意定义和随意创建所致。数据指标质量的根源在于对需求的准确理解和描述,因此,统一规范的指标需求管理,是指标全生命周期治理的基石,下面我们一起来分析指标需求现状及如何做好指标需求管理。

现状分析

随着企业数字化转型的推进,各类业务指标需求的频率和复杂程度与日俱增。但由于缺乏统一的需求语言和流程,企业里普遍存在需求表述不一、流程效率低下、冗余和重复等现象,这些问题的根源在于没有规范的需求管理。为了确保需求能够得到有效执行,企业推行需求规范化过程中通常会面临以下主要挑战:

1) 业务人员需求习惯根深蒂固

业务人员长期习惯了自由表述需求的方式,改变这一习惯存在很大的惯性。

2) 跨系统需求协同沟通的成本高

不同职能系统之间的协作沟通成本较高,容易导致规范在系统之间存在分歧和偏差。

3) 缺乏规范执行的问责和激励机制

仅依赖体系很难有效执行,需要制度的支撑。

需求规范

指标需求规范化主要包括以下三个核心要素:

1) 需求字段标准化

针对需求的描述要素制定统一规范,包括指标名称、指标描述、计算公式、维度描述、使用场景等。采用统一的字段设计,避免歧义表述。

2) 需求内容规范化

针对不同类型需求的内容要素,制定统一的规范模板,如数据开发需求、指标衍生需求、定期调度需求等。确保需求内容的完整性和规范性。

3) 需求流程标准化

制定统一的需求处理流程,包括需求受理、评估审核(业务与技术参与)、优先级排序、分派实施、验收发布等环节,并结合IT系统进行流程化管理。
在这里插入图片描述

02、指标定义标准化——确保质量一致

指标定义的标准化是指标治理的基础,正如企业数据标准体系梳理一样,能够为企业构建一个通用、高质量的指标体系,避免重复建设和定义分歧,提升数据指标的可复用性和一致性。然而,在传统的数据治理模式下,往往缺乏统一的指标定义标准。

现状分析

1) 指标定义存在认知分歧

不同业务团队或IT团队对同一指标存在不同的定义方式,导致指标的计算结果不一致。

2) 指标定义质量参差不齐

缺乏规范指导,指标定义的完整性、准确性和可用性无法保证。

3) 指标定义的冗余和重复建设

由于无法高效复用已有指标,导致大量重复劳动和资源浪费。

4) 新兴业务领域缺乏指标参考

对于新兴业务,缺少成熟的指标定义模型供参考。
这些问题导致企业无法将指标视为一种可复用的标准化数据资产,从而难以充分释放数据的价值。

指标定义

为了提高指标定义的质量和一致性,标准化需要着力于以下几个核心要素:

1) 基本属性定义标准

保证指标的定义来自于需求,包括指标名称、编码、描述、维度、度量、归属主题域等基本属性的统一定义规范。
在这里插入图片描述
2) 计算逻辑定义标准

明确计算公式、SQL/脚本逻辑、汇总粒度、时间属性等计算逻辑,以确保指标计算的规范表达。

3) 分类定义标准

设计统一的分类体系,方便对不同维度/度量的指标进行分门别类的治理。

4) 生命周期规范

指标定义应紧密与需求管理相结合,包括设计、审核、发布、变更、废弃等全生命周期各环节的标准流程和规范。

5) 质量控制标准

制定评估和控制指标定义质量的标准,包括完整性、一致性、规范性等维度。

通过综合运用这些标准化要素,企业可以构建一个内涵丰富且质量可控的标准化指标定义体系。

03、指标元数据管理 —— 打通数据链路

指标元数据是指关于数据指标本身的描述性信息,包括但不限于指标定义、计算逻辑、数据来源、更新频率、业务含义、业务场景以及关系等。通过对这些元数据进行系统化、结构化的管理和维护,可以确保组织内部所有利益相关者对关键业务指标有共同且准确的理解。在打通数据链路的过程中,指标元数据管理首先能够清晰地揭示数据从源头到目标指标生成的全流程路径,即所谓的“数据血缘”。

现状分析

结合我们对企业指标元数据的一些调研,总结有如下现象:

1) 现有系统缺乏标准元数据接口

企业若没有系统性地构建指标管理体系,业务指标往往会分散在各处(包括老旧IT系统、甚至存在一些文件当中),以至于无法直接获取标准化元数据,采集成本较高。

2) 元数据质量问题困扰

传统的元数据管理散乱,现有元数据质量问题严重,给集中治理带来挑战。

3) 跨系统元数据融合的复杂性

不同系统的元模型差异较大,数据融合面临技术挑战。
总结来说,指标元数据管理对于打通并优化数据链路而言,不仅是技术层面的架构设计,更是推动企业数据文化形成和数据驱动战略实施的关键要素。

打通链路

要实现指标的元数据管理以打通数据链路,首先需要建立一套全面而规范的元数据管理体系。这一体系应涵盖从数据采集、处理、整合到最终形成业务指标的全过程,对每一环节涉及的元数据进行统一管理和维护,确保数据生命周期的全程可见与可控。

1) 建立指标元数据业务场景应用体系

设计指标元数据链路应用场景,将指标的定义、计算逻辑、场景所涉等完整信息得以记录、跟踪、采集。

2) 实现指标资产化

将指标转化为可复用的资产,支持跨系统、跨项目的共享和引用。

3) 打通上下游链路

上游数据资产与下游应用之间的链路得以贯通,支持影响分析。

4)主动元数据捕获与更新
采用工具和技术手段自动捕获和更新指标元数据,减少人工干预带来的错误风险,同时确保元数据时效性和准确性。

总之,通过对数据指标元数据进行精细化、智能化的管理,我们能够建立起透明、可靠的数据链路,为组织提供高质量、高可用的数据基础,进而支撑高效的数据驱动决策和业务运营。

04、指标质量监控 —— 保障数据资产价值

在数据治理中,指标质量监控是保障数据资产价值的关键环节。有效的指标质量监控可以保证数据的完整性、一致性、准确性和可靠性。这涉及定期检查数据的来源、采集方法、处理过程以及验证指标的计算逻辑。及时发现和纠正数据错误、缺失或异常,有助于提高数据的可信度和可用度。

现状分析

然而,在传统的指标管理模式下,由于缺乏系统性质量监控,常常面临以下挑战:

1) 质量问题无法防患于未然

缺乏质量预警机制,质量隐患无法提前发现和纠正。

2) 质量问题反馈效率低下

质量问题被动暴露,反馈链路冗长,响应效率低下。

3) 质量问题修复效果无法持续跟踪

缺乏闭环管理,修复后无法持续验证,容易复发。

4) 质量责任无法可视化问责

缺乏质量度量体系,责任主体无法准确问责。

这些问题不仅影响数据指标的可靠性与信任度,还直接导致了大量的质量成本支出和价值损失。因此,建立系统的质量监控体系至关重要。

质量管理
以下是构建指标质量监控体系的关键要素:

1) 质量规则库

构建涵盖不同质量维度的规则库,如完整性、准确性、及时性等。

2) 自动化检测机制

通过工具或平台,实现质量规则的自动化执行和检测。

3) 风险分级预警

根据问题严重程度,设置风险分级预警机制,提示关注。
在这里插入图片描述
4) 主动监控触发

支持定期全量扫描和按需主动触发,以及基于事件驱动的监控。
在这里插入图片描述
5) 质量度量体系
建立指标质量量化评分体系,实现可视化展示和追踪。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
6) 反馈闭环管理

形成问题清单反馈、责任分派、修复跟踪、验证闭环的管理机制。

这些要素环环相扣,构成一个完整的质量监控体系,贯穿预防、发现、反馈、管控和持续优化全过程。质量监控是一项持续改进的过程,需要持之以恒地投入。除了前面提到的规则库、检测平台等基础设施,更重要的是形成一种质量文化。一方面要通过制度机制和绩效挂钩,形成合规的内生动力;另一方面也要从外部施加压力,将质量监控理念贯穿于指标需求、设计、开发、测试各个环节,形成全面质量管理的闭环。只有从根本上重视质量,将质量思维内化于业务生命周期,才能真正保障数据指标价值,赢得业务信任与支持。

05、指标权限管理 —— 确保数据安全合规

通过合理的指标权限管理,我们可以明确不同角色和用户对数据指标的访问权限,从而避免数据的未授权访问和滥用。这有助于保护关键指标的敏感性。同时,指标权限管理还应与相关法规和行业标准保持一致,确保企业的数据处理活动符合法律要求。建立完善的审计和监控机制,追踪和审查指标的使用情况,及时发现并处理潜在的安全风险和违规行为。

现状分析

数据权限管控关乎企业指标的安全可靠。然而,在传统的管理模式下,由于缺乏系统的权限管控,常常面临以下风险:

1) 数据权限管理混乱
指标权限管理过于粗放,缺乏统一的标准和机制。

2) 数据被滥用和泄露
缺乏有效审计机制,导致数据权限的授权和使用无法得到有效管控。

3) 数据应用效率低下
权限分散管理,数据的复用和共享受限。

4) 缺乏合规性保障
无法有效满足监管合规要求,面临合规风险。

安全合规

上述问题不仅影响数据指标的安全保护,也直接制约了数据的应用价值释放。建立统一的权限管控体系,是解决这一问题的根本之策。具体而言,指标权限管控包括以下几个核心要素:

1) 权限模型设计
基于职责分工和数据分类,我们可以对指标预览、管理、授权、预警等相关权限进行统一配置,从而设计出一个合理的权限模型。
在这里插入图片描述
2) 权限分级分域
按照数据安全级别和业务领域,划分不同的权限级别和分域。

3) 统一认证和授权
基于权限模型,实现统一身份认证和规则化授权。

4) 权限生命周期管控
包括审批流程、变更跟踪、过期回收等全生命周期管控。

5) 权限审计监控
建立系统化审计机制,跟踪权限分配和使用情况,形成审计报告。

6) 权限分析服务
支持用户权限查询、应用权限查询等分析服务。

以上要素构成了一个完整、规范的权限管控体系,贯穿权限设计、分配、使用、审计和维护全流程。重点梳理关键指标的权限合规审计要求,将合规理念贯穿始终。

06、指标应用服务 —— 最大化数据资产价值

经过前面章节的规范化实践,我们已经为指标治理奠定了坚实的基础,并从需求、定义、开发、链路、质量、权限等多个维度对指标全生命周期进行了全方位管控,显然,我们不能为了管控而管控,输出价值才是核心。然而,数据治理的价值往往很难被明确定义和衡量,这恰是本章要重点探讨的内容:如何最大化释放指标数据资产的应用价值。

现状分析

数据资产的核心价值在于被广泛复用和应用。在传统的管理模式下,由于缺乏复用机制和应用服务能力,通过与数据治理同仁一些调研和讨论得知在企业中常常存在以下现象:

1) 指标缺乏可复用性
缺乏指标元数据管理,无法实现指标跨系统、跨领域复用。
2) 指标应用效率低下
缺乏标准化接口和服务能力,指标应用需求响应效率低下。
3) 指标使用体验差
终端应用无法自动获取指标元数据,指标内涵无法直观感知。
4) 冗余重复建设严重
由于复用成本高,重复建设同类指标导致资源浪费严重。

这些问题严重制约了指标数据资产的价值释放。通过构建指标复用和应用服务体系,可以从根本上解决上述难题。

应用赋能:
以下是构建指标复用和应用服务体系的关键要素:

1) 指标查询服务

为内外部系统提供标准化的指标查询接口和API服务。
在这里插入图片描述
2) 指标计算引擎

基于查询服务,提供指标实时或离线计算执行能力。

3) 指标影响分析

分析指标上下游的关联依赖关系,评估变更影响。将指标应用到具体业务流程和业务场景中,结合业务KPI分析指标的趋势变化和业务影响。

在这里插入图片描述

4) 指标目录服务

展现企业级指标资产目录,支持检索、浏览和订阅。

5) 指标可视化插件

集成到报表工具等应用系统中。使报表用户能够即时列举、解释报表中指标,向指标所有者提出问题,并根据指标血缘分析理解指标的加工过程。
在这里插入图片描述

6) 指标知识库服务

基于知识图谱,提供指标语义理解和智能问答服务。

7) 指标市场化运营

建立指标开放复用的标准定价、交付和计费体系。

8) 指标复用质量监控

复用指标指导数据模型设计与开发,监控指标复用质量和复用程度等核心指标。

以上能力无论是支撑内部应用,还是对外赋能生态,最大限度地拓展指标资产的应用边界和价值空间。总之,构建指标资产的复用和应用服务体系是数据治理现代化的最高阶目标。它不仅需要完备的技术支撑,更重要的是要从战略层面重塑运营模式,以服务思维驱动组织变革。

这篇关于数据指标的华丽蜕变:治理之路的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/867476

相关文章

【服务器运维】MySQL数据存储至数据盘

查看磁盘及分区 [root@MySQL tmp]# fdisk -lDisk /dev/sda: 21.5 GB, 21474836480 bytes255 heads, 63 sectors/track, 2610 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSector size (logical/physical)

SQL Server中,查询数据库中有多少个表,以及数据库其余类型数据统计查询

sqlserver查询数据库中有多少个表 sql server 数表:select count(1) from sysobjects where xtype='U'数视图:select count(1) from sysobjects where xtype='V'数存储过程select count(1) from sysobjects where xtype='P' SE

数据时代的数字企业

1.写在前面 讨论数据治理在数字企业中的影响和必要性,并介绍数据治理的核心内容和实践方法。作者强调了数据质量、数据安全、数据隐私和数据合规等方面是数据治理的核心内容,并介绍了具体的实践措施和案例分析。企业需要重视这些方面以实现数字化转型和业务增长。 数字化转型行业小伙伴可以加入我的星球,初衷成为各位数字化转型参考库,星球内容每周更新 个人工作经验资料全部放在这里,包含数据治理、数据要

如何在Java中处理JSON数据?

如何在Java中处理JSON数据? 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!今天我们将探讨在Java中如何处理JSON数据。JSON(JavaScript Object Notation)作为一种轻量级的数据交换格式,在现代应用程序中被广泛使用。Java通过多种库和API提供了处理JSON的能力,我们将深入了解其用法和最佳

两个基因相关性CPTAC蛋白组数据

目录 蛋白数据下载 ①蛋白数据下载 1,TCGA-选择泛癌数据  2,TCGA-TCPA 3,CPTAC(非TCGA) ②蛋白相关性分析 1,数据整理 2,蛋白相关性分析 PCAS在线分析 蛋白数据下载 CPTAC蛋白组学数据库介绍及数据下载分析 – 王进的个人网站 (jingege.wang) ①蛋白数据下载 可以下载泛癌蛋白数据:UCSC Xena (xena

中国341城市生态系统服务价值数据集(2000-2020年)

生态系统服务反映了人类直接或者间接从自然生态系统中获得的各种惠益,对支撑和维持人类生存和福祉起着重要基础作用。目前针对全国城市尺度的生态系统服务价值的长期评估还相对较少。我们在Xie等(2017)的静态生态系统服务当量因子表基础上,选取净初级生产力,降水量,生物迁移阻力,土壤侵蚀度和道路密度五个变量,对生态系统供给服务、调节服务、支持服务和文化服务共4大类和11小类的当量因子进行了时空调整,计算了

【计算机网络篇】数据链路层(12)交换机式以太网___以太网交换机

文章目录 🍔交换式以太网🛸以太网交换机 🍔交换式以太网 仅使用交换机(不使用集线器)的以太网就是交换式以太网 🛸以太网交换机 以太网交换机本质上就是一个多接口的网桥: 交换机的每个接口考研连接计算机,也可以理解集线器或另一个交换机 当交换机的接口与计算机或交换机连接时,可以工作在全双工方式,并能在自身内部同时连通多对接口,使每一对相互通信的计算机都能像

使用Jsoup抓取数据

问题 最近公司的市场部分布了一个问题,到一个网站截取一下医院的数据。刚好我也被安排做。后来,我发现为何不用脚本去抓取呢? 抓取的数据如下: Jsoup的使用实战代码 结构 Created with Raphaël 2.1.0 开始 创建线程池 jsoup读取网页 解析Element 写入sqlite 结束

Excel实用技巧——二级下拉菜单、数据验证

EXCEL系列文章目录   Excel系列文章是本人亲身经历职场之后萌发的想法,为什么Excel覆盖如此之广,几乎每个公司、学校、家庭都在使用,但是它深藏的宝藏功能却很少被人使用,PQ、BI这些功能同样适用于数据分析;并且在一些需要简单及时的数据分析项目前,Excel是完胜python、R、SPSS这些科学专业的软件的。因此决心开启Excel篇章。 数据分析为什么要学Excel Excel图表

OSG学习:LOD、数据分页、动态调度

LOD(level of detail):是指根据物体模型的结点在显示环境中所处的位置和重要度,决定物体渲染的资源分配,降低非重要物体的面数和细节度,从而获得高效率的渲染运算。在OSG的场景结点组织结构中,专门提供了场景结点osg::LOD来表达不同的细节层次模型。其中,osg::LOD结点作为父节点,每个子节点作为一个细节层次,设置不同的视域,在不同的视域下显示相应的子节点。 数据分页:在城市