数据之道读书笔记-02建立企业级数据综合治理体系

本文主要是介绍数据之道读书笔记-02建立企业级数据综合治理体系,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

数据之道读书笔记-02建立企业级数据综合治理体系

数据作为一种新的生产要素,在企业构筑竞争优势的过程中起着重要作用,企业应将数据作为一种战略资产进行管理。数据从业务中产生,在IT系统中承载,要对数据进行有效治理,需要业务充分参与,IT系统确保遵从,这是一个非常复杂的系统工程。

华为公司经过十多年的实践证明,只有构筑一套企业级的数据综合治理体系,才能确保关键数据资产有清晰的业务管理责任,IT建设有稳定的原则和依据,作业人员有规范的流程和指导;当面临争议时,有裁决机构和升级处理机制;治理过程所需的人才、组织、预算有充足的保障。综合上述因素,最终建立有效的数据治理环境,数据的质量和安全得到保障,数据的价值才能真正发挥出来。

华为的数据治理体系框架如图2-1所示。
在这里插入图片描述

文章目录

  • 数据之道读书笔记-02建立企业级数据综合治理体系
    • 2.1 建立公司级的数据治理政策
      • 2.1.1 华为数据管理总纲
      • 2.1.2 信息架构管理政策
      • 2.1.3 数据源管理政策
      • 2.1.4 数据质量管理政策
    • 2.2 融入变革、运营与IT的数据治理
      • 2.2.1 建立管理数据流程
      • 2.2.2 管理数据流程与管理变革项目、管理质量与运营之间的关系
      • 2.2.3 通过变革体系和运营体系进行决策
      • 2.2.4 数据治理融入IT实施
      • 2.2.5 通过内控体系赋能数据治理
    • 2.3 建立业务负责制的数据管理责任体系
      • 2.3.1 任命数据Owner和数据管家
      • 2.3.2 建立公司层面的数据管理组织
    • 2.4 本章小结


2.1 建立公司级的数据治理政策

数据治理政策是华为数据治理的顶层设计,该政策在华为公司EMT(经营管理团队)汇报通过后,由总裁签发,该政策明确了数据工作在华为公司治理体系中的地位,体现了公司管理层对数据工作重要性的统一认知。

2.1.1 华为数据管理总纲

华为数据管理总纲明确了数据治理最基本的原则,包括信息架构、数据产生、数据应用及数据质量的职责和分工等,确保数据治理环境的有效构建。
(1)信息架构管理原则
第一条:建立企业级信息架构,统一数据语言。

第二条:所有变革项目须遵从数据管控要求。对于不遵从管控要求的变革项目,数据管控组织拥有一票否决权。

第三条:应用系统设计和开发应遵从企业级信息架构。关键应用系统必须通过应用系统认证。
(2)数据产生管理原则
第一条:数据规划对齐业务战略,业务战略规划必须包含关键数据举措及其路标规划。

第二条:公司数据Owner拥有公司数据管理的最高决策权,依托ESC(变革指导委员会)决策平台议事。各数据Owner承担数据工作路标、信息架构、数据责任机制和数据质量的管理责任。

第三条:关键数据须定义单一数据源,一点录入,多点调用。数据质量问题应在源头解决。

第四条:谁产生数据,谁对数据质量负责。数据Owner负责基于使用要求制定数据质量标准,且须征得关键使用部门的同意。

(3)数据应用管理原则
第一条:数据应在满足信息安全的前提下充分共享,数据产生部门不得拒绝跨领域的、合理的数据共享需求。

第二条:信息披露、数据安全管理、数据保管和个人数据隐私保护等必须遵守法律法规和道德规范的要求。公司保护员工、客户、商业伙伴和其他可识别个体的数据。
(4)数据问责与奖惩管理原则
各数据Owner应建立数据问题回溯和奖惩机制。对不遵从信息架构或存在严重数据质量问题的责任人进行问责。

2.1.2 信息架构管理政策

信息架构是公司统一的数据语言,是业务流打通、消除信息孤岛和提升业务流集成效率的关键要素。华为公司通过明确对信息架构的管理要求,规范信息架构的建设和遵从原则,使公司的信息资产得到有效管理和重用。
(1)管理信息架构的角色与职责
第一条:公司数据Owner负责批准企业级信息架构,裁决重大信息架构问题和争议。

第二条:各数据Owner负责其所辖数据的信息架构建设和维护,承接及落实公司的数据规划要求。

第三条:公司的数据管理专业组织作为公司数据工作的支撑组织,负责组织信息架构的建设、维护、落地及遵从管控,负责协调跨领域的信息架构冲突。各领域各事业群(BG)数据管理专业组织协助完成本领域信息架构建设和维护工作。

第四条:数据管控组织作为信息架构专业评审机构,确保信息架构的质量和集成。
(2)信息架构建设要求
第一条:关键数据应被识别、分类、定义及标准化,数据的定义在公司范围内应唯一,数据标准制定要考虑跨流程要求。

第二条:数据资产目录必须承接公司各业务环节的使用需求和报告分析最小粒度的要求。

第三条:信息架构驱动应用架构设计,合理规划数据分布。

第四条:应用系统数据库的设计和开发要遵循信息架构,减少数据冗余,实现接口标准化。
(3)信息架构遵从管控
第一条:变革项目必须遵从已发布的信息架构,变革项目的交付件须包含信息架构内容。对现有架构的遵从是关键评审要素,对于不满足要求的变革项目,数据管控组织拥有一票否决权。

第二条:业务流程设计必须遵从已发布的信息架构,在流程说明文件、操作指导书或模板类文件中体现。对于不满足要求的流程,不予发布。

第三条:应用系统设计必须遵从已发布的信息架构。在应用架构交付件和应用系统设计交付件中体现。对于不满足要求的应用系统,不予上线。

2.1.3 数据源管理政策

数据同源是华为数据治理的核心观点之一。数据源是指业务上首次正式发布某项数据的应用系统,经过数据管理专业组织认证,作为唯一数据源头被周边系统调用。本政策通过明确华为公司在数据源建设和数据源使用方面的总体原则和要求,确保数据源头的统一,以及跨流程、跨系统数据的唯一性和一致性。
(1)数据源管理原则
第一条:所有关键数据必须认证数据源。关键数据是指影响公司经营、运营报告的数据,在公司范围内统一发布。

第二条:数据管理专业组织为关键数据指定源头,数据源必须遵从信息架构和标准,经信息架构专家委员会认证后成为数据源。

第三条:所有关键数据仅能在数据源录入、修改,全流程共享,其他调用系统不能修改。下游环节发现的数据源质量问题,应当在数据源进行修正。

第四条:所有应用系统必须从数据源或数据源镜像获取关键数据。

第五条:数据Owner确保数据源的数据质量,对不符合数据质量标准的数据源,必须限期整改。

(2)数据源认证标准
数据的源头通过认证成为数据源,在遵从公司相关政策和规定的前提下,还必须符合以下标准。

第一条:数据源是在信息链上正式发布数据的第一个数据存储系统。

第二条:数据源是某项数据唯一的录入点。

第三条:数据源必须是数据维护最为及时、正确、完整的数据存储系统。

第四条:数据源所在系统的性能和可用性应当满足其他调用系统的数据访问需求。

2.1.4 数据质量管理政策

数据质量的持续提升是华为数据治理的核心目标。通过制定数据质量管理政策,明确数据在创建、维护、应用过程中的规则及质量要求,确保数据真实可靠。
(1)数据质量管理职责及要求
第一条:各数据Owner负责保障所辖数据的质量,承接公司数据Owner设定的数据质量目标,制定数据质量标准及测评指标,持续度量与改进。

第二条:公司全员在业务执行的过程中应确保业务记录满足数据质量要求。

第三条:财经各级CFO组织应遵循职业道德准则,诚实记录和报告财经数据,承担财务监控和及时报告责任。

第四条:公司各级数据管理专业组织为数据Owner提供数据质量管理专业支撑。

第五条:内控组织应将数据质量管控要素的执行情况纳入SACA(Semi-Annual Control Assessment,半年度控制评估)评估范围,推动数据质量问题的闭环管理。

第六条:内审部门作为独立机构,负责重大数据问题的审计和责任回溯。
(2)数据质量管理的业务规则和管理要求
数据创建、维护、应用是数据生命周期管理的关键活动,应遵循以下规则及要求。
第一条:流程建设应考虑数据质量要求,将数据的关键质量控制要素纳入关键控制点。

第二条:数据Owner负责基于使用要求制定数据质量标准,且须征得关键使用部门的同意。

第三条:数据创建应确保录入正确,关键数据应进行复核或审批。录入、复核和审批人员应掌握数据质量要求才能上岗。

第四条:对影响关键经营指标的数据造假行为(如伪造文档、提供与业务实质不符的信息等)采取零容忍态度。

第五条:上游环节应保证数据的真实、完整并及时传递到下游环节。下游环节为核实数据质量问题可调阅所需的上游环节的数据。

第六条:因外部原因频繁变化的基础数据(如汇率、税率等),数据Owner应及时维护并统一发布最新数据,各环节应适时刷新或引用。

第七条:数据质量应持续进行度量。数据Owner应主动解决长期影响业务运营和经营管理的数据问题。

第八条:报告与分析的层级和最小粒度应适度,能与最小业务信息单元相匹配。数据加工规则应相对稳定,报告加工过程可检视,数据可回溯、可解释。

2.2 融入变革、运营与IT的数据治理

华为公司依托变革管理体系,进行流程、数据与应用系统建设,同时持续优化运营体系。数据从业务中产生,在IT系统中落地,决定了数据治理工作必须充分融入业务运营与IT系统建设中。

2.2.1 建立管理数据流程

为了支撑企业数据资产从架构设计、质量管理到数据分析应用的全生命周期管理,需要在企业的流程架构中建立一个管理数据流程,明确数据管理的关键活动、角色,以及与周边组织的协作关系。华为将“管理数据”流程定位为“管理BT&IT”流程下的一个L2流程,下设“管理信息架构”“管理数据质量”“管理数据分析”3个子流程,如图2-2所示。
在这里插入图片描述
管理数据流程关键角色及职责设置如表2-1所示。
在这里插入图片描述

2.2.2 管理数据流程与管理变革项目、管理质量与运营之间的关系

企业在运营过程中,能力的提升和架构的调整依托于变革项目和改进项目的实施。变革项目和改进项目需要交付业务解决方案、数据解决方案、IT解决方案,其中数据解决方案包含信息架构设计、数据质量度量、改进方案和数据分析方案。支撑数据解决方案的角色为数据经理,数据经理统筹管理信息架构工程师、数据治理工程师、数据分析师和数据科学家,共同完成项目数据解决方案的交付和验证。具体的管理数据流程与管理变革项目、管理质量与运营之间的关系如图2-3所示。
在这里插入图片描述

2.2.3 通过变革体系和运营体系进行决策

在华为的数据治理实践中,数据相关的重大决议由企业变革指导委员会决策,通过变革管理体系和流程运营体系实现落地,如图2-4所示。
在这里插入图片描述
其中,信息架构的设计和变更分两层评审决策,在信息架构专家组进行专业评审,在企业架构委员会进行流程、数据与IT集成评审和争议裁决。

2.2.4 数据治理融入IT实施

业务人员通过使用IT产品提供的功能和服务提升作业效率,因此,对业务数据的管理要求,必然要落实到IT产品的操作界面和数据库设计中,这样才能落实数据治理的要求。在华为的数据治理实践中,在IT产品团队中设置系统架构师和数据架构师角色,负责界面设计、数据库设计、数据集成方案设计,向上承接信息架构的设计要求。同时,在管理IT流程的设计规范中,明确界面的字段要遵从数据标准的定义,数据库表和字段的设计要承接信息架构的设计要求,从而达到数据治理融入IT实施流程的目标。

2.2.5 通过内控体系赋能数据治理

要对华为这样的大型企业实施数据治理是件非常复杂的事情,涉及上千个业务对象、上百个变革和优化改进项目的协同,仅仅通过数据管理部门对各个项目和部门的培训、指导、人员支持,不足以确保公司的治理目标和要求有效地贯彻到位。因此,华为通过内控体系,每年实施SACA评估和数据专项内部审计,揭示数据治理过程的问题,确定改进目标和责任人,从而保证数据治理机制的有效运作。

2.3 建立业务负责制的数据管理责任体系

业务即行为,行为即记录,记录即数据。华为公司的每一个数据,必须由对应的业务部门承担管理责任,且必须有唯一的数据Owner。业务负责制的数据管理责任体系,是华为数据治理体系多年实践经验的结晶,是确保体系发挥作用的基石。

2.3.1 任命数据Owner和数据管家

华为按分层分级原则任命数据Owner,在公司层面设置公司数据Owner,在各业务领域设置领域数据Owner,这样既能确保公司数据工作统筹规划,也能同时兼顾各业务领域灵活多变的特征。
公司数据Owner是公司数据战略的制定者、数据文化的营造者、数据资产的所有者和数据争议的裁决者,拥有公司数据日常管理的最高决策权,职责如下所示。
第一条:制定数据管理体系的愿景和路标。

第二条:传播数据管理理念,营造数据文化氛围。

第三条:建设和优化数据管理体系,包括组织与任命、授权与问责等。

第四条:批准公司数据管理的政策和法规。

第五条:裁决跨领域的数据及管理争议,解决跨领域的重大数据及管理问题。

各级流程Owner就是该流程域的数据Owner,在公司数据Owner的统筹下负责所管理流程域的数据管理体系的建设和优化。各业务部门是执行规则,保证数据质量,进而推动规则优化的关键环节。通过主管机构正式任命各数据主题域和业务对象的数据Owner和数据管家,数据Owner的职责可以归纳为以下五条。

第一条:负责数据管理体系建设。数据Owner要负责所辖领域的数据管理体系建设和优化,传播数据管理理念,营造数据文化氛围。

第二条:负责信息架构建设。数据Owner要负责所辖领域的信息架构建设和维护,确保关键数据被识别、分类、定义及标准化,数据的定义在公司范围内唯一,数据标准制定要考虑跨流程要求。

第三条:负责数据质量管理。数据Owner要负责保障所辖领域的数据质量,承接公司设定的数据质量目标,制定数据质量标准及测评指标,持续度量与改进。

第四条:负责数据底座和数据服务建设。数据Owner要负责所辖领域数据入湖,建设数据服务,满足公司各个部门对本领域数据的需求。

第五条:负责数据争议裁决。数据Owner要建立数据问题回溯和奖惩机制,对所辖领域的数据问题及争议进行裁决,对不遵从信息架构或存在严重数据质量问题的责任人进行问责。

数据管家是数据Owner的助手,是数据Owner在数据管理方面的具体执行者

2.3.2 建立公司层面的数据管理组织

华为数据管理组织如图2-5所示。为支撑公司实施数据治理,华为在企业范围内建立了一个公司级数据管理部,代表公司制定数据管理相关的政策、流程、方法和支撑系统,制定公司数据管理的战略规划和年度计划并监控落实。建立并维护企业信息架构,监控数据质量,披露重大数据问题,建立专业任职资格管理体系,提升企业数据管理能力,推动企业数据文化的建立和传播。
在这里插入图片描述
为落实公司制定的数据管理目标,在各业务领域要建立实体化的数据管理专业组织,实线向GPO(各业务领域的全球流程Owner,通常是业务领域的最高主管)汇报,承接并落实GPO的数据管理责任;虚线向公司数据管理部汇报,遵从公司统一的数据管理政策、流程和规则要求。
华为虚实结合的数据组织设置,是确保数据工作能充分融入业务,同时能够在应用系统中有效落地的关键。

数据管理组织中各个组织的职责和分工如下所示。
1)体系建设者
第一条:负责数据管理的战略、规划、政策、规则的制定。
第二条:负责数据管理体系建设。
第三条:数据架构及核心数据资产管理。
第四条:确保公司数据质量水平。
2)能力中心
第一条:构建数据管理的方法、工具、平台。
第二条:负责专业能力的开发和建设,包括数据架构、数据分析、信息管理、数据质量管理。
3)业务的数据伙伴
第一条:面向业务,提供数据解决方案,解决业务数据痛点。
第二条:支撑业务数据需求。
第三条:向业务提供标准化的主数据或基础数据服务。
4)文化倡导者
第一条:在公司范围建设追求卓越、“谁创建(录入)数据,谁对数据质量负责”的文化。
第二条:用数据支撑业务决策的文化。

同时,在数据工作的不同阶段,分场景组建了不同的虚拟数据团队,如信息架构建设工作组、数据质量执行组、元数据工作组等,以保障跨领域数据工作的有序开展。

当面对数字化转型这一时代挑战时,华为建立的一整套数据治理体系,使得华为公司拥有从容面对的底气。2017年华为启动数字化转型后,也极大提升了华为的数据治理能力,在实践中形成了数据全生命周期的治理规范与方案,如图2-6所示。
在这里插入图片描述

2.4 本章小结

华为自2007年建立数据实体组织以来,走过了13年的数据治理历程。从最初的数据管理体系搭建,到目前主干业务流全场景覆盖,确保了各个业务流程产生的数据准确。华为数据治理一方面实现了业务运作效率的提升,一方面夯实了企业有效内控的基础,数据文化与价值深入人心。

这篇关于数据之道读书笔记-02建立企业级数据综合治理体系的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/376043

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X

pandas数据过滤

Pandas 数据过滤方法 Pandas 提供了多种方法来过滤数据,可以根据不同的条件进行筛选。以下是一些常见的 Pandas 数据过滤方法,结合实例进行讲解,希望能帮你快速理解。 1. 基于条件筛选行 可以使用布尔索引来根据条件过滤行。 import pandas as pd# 创建示例数据data = {'Name': ['Alice', 'Bob', 'Charlie', 'Dav

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者