DAMA数据管理知识体系(第4章 数据架构)

2024-09-04 01:44

本文主要是介绍DAMA数据管理知识体系(第4章 数据架构),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  • 课本内容
    • 4.1 引言
      • 概要
        • 数据架构考虑方面
          • 数据架构成果,包括不同层级的模型、定义、数据流,这些通常被称为数据架构的构件
          • 数据架构活动,用于形成、部署和实现数据架构的目标
          • 数据架构行为,包括影响企业数据架构的不同角色之间的协作、思维方式和技能
        • 最为详细的数据架构设计文件是正式的企业数据模型,包含数据名称、数据属性和元数据定义、概念和逻辑实体、关系以及业务规则。物理数据模型也属于数据架构文件,但物理数据模型是数据建模和设计的产物,而不是数据架构的产物。
        • 企业数据架构是实现整个企业数据标准一致及数据整合的保证
      • 业务驱动因素
        • 数据架构的目标是在业务战略和技术实现之间建立起一座通畅的桥 梁,数据架构是企业架构中的一部分
          • 1)利用新兴技术所带来的业务优势,从战略上帮助组织快速改变产品、服务和数据。2)将业务需求转换为数据和应用需求,以确保能够为业务流程处理提供有效数据。3)管理复杂数据和信息,并传递至整个企业。4)确保业务和IT技术保持一致。5)为企业改革、转型和提高适应性提供支撑。
      • 数据架构的主要成果包括
        • 1)数据存储和处理需求。2)设计满足企业当前和长期数据需求的结构和规划
        • 数据架构语境关系图
          • 数据架构
        • 数据架构师需要定义和维护的具体事宜如下
          • 1)定义组织中数据的当前状态。2)提供数据和组件的标准业务词汇。3)确保数据架构和企业战略及业务架构保持一致。4)描述组织数据战略需求。5)高阶数据整合概要设计。6)整合企业数据架构蓝图。
      • 基本概念
        • 企业架构类型
          • 企业架构类型
            • 表4-1 企业架构类型
        • 企业架构框架
          • IEEE计算机协会维护的企业架构框架标准是ISO/IEC/IEEE 42010: 2011
          • 不同视角
            • 1)高管视角(业务背景)。定义不同模型范围的业务元素目录。 2)业务管理视角(业务概念)。明确管理层在定义的业务模型中 所涉及的不同业务概念之间的关系。 3)架构师视角(业务逻辑)。作为模型设计的架构师细化系统需 求,设计系统逻辑模型。 4)工程师视角(业务实体)。作为具体模型建造者的工程师,在 特定技术、人员、成本和时间限制内,优化和实施为具体应用设计的物 理模型。 5)技术人员视角(组件程序集)。采用特定技术、脱离上下文语 境的视角,来解释配置模型的技术人员如何使用、组装和实施配置组 件。 6)用户视角(操作类)。参与人员所使用的实际功能实例。该视 角没有模型。
        • 企业数据架构
          • 企业数据架构的设计中包括业务数据描述,如数据的收集、存储、整合、移动和分布。
          • 企业数据架构描述必须包括企业数据模型(如数据结构和数据规范)和数据流设计
            • 企业数据模型
              • 企业数据模型是一个整体的、企业级的、独立实施的概念或逻辑数据模型,为企业提供通用的、一致的数据视图。
              • 企业数据模型包括通用的(企业范围的概念和逻辑模型)和特定于应用或具体项目的数据模型及其定义、规范、映射和业务规则
              • 图4-3 企业数据模型
                • 每个企业数据模型既可以采用自上而下,也可以采用自下而上的方法进行构建。自上而下是从主题域开始,先设计主题,再逐步设计下层模型。而采用自下而上的方法时,主题域结构则是基于现有逻辑数据模型向上提炼抽象而成。通常推荐两种方法相结合,即自下而上地从分析现有模型开始,自上而下地设计主题模型,通过两种方法的结合来共同完成企业数据模型的设计工作。
            • 数据流设计
              • 定义数据库、应用、平台和网络(组件)之间的需求和主蓝图。这些数据流展示了数据在业务流程、不同存储位置、业务角色和技术组件间的流动。
              • 数据流是一种记录数据血缘的数据加工过程,用于描述数据如何在业务流程和系统中流动
                • 数据流映射记录了数据与以下内容的联系:1)业务流程中的应用。2)某个环境中的数据存储或数据库。3)网段(有助于安全映射)。4)业务角色(描述哪些角色有职责创建、更新和删除数据)。5)出现局部差异的位置。
                • 数据流可以用于描述不同层级模型的映射关系:主题域、业务实体,乃至属性层面的映射关系
              • 矩阵形式
                • 图4-5 矩阵形式描述的数据流
              • 数据流形式
                • 图4-6 数据流示例
            • 总结
              • 这两个模型都需要反映当前状态和目标状态(架构视角)及过渡状态(项目视角)
    • 4.2 活动
      • 建立企业数据架构
        • 概要
          • 简化数据和企业架构所面临的复杂问题,基于面向质量和面向创新
        • 企业数据架构也会影响项目和系统开发的范围边界
          • 定义项目数据需求
          • 审评项目数据设计
          • 确定数据溯源影响
          • 数据复制控制
            • 数据架构治理 能保证充分的复制控制(方法和机制)来达到所需的一致性
          • 实施数据架构标准
          • 指导数据技术和更新决策
        • 实施步骤
          • 现有数据架构规范评估
          • 开发路线图
            • 业务数据驱动路线图可以从最独立的业务能力开始(如对其他业务能力依赖最小),再处理相互依赖程度较高的业务能力。按照顺序处理每个业务能力,需要遵循整体业务数据生成顺序。图4-7是一个业务能力数据依赖链的例子,顶部模块依赖最底部模块。产品管理和客户管理不依赖任何模块,因此属于主数据。依赖度最高的模块位于底部,客户发票管理依赖客户管理和销售订单管理,而销售订单管理也依赖另外两个管理模块。
              • 图4-7 业务能力的数据依赖
          • 在项目中管理企业需求
            • 架构不应该受开发时间的限制
            • 数据架构师应该决定
              • 1)规范中所描述实体是否符合标准。2)在需求中,哪些实体应该被包括在整体企业数据架构中。3)规范中的实体和定义是否需要扩大或加深以满足将来的趋势。4)是否更新了数据架构或者是否向开发人员指出了哪些可以重用。
        • 企业数据架构项目相关的活动包括
          • 定义范围
          • 理解业务需求
          • 设计
          • 实施
            • 软件开发过程
              • 瀑布方式
              • 迭代方式
              • 敏捷方式
      • 整合其他企业架构
    • 4.3 工具
      • 数据建模工具
      • 资产管理软件
        • 资产管理软件用于管理数据资源目录,描述其内容以及跟踪它们之间的关系
      • 图形设计应用
        • 图形设计应用可以用于创建架构设计图形、数据流、数据价值链和其他架构构件
    • 4.4 方法
      • 生命周期预测
      • 图标使用规范
    • 4.5 实施指南
      • 概要
        • 数据架构包括构件、活动和行为
        • 数据架构的主要工作内容
          • 建立企业数据架构团队和举办问题讨论会
          • 生成数据架构构件的初始版本。例如,企业数据模型、企业范围数据流和路线图
          • 在开发项目中,形成和建立数据架构工作方式
          • 提高组织对数据架构工作价值的认识
      • 就绪评估和风险评估
        • 风险
          • 缺少管理层支持
          • 成功与否缺乏证据
          • 缺乏管理者的信任
          • 管理层不正确的决策
          • 文化冲击
          • 缺乏有经验的项目经理
          • 单一维度视角
      • 组织和文化
        • 一个组织接受并实施数据架构的能力依赖于以下几个方面
          • 1)对架构方法的接受度(开发架构的友好性)。2)确认数据属于组织的业务资产,而不仅仅是IT的任务。3)放弃局部数据视角,接受企业级数据视角的能力。4)将架构交付成果整合到项目实施中的能力。5)规范数据治理的接受程度。6)立足企业全局,而不是仅仅局限于项目交付成果和IT解决问题的能力(Edvinsson,2013)。
    • 4.6 数据架构治理
      • 数据架构治理活动
        • 项目监督
        • 管理架构设计、生命周期和工具
        • 定义标准
        • 创建数据相关构件
      • 度量指标
        • 架构标准接受率
        • 实施趋势
          • 使用/重用/代替/废弃测量
          • 项目执行效率测量
        • 业务价值
          • 业务敏捷性改进
          • 业务质量
          • 业务操作质量
          • 业务环境改进
  • 考察分值&知识点
    • 考察分值
      • 10分
    • 考察知识点
      • 引言
        • 企业架构的基本组成部分
        • 企业数据模型组成部分
        • 企业数据架构的理解
        • 数据架构构件的组成
        • 企业数据模型的理解
        • 数据流映射记录了数据与以下内容的联系
        • 语境关系图-目标
      • 活动
        • 企业数据架构项目相关活动
      • 工具
      • 方法
        • 图标使用规范
      • 实施指南
        • 数据架构的主要工作内容
      • 数据架构治理
        • 数据架构治理活动

度量指标

这篇关于DAMA数据管理知识体系(第4章 数据架构)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1134645

相关文章

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

sqlite3 相关知识

WAL 模式 VS 回滚模式 特性WAL 模式回滚模式(Rollback Journal)定义使用写前日志来记录变更。使用回滚日志来记录事务的所有修改。特点更高的并发性和性能;支持多读者和单写者。支持安全的事务回滚,但并发性较低。性能写入性能更好,尤其是读多写少的场景。写操作会造成较大的性能开销,尤其是在事务开始时。写入流程数据首先写入 WAL 文件,然后才从 WAL 刷新到主数据库。数据在开始