数据仓库结构设计与实施-拆书稿(维度建模理论)

2023-10-04 08:50

本文主要是介绍数据仓库结构设计与实施-拆书稿(维度建模理论),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

拆书稿-数据仓库结构设计与实施

在这里插入图片描述

本篇文章内容目录

第一部分:数据仓库总体结构(原书第二章)
1 金字塔结构
2 元数据与模型
3 映像
4 数据仓库三要素
5 多维总计方阵
6 方阵和数据集市的区别
第二部分:数据仓库设计与应用开发(原书第五章)
数据仓库层次结构
数据仓库概念设计
数据仓库逻辑设计
数据仓库物理设计
正文开始
第一部分:数据仓库总体结构(原书第二章)
1 金字塔结构

金字塔从底层向上,体现出强大的收敛与聚合功能,层面越高越能高度地概括更丰富、更有意义的信息;层面越低,数据体量越大,细节程度越高,信息越具体。每个层面相互依托又互相关联。
在这里插入图片描述
数据仓库的金字塔结构和层次1
在这里插入图片描述
数据仓库的金字塔结构和层次2
在这里插入图片描述

数据仓库结构生态图

在这里插入图片描述
其中上图中有一个概念叫:过渡区,它为什么存在?并且有什么存在的价值?
① 为什么存在?

  • 提前可以做数据预处理
    来自数据源的数据在到达数据仓库之前,需要经过一些中间处理过程,而ETL常常是批量执行,是一些通用任务,无法完成定制化个性统计需求。而在数据源到数据仓库中间建立过渡区,可以针对特定数据进行预处理。例如:过滤空值、过滤多余字段、进行数据类型转换等等。

② 存在的价值?

  • 第一、数据源和数据仓库进行隔离
  • 第二、过渡区可作为数据接收切面,接纳不同数据源,数据仓库只需要从过度区获取数据。架构清晰
  • 第三、过度区可以在数据允许的条件下提供数据支持,减少数据源数据提取的压力。
2 元数据与模型

分类:元数据主要有两种类型的模型

  • 数据模型
  • 应用模型

元数据定义: 说明数据的数据。像数据库中的数据字典,或者数据表与表之间的关系。
作用:用于描述从操作型系统到分析型系统的映射,描述数据源、数据更新、总计数据的算法和数据提取的频率。
模型的建立流程: 概念模型 、逻辑模型、物理模型

3 映像

映像是一系列结构化处理过程,能够引导数据从一个或者多个源系统到达目标系统。在这一过程当中存在一系列必要的转换处理。
映像包括:

  • 源定义
  • 目标定义
  • 转换定义

在转换过程中就可以添加数据预处理,过滤多余数据项,也可以完成数据转换映射。
个人理解:在此过程中,通过此元数据管理,可以做一部分的规范化处理。例如: 源表和目标表的格式规范化(统一格式:数据库模式名_表名),完成转换后输出的数据集命名规范,转换过程中数据集的分隔符规范等等。

数据映像从数据源到目标
在这里插入图片描述

4 数据仓库三要素

在这里插入图片描述

5 多维总计方阵

是从数据仓库的事实表和有关维表中通过汇总、运算处理产生出来的综合数据,从结构和形式上更接近于最终用户对管理决策支持分析的要求,是为用户提供的具有多维数据查询和分析能力的视图。
在这里插入图片描述
创建方阵是将综合信息带给用户的必经之路,通过预先费时的计算和链接操作而生成的完好方阵系列,而不是在联机执行时间临时处理。方阵的存在大大减少了访问时间和复杂性,也降低了成本。

方阵的类型

  • 多维联机分析处理方阵
  • 虚拟方阵
  • 奠基石式方阵–基础方阵
  • 嵌入式方阵
  • 稀疏方阵
6 方阵和数据集市的区别

数据集市

  1. 数据集市是按照需求定制化建立的,代表的数据价值只局限于需求的边界范围内。
  2. 针对性较强,可能在市场,营销,账务等业务线的数据集市都是不同的。不可重用,没有灵活性。并且容易产生数据孤岛,数据价值表现的很局限。
  3. 数据集市的种类统计粒度可能不同,不利于数据分析

从上面定义可知,数据集市的统计边界更小一点,可能只是针对某个业务线,某个部门。而方阵是基于整个数据仓库,通过整个数据仓库的相关表来进行统计汇总。

第二部分:数据仓库设计与应用开发(原书第五章)
数据仓库层次结构

在这里插入图片描述

数据仓库概念设计

概念模型是建立模型的初始阶段,主要描述与业务有关的重要实体以及相互之间的关系。
该阶段主要是确定系统建模的边界和范围。和行业经验和业务流程息息相关,在建模范围内,确定实体有哪些,梳理实体间的关系
具体方法可以参照5W1H: who、what、when、where、why、how
结果:实体关系图(不需要添加实体的属性)

数据仓库逻辑设计

梳理业务规则,对概念模型做进一步细化
确定实体的详细属性,实体间关系以及是否存在关系约束

数据仓库物理设计

从性能、访问、开发等多个方面考虑,做系统的实现。
该阶段完成:

  1. 类型长度的定义
  2. 字段的其他详细定义: 飞空,默认值
  3. 约束的定义: 主键,外键

这篇关于数据仓库结构设计与实施-拆书稿(维度建模理论)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1736

相关文章

2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题

题库来源:安全生产模拟考试一点通公众号小程序 2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题是由安全生产模拟考试一点通提供,流动式起重机司机证模拟考试题库是根据流动式起重机司机最新版教材,流动式起重机司机大纲整理而成(含2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题参考答案和部分工种参考解析),掌握本资料和学校方法,考试容易。流动式起重机司机考试技

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

基于UE5和ROS2的激光雷达+深度RGBD相机小车的仿真指南(五):Blender锥桶建模

前言 本系列教程旨在使用UE5配置一个具备激光雷达+深度摄像机的仿真小车,并使用通过跨平台的方式进行ROS2和UE5仿真的通讯,达到小车自主导航的目的。本教程默认有ROS2导航及其gazebo仿真相关方面基础,Nav2相关的学习教程可以参考本人的其他博客Nav2代价地图实现和原理–Nav2源码解读之CostMap2D(上)-CSDN博客往期教程: 第一期:基于UE5和ROS2的激光雷达+深度RG

数学建模笔记—— 非线性规划

数学建模笔记—— 非线性规划 非线性规划1. 模型原理1.1 非线性规划的标准型1.2 非线性规划求解的Matlab函数 2. 典型例题3. matlab代码求解3.1 例1 一个简单示例3.2 例2 选址问题1. 第一问 线性规划2. 第二问 非线性规划 非线性规划 非线性规划是一种求解目标函数或约束条件中有一个或几个非线性函数的最优化问题的方法。运筹学的一个重要分支。2

OCC开发_变高箱梁全桥建模

概述     上一篇文章《OCC开发_箱梁梁体建模》中详细介绍了箱梁梁体建模的过程。但是,对于实际桥梁,截面可能存在高度、腹板厚度、顶底板厚度变化,全桥的结构中心线存在平曲线和竖曲线。针对实际情况,通过一个截面拉伸来实现全桥建模显然不可能。因此,针对变高箱梁,本文新的思路来实现全桥建模。 思路 上一篇文章通过一个截面拉伸生成几何体的方式行不通,我们可以通过不同面来形成棱柱的方式实现。具体步骤

一些数学经验总结——关于将原一元二次函数增加一些限制条件后最优结果的对比(主要针对公平关切相关的建模)

1.没有分段的情况 原函数为一元二次凹函数(开口向下),如下: 因为要使得其存在正解,必须满足,那么。 上述函数的最优结果为:,。 对应的mathematica代码如下: Clear["Global`*"]f0[x_, a_, b_, c_, d_] := (a*x - b)*(d - c*x);(*(b c+a d)/(2 a c)*)Maximize[{f0[x, a, b,

2024年高教社杯数学建模国赛最后一步——结果检验-事关最终奖项

2024年国赛已经来到了最后一天,有必要去给大家讲解一下,我们不需要过多的去关注模型的结果,因为模型的结果的分值设定项最多不到20分。但是如果大家真的非常关注的话,那有必要给大家讲解一下论文结果相关的问题。很多的论文,上至国赛优秀论文下至不获奖的论文并不是所有的论文都可以进行完整的复现求解,大部分数模论文都为存在一个灰色地带。         白色地带即认为所有的代码均可运行、公开

数据集 3DPW-开源户外三维人体建模-姿态估计-人体关键点-人体mesh建模 >> DataBall

3DPW 3DPW-开源户外三维人体建模数据集-姿态估计-人体关键点-人体mesh建模 开源户外三维人体数据集 @inproceedings{vonMarcard2018, title = {Recovering Accurate 3D Human Pose in The Wild Using IMUs and a Moving Camera}, author = {von Marc

Rhinoceros 8 for Mac/Win:重塑三维建模边界的革新之作

Rhinoceros 8(简称Rhino 8),作为一款由Robert McNeel & Assoc公司开发的顶尖三维建模软件,无论是对于Mac还是Windows用户而言,都是一款不可多得的高效工具。Rhino 8以其强大的功能、广泛的应用领域以及卓越的性能,在建筑设计、工业设计、产品设计、三维动画制作、科学研究及机械设计等多个领域展现出了非凡的实力。 强大的建模能力 Rhino 8支持多种建

2024 年高教社杯全国大学生数学建模竞赛题目——2024 年高教社杯全国大学生数学建模竞赛题目的求解

2024 年高教社杯全国大学生数学建模竞赛题目 (请先阅读“ 全国大学生数学建模竞赛论文格式规范 ”) 2024 年高教社杯全国大学生数学建模竞赛题目 随着城市化进程的加快、机动车的快速普及, 以及人们活动范围的不断扩大,城市道 路交通拥堵问题日渐严重,即使在一些非中心城市,道路交通拥堵问题也成为影响地方经 济发展和百姓幸福感的一个“痛点”,是相关部门的棘手难题之一。 考虑一个拥有知名景区