【数据分层方法论】初稿

2024-03-29 17:36
文章标签 数据 分层 方法论 初稿

本文主要是介绍【数据分层方法论】初稿,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一般标准数据架构有(ODS、DWD、DWS、DIM、ADS)

一般数据构架问题:

1.架构定位与边界不清楚,导致ADS烟囱化开发;
2.ADS集市缺少统一规划、混乱低效;
3.ADS集市指标口径急需要统一;
4.缺少高质量的设计标准,模型千人千样,事后问题频发;
5.规划缺少配套的产品化工具落地保障。


解决方案

1.需求调研、2.数据域划分、3.构建总线矩阵、4.明确统计指标、5.模型设计(规范定义/明细模型设计/汇总模型设计)、6.代码开发、7.部署运营。


数据层划分

主要划分三层:应用数据层、公共数据层、操作数据层。

应用数据层: ADS(集市层)面向上层应用,按照业务划分数据,快速响应数据。目的:专注支持业务(研发效率/口径一致性/稳定性)。
在应用层可以有MDS层,抽象下沉

公共层数据: 以维度模型方法为理论基础,采用维度退化方法。目的:抽象复用提升效率(全局一致性/易用性/稳定性)。

  • DWD(明细层)
  • DWS(汇总层)
  • DIM(维表)

操作数据层:ODS层,一般指线上技术同步过来的表。目的:数据接入合规高效(接入效率/性能稳定)。


一些设计原则

贴源层设计原则:

	ODS主要统一接入,在合规基础上接入效率和性能稳定性。

公共层设计原则:

   	数据域并不是一成不变,数据域随着业务也需要迭代。公共层准入门槛是否有共性逻辑。公共层复用抽象以提高抽象。成本与效率平衡。易用性考量和提升应用层研发效率。稳定性且满足应用层时效性。

应用层设计原则

   	按集市域划分,降低各集市复杂度。扁平化设计提升稳定性降低运维成本。按需求来设计应用层,不做过度扩展设计。减少对贴源层依赖。应用层也需要进行共性抽象下沉,提升效率和口径一致性。比如造一个MDS层

这篇关于【数据分层方法论】初稿的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/859217

相关文章

大数据spark3.5安装部署之local模式详解

《大数据spark3.5安装部署之local模式详解》本文介绍了如何在本地模式下安装和配置Spark,并展示了如何使用SparkShell进行基本的数据处理操作,同时,还介绍了如何通过Spark-su... 目录下载上传解压配置jdk解压配置环境变量启动查看交互操作命令行提交应用spark,一个数据处理框架

通过ibd文件恢复MySql数据的操作方法

《通过ibd文件恢复MySql数据的操作方法》文章介绍通过.ibd文件恢复MySQL数据的过程,包括知道表结构和不知道表结构两种情况,对于知道表结构的情况,可以直接将.ibd文件复制到新的数据库目录并... 目录第一种情况:知道表结构第二种情况:不知道表结构总结今天干了一件大事,安装1Panel导致原来服务

Jmeter如何向数据库批量插入数据

《Jmeter如何向数据库批量插入数据》:本文主要介绍Jmeter如何向数据库批量插入数据方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Jmeter向数据库批量插入数据Jmeter向mysql数据库中插入数据的入门操作接下来做一下各个元件的配置总结Jmete

MySQL InnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据

《MySQLInnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据》mysql的ibdata文件被误删、被恶意修改,没有从库和备份数据的情况下的数据恢复,不能保证数据库所有表数据... 参考:mysql Innodb表空间卸载、迁移、装载的使用方法注意!此方法只适用于innodb_fi

mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据

《mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据》文章主要介绍了如何从.frm和.ibd文件恢复MySQLInnoDB表结构和数据,需要的朋友可以参... 目录一、恢复表结构二、恢复表数据补充方法一、恢复表结构(从 .frm 文件)方法 1:使用 mysq

mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespace id不一致处理

《mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespaceid不一致处理》文章描述了公司服务器断电后数据库故障的过程,作者通过查看错误日志、重新初始化数据目录、恢复备... 周末突然接到一位一年多没联系的妹妹打来电话,“刘哥,快来救救我”,我脑海瞬间冒出妙瓦底,电信火苲马扁.

golang获取prometheus数据(prometheus/client_golang包)

《golang获取prometheus数据(prometheus/client_golang包)》本文主要介绍了使用Go语言的prometheus/client_golang包来获取Prometheu... 目录1. 创建链接1.1 语法1.2 完整示例2. 简单查询2.1 语法2.2 完整示例3. 范围值

javaScript在表单提交时获取表单数据的示例代码

《javaScript在表单提交时获取表单数据的示例代码》本文介绍了五种在JavaScript中获取表单数据的方法:使用FormData对象、手动提取表单数据、使用querySelector获取单个字... 方法 1:使用 FormData 对象FormData 是一个方便的内置对象,用于获取表单中的键值

Rust中的BoxT之堆上的数据与递归类型详解

《Rust中的BoxT之堆上的数据与递归类型详解》本文介绍了Rust中的BoxT类型,包括其在堆与栈之间的内存分配,性能优势,以及如何利用BoxT来实现递归类型和处理大小未知类型,通过BoxT,Rus... 目录1. Box<T> 的基础知识1.1 堆与栈的分工1.2 性能优势2.1 递归类型的问题2.2

Python使用Pandas对比两列数据取最大值的五种方法

《Python使用Pandas对比两列数据取最大值的五种方法》本文主要介绍使用Pandas对比两列数据取最大值的五种方法,包括使用max方法、apply方法结合lambda函数、函数、clip方法、w... 目录引言一、使用max方法二、使用apply方法结合lambda函数三、使用np.maximum函数