【数据分层方法论】初稿

2024-03-29 17:36
文章标签 数据 分层 方法论 初稿

本文主要是介绍【数据分层方法论】初稿,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一般标准数据架构有(ODS、DWD、DWS、DIM、ADS)

一般数据构架问题:

1.架构定位与边界不清楚,导致ADS烟囱化开发;
2.ADS集市缺少统一规划、混乱低效;
3.ADS集市指标口径急需要统一;
4.缺少高质量的设计标准,模型千人千样,事后问题频发;
5.规划缺少配套的产品化工具落地保障。


解决方案

1.需求调研、2.数据域划分、3.构建总线矩阵、4.明确统计指标、5.模型设计(规范定义/明细模型设计/汇总模型设计)、6.代码开发、7.部署运营。


数据层划分

主要划分三层:应用数据层、公共数据层、操作数据层。

应用数据层: ADS(集市层)面向上层应用,按照业务划分数据,快速响应数据。目的:专注支持业务(研发效率/口径一致性/稳定性)。
在应用层可以有MDS层,抽象下沉

公共层数据: 以维度模型方法为理论基础,采用维度退化方法。目的:抽象复用提升效率(全局一致性/易用性/稳定性)。

  • DWD(明细层)
  • DWS(汇总层)
  • DIM(维表)

操作数据层:ODS层,一般指线上技术同步过来的表。目的:数据接入合规高效(接入效率/性能稳定)。


一些设计原则

贴源层设计原则:

	ODS主要统一接入,在合规基础上接入效率和性能稳定性。

公共层设计原则:

   	数据域并不是一成不变,数据域随着业务也需要迭代。公共层准入门槛是否有共性逻辑。公共层复用抽象以提高抽象。成本与效率平衡。易用性考量和提升应用层研发效率。稳定性且满足应用层时效性。

应用层设计原则

   	按集市域划分,降低各集市复杂度。扁平化设计提升稳定性降低运维成本。按需求来设计应用层,不做过度扩展设计。减少对贴源层依赖。应用层也需要进行共性抽象下沉,提升效率和口径一致性。比如造一个MDS层

这篇关于【数据分层方法论】初稿的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/859217

相关文章

使用Java解析JSON数据并提取特定字段的实现步骤(以提取mailNo为例)

《使用Java解析JSON数据并提取特定字段的实现步骤(以提取mailNo为例)》在现代软件开发中,处理JSON数据是一项非常常见的任务,无论是从API接口获取数据,还是将数据存储为JSON格式,解析... 目录1. 背景介绍1.1 jsON简介1.2 实际案例2. 准备工作2.1 环境搭建2.1.1 添加

MySQL中删除重复数据SQL的三种写法

《MySQL中删除重复数据SQL的三种写法》:本文主要介绍MySQL中删除重复数据SQL的三种写法,文中通过代码示例讲解的非常详细,对大家的学习或工作有一定的帮助,需要的朋友可以参考下... 目录方法一:使用 left join + 子查询删除重复数据(推荐)方法二:创建临时表(需分多步执行,逻辑清晰,但会

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五

详谈redis跟数据库的数据同步问题

《详谈redis跟数据库的数据同步问题》文章讨论了在Redis和数据库数据一致性问题上的解决方案,主要比较了先更新Redis缓存再更新数据库和先更新数据库再更新Redis缓存两种方案,文章指出,删除R... 目录一、Redis 数据库数据一致性的解决方案1.1、更新Redis缓存、删除Redis缓存的区别二

Redis事务与数据持久化方式

《Redis事务与数据持久化方式》该文档主要介绍了Redis事务和持久化机制,事务通过将多个命令打包执行,而持久化则通过快照(RDB)和追加式文件(AOF)两种方式将内存数据保存到磁盘,以防止数据丢失... 目录一、Redis 事务1.1 事务本质1.2 数据库事务与redis事务1.2.1 数据库事务1.

Oracle Expdp按条件导出指定表数据的方法实例

《OracleExpdp按条件导出指定表数据的方法实例》:本文主要介绍Oracle的expdp数据泵方式导出特定机构和时间范围的数据,并通过parfile文件进行条件限制和配置,文中通过代码介绍... 目录1.场景描述 2.方案分析3.实验验证 3.1 parfile文件3.2 expdp命令导出4.总结

更改docker默认数据目录的方法步骤

《更改docker默认数据目录的方法步骤》本文主要介绍了更改docker默认数据目录的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1.查看docker是否存在并停止该服务2.挂载镜像并安装rsync便于备份3.取消挂载备份和迁

不删数据还能合并磁盘? 让电脑C盘D盘合并并保留数据的技巧

《不删数据还能合并磁盘?让电脑C盘D盘合并并保留数据的技巧》在Windows操作系统中,合并C盘和D盘是一个相对复杂的任务,尤其是当你不希望删除其中的数据时,幸运的是,有几种方法可以实现这一目标且在... 在电脑生产时,制造商常为C盘分配较小的磁盘空间,以确保软件在运行过程中不会出现磁盘空间不足的问题。但在

Java如何接收并解析HL7协议数据

《Java如何接收并解析HL7协议数据》文章主要介绍了HL7协议及其在医疗行业中的应用,详细描述了如何配置环境、接收和解析数据,以及与前端进行交互的实现方法,文章还分享了使用7Edit工具进行调试的经... 目录一、前言二、正文1、环境配置2、数据接收:HL7Monitor3、数据解析:HL7Busines

Mybatis拦截器如何实现数据权限过滤

《Mybatis拦截器如何实现数据权限过滤》本文介绍了MyBatis拦截器的使用,通过实现Interceptor接口对SQL进行处理,实现数据权限过滤功能,通过在本地线程变量中存储数据权限相关信息,并... 目录背景基础知识MyBATis 拦截器介绍代码实战总结背景现在的项目负责人去年年底离职,导致前期规