本文主要是介绍【数据分层方法论】初稿,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
一般标准数据架构有(ODS、DWD、DWS、DIM、ADS)
一般数据构架问题:
1.架构定位与边界不清楚,导致ADS烟囱化开发;
2.ADS集市缺少统一规划、混乱低效;
3.ADS集市指标口径急需要统一;
4.缺少高质量的设计标准,模型千人千样,事后问题频发;
5.规划缺少配套的产品化工具落地保障。
解决方案
1.需求调研、2.数据域划分、3.构建总线矩阵、4.明确统计指标、5.模型设计(规范定义/明细模型设计/汇总模型设计)、6.代码开发、7.部署运营。
数据层划分
主要划分三层:应用数据层、公共数据层、操作数据层。
应用数据层: ADS(集市层)面向上层应用,按照业务划分数据,快速响应数据。目的:专注支持业务(研发效率/口径一致性/稳定性)。
在应用层可以有MDS层,抽象下沉
公共层数据: 以维度模型方法为理论基础,采用维度退化方法。目的:抽象复用提升效率(全局一致性/易用性/稳定性)。
- DWD(明细层)
- DWS(汇总层)
- DIM(维表)
操作数据层:ODS层,一般指线上技术同步过来的表。目的:数据接入合规高效(接入效率/性能稳定)。
一些设计原则
贴源层设计原则:
ODS主要统一接入,在合规基础上接入效率和性能稳定性。
公共层设计原则:
数据域并不是一成不变,数据域随着业务也需要迭代。公共层准入门槛是否有共性逻辑。公共层复用抽象以提高抽象。成本与效率平衡。易用性考量和提升应用层研发效率。稳定性且满足应用层时效性。
应用层设计原则
按集市域划分,降低各集市复杂度。扁平化设计提升稳定性降低运维成本。按需求来设计应用层,不做过度扩展设计。减少对贴源层依赖。应用层也需要进行共性抽象下沉,提升效率和口径一致性。比如造一个MDS层
这篇关于【数据分层方法论】初稿的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!