企业级宽表建设

2024-06-01 21:52
文章标签 建设 企业级 宽表

本文主要是介绍企业级宽表建设,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1 宽表概述

宽表,从字面意义上讲就是字段比较多的数据库表,通常情况下是讲很多相关的数据,包括实时表、维度表、指标等格言录在一起形成的一张数据表。

2 宽表的优点

2.1 开发效率提升

  • 由于把不同的信息放在同一张表存储,宽表已经不符合范式设计,当然数仓里也不强调范式设计,随之带来的就是数据的大量冗余,与之对应的好处就是查询新能的提高与便捷,从而带来开发效率的提高。

2.2 数据质量稳定

  • 宽表沉淀后,其数据准确性在经历了时间的校验后,逻错误的可能性很小,基于宽表的开发可以一定程度的规避对业务理解不透彻或者是书写的逻辑不正确,减少数据质量问题的发生

2.3 指标口径统一

  • 宽表的设计带有核心逻辑下沉的倾向,假设报表都是基于底层宽表产出,那么报表上的指标天然是一致的,从数据可解释角度,能够天然免去业务之于数据准确性的挑战。

3 宽表的缺点

3.1 性能不高

  • 宽表的计算逻辑往往很复杂,再加上宽表的数据输入是有大量依赖的,也就是说需要处理的数据量很大,导致宽表往往运行很慢,资源占用很多,尤其是重跑的时候。

3.2 稳定性不高

  • 短板理论提出:系统的稳定性取决于最差的一个环节,宽表的稳定性也是很差的,主要是因为宽表依赖太多,每一个表的不稳定性都会传到宽表。
  • 如果性能不高和稳定性不高同时作用在一起,其实是很致命的,例如你发现报表数据有问题,但是重跑需要几个小时。

3.3 开发难度大&维护成本高

  • 虽说基于宽表做报表开发才是正确的姿势,但是宽表本身的逻辑往往很复杂、设计的业务逻辑繁多,所以后带来较大的开发难度和维护成本,想想下每次需要再几千航的SQL里面加逻辑!

4 如何设计宽表

4.1 不稳定与稳定分离

  • 对于依赖外部大表补维度,导致计算经常延迟的case,可以考虑关联后推,即在报表层面做关联,这样即使维度出不来,报表数据还是可以看的,从而弱化宽表对不稳定的外部依赖的耦合。

4.2 主次分类

  • 宽表往往会存储冗余信息,但是当这样的信息越来越多的时候,宽表的主题也就越来越弱,此时就需要做拆分,从而更加聚焦表的主题、也便于开发维护。

4.3 冷热分离

假设一张宽表里面有200个字段,有30张报表在使用它,但是只有前面150个字段被经常使用,后面50个字段只有一两张报表使用到了,那么就可以做冷热分离,将宽表拆分。

这篇关于企业级宽表建设的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1022204

相关文章

【信创建设】信息系统信创建设整体技方案(word原件完整版)

信创,即“信息技术应用创新”。我国自主信息产业聚焦信息技术应用创新,旨在通过对IT硬件、软件等各个环节的重构,基于我国自有IT底层架构和标准,形成自有开放生态,从根本上解决本质安全问题,实现信息技术可掌控、可研究、可发展、可生产。信创发展是一项国家战略,也是当今形势下国家经济发展的新功能。信创产业发展已经成为各行各业数字化转型、提升产业链发展的关键。 软件全套资料部分文档清单: 工作安排任

模具要不要建设3D打印中心

随着3D打印技术的日益成熟与广泛应用,模具企业迎来了自建3D打印中心的热潮。这一举措不仅为企业带来了前所未有的发展机遇,同时也伴随着一系列需要克服的挑战,如何看待企业引进增材制造,小编为您全面分析。 机遇篇: 加速产品创新:3D打印技术如同一把钥匙,为模具企业解锁了快速迭代产品设计的可能。企业能够迅速将创意转化为实体模型,缩短产品从设计到市场的周期,抢占市场先机。 强化定制化服务:面

《语文建设》

语文建设栏目设置 新理念、新教材(教材研究、新课文、教学设计)、新课程新课堂(案例、教学短讯、综合性学习、创新瞬间)、更新知识(国外语文教育、美文共赏、课文新解、咬文嚼字、语言规范与应用、语言新观察、评价与考试。 语文建设编辑部/杂志社投稿须知 1、文章标题简短,能概括中心思想,一般不超过20个汉字,必要时加副标题 2、题目下面均应写作者姓名,姓名下面写单位名称、所在城市、邮编,不同单位的多位作者

企业级镜像仓库Harbor安装

企业级镜像仓库Harbor安装 1. Harbor概述2. Harbor部署2.1. Harbor安装方式2.2. Harbor安装前环境准备2.3. Harbor下载2.4. Harbor安装 3. 基本使用4. 问题处理Harbor修改配置文件后如何生效? 1. Harbor概述 Habor是有VMWare公司开源的容器镜像仓库。事实上,Harbor是在Docker Reg

天翼云存储资源盘活系统 HBlock:企业级轻量存储的革新与实战

目录 前言关于HBlock系统HBlock的核心优势番外篇:HBlock应用场景结束语参考文献 前言 在数字化转型的浪潮中,数据存储作为支撑企业业务连续性和数据安全的基石,企业对于存储资源的需求日益增长,同时也面临着成本控制和资源优化的双重挑战,尤其是近两年行业整合和技术圈被AI的颠覆性影响双重影响下,持续性降本增效成为企业的首要任务。由于这些原因的影响,天翼云推出的HBlock存储资源盘

【网络安全 | 甲方建设】SaaS平台、Jira工具及Jenkins服务器

原创文章,不得转载。 文章目录 SaaS平台友好性 Jira友好性 Jenkins友好性 SaaS平台 SaaS,全称为 “Software as a Service”(软件即服务),是一种基于云计算的软件交付模型。在这种模型中,软件不需要用户在本地安装和维护,而是通过互联网访问和使用。软件通常由服务提供商托管,用户只需通过浏览器或轻量级客户端连接到远程服务器即可使用

【网络安全 | 甲方建设】开发、测试、部署关键词详解

原创文章,不得转载。 文章目录 需求与开发原生需求重构新增服务调用 测试与覆盖率单元测试增量代码单测UT覆盖率CR前覆盖率APP回归测试回归测试自动化冒烟 部署与环境Stable环境部署待部署服务名称代码分支待部署代码分支PR链接灰度发布蓝绿发布Canary发布热修复(Hotfix)Mock环境Redis非Cluster模式Nacos变更 持续集成与交付持续集成(CI)持续交付(C

只需五步,三分钟极速部署企业级大数据平台服务

著名的 O’Reilly 公司断言:「数据是下一个 ‘Intel Inside’ ,未来属于利用数据并将其转换成产品的公司和人们。」 大数据隐含的巨大社会、经济价值已经引起了越来越多企业的关注,为了让用户获得更便捷、灵活、高效的大数据解决方案,减少海量数据分析、处理、查询的延迟,青云QingCloud 基于 SparkMR 推出新一代可提供计算、存储、分析、查询一站式全方位的大数据服务 Qi

【自然语言处理 词库建设】怎样将搜狗的细胞词库scel格式转化成txt格式

搜狗词库:https://pinyin.sogou.com/dict/ 1、先下载搜狗词库到本地,文件格式为.scel后缀 2、利用python3 自动转换成txt python3版本: # -*- coding:utf-8 -*-import structimport os# 由于原代码不适用python3且有大量bug# 以及有函数没有必要使用且一些代码书写不太规范或冗余#在原有

199页Word智慧水务平台建设方案

业务需求分析 3.1 主要业务描述 (1)调度中心主要业务描述 配套工程调度中心为一级调度机构,同时也是水务集团原水供水的统一调度中心。 调度中心是配套工程全线水量调度的总负责单位,负责全线供水计划和调度计划的制定、工程技术管理、运行管理、水量监控、工程安全监测、水质监测、工程防洪、信息化系统管理、财务与资产管理、水费征收等。调度中心可对各现地站机电设备实现远程监控。 (2)分调中心主要