一、商业BI系统概述 商业智能系统，通常简称为商业智能系统，是商业智能软件的简称，是为提高企业经营绩效而采用的一系列方法、技术和软件的总和。通常被理解为将企业中的现有数据转换为知识并帮助企业做出明智的业务决策的工具。 BI系统中的数据来自企业的其他业务系统。例如，一个面向业务的企业，其业务智能系统数据包括业务系统订单、库存、交易账户、客户和供应商信息，以及企业所属行业和竞争对手的数据，以及其他

1.支付事实表（事务型事实表）  1）建表语句 hive (gmall)> drop table if exists dwd_fact_payment_info; create external table dwd_fact_payment_info ( `id` string COMMENT 'id', `out_trade_no` strin

业务数据方面 DWD 层的搭建主要注意点在于维度建模，减少后续大量 Join 操作。 1. 商品维度表（全量） 商品维度表主要是将商品表 SKU 表、商品一级分类、商品二级分类、商品三级分类、 商品品牌表和商品 SPU 表联接为商品表。 1 ）建表语句 hive (gmall)> DROP TABLE IF EXI

目录 1.创建主程序——DwdOrderRelevantApp类 2.创建DWD层的事实表——来源于订单表和订单明细表 (1)创建订单表实体类 (2)创建订单明细表实体类 (3)创建交易域：下单事务事实表实体类，并整合(1)与(2)，采用下单时间 (4)创建交易域：支付成功事务事实表实体类，并整合(1)与(2)，采用支付时间和支付状态 (5)创建物流域：揽收（接单）事务事实表实体类，

ods层 主要在ods干的事，就是根据需求将所需要的表的数据从mysql中导入到ods层中，所以需要在hive中建立ods层的表，并且在导入的时候需要根据需求过滤一下空数据，并在建表时加入一个dt字段记录导入的时间 ods层建表语句 1，edu_ods层建立ods_customer_relationshipdrop table edu_ods.ods_customer_relationsh

文章目录 一 CDC简介1 什么是CDC2 CDC的种类3 Flink-CDC 二 准备业务数据-DWD层1 主要任务（1）接收Kafka数据，过滤空值数据（2）实现动态分流功能（3）把分好的流保存到对应表、主题中 2 接收Kafka数据，过滤空值数据（1）代码（2）测试 3 根据MySQL的配置表，进行动态分流（1）准备工作a 引入pom.xml 依赖b 在Mysql中创建数据库c 在gm

1数仓整体说明 什么数仓：一个面向分析的，反映历史变化的数据仓库； 数仓的技术手段： 1)传统数仓一般都是采用关系型数据库软件； 2)大数据领域中则尚无一站式解决方案，通常需要用到很多技术组件来实现不同环节： 使用HDFS做存储使用 spark、mapreduce 作为底层计算引擎使用hive或者sparksql，作为sql引擎另外，还有impala/presto纯内存运算引擎，kylin，

数仓（一）简介数仓，OLTP和OLAP 数仓（二）关系建模和维度建模 数仓（三）简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构 数仓（四）数据仓库分层 数仓 (五) 元数据管理系统解析 数仓（六）从0到1简单搭建数仓ODS层(埋点日志 + 业务数据) 数仓（七）从0到1简单搭建加载数仓DIM层以及拉链表处理 数仓（八）从0到1简单搭建加载数仓DWD层（用户行为日志数据解析） 上一节我们讲

文章目录 1、什么是数据仓库（DW）2、DW分层设计架构（ODS，DWD，DWS）3、数仓同步策略 1、什么是数据仓库（DW） Data warehouse（可简写为DW或者DWH）数据仓库是什么？ 是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分