一站制造工业项目之DWS介绍及代码运用

DWS:维度层

维度建模：

①建模流程：划分主题域和主题

1-需求调研：业务调研和数据调研
了解整个业务实现的过程
收集所有数据使用人员对于数据的需求
整理所有数据来源
2-划分主题域：面向业务将业务划分主题域及主题
用户域、店铺域
商品域、交易域、
客服域、信用风控域、采购分销域
3-构建维度总线矩阵：明确每个业务主题对应的维度关系

4-明确指标统计：明确所有原生指标与衍生指标
原生指标：基于某一业务事件行为下的度量，是业务定义中不可再拆分的指标，如支付
总金额
衍生指标：基于原子指标添加了维度：近7天的支付总金额等
5-定义事实与维度规范
命名规范、类型规范、设计规范等
6-代码开发
实现具体的代码开发
只要知道指标的计算方式，基于维度分组计算指标
②维度设计：构建维度矩阵

常见维度
时间维度：年、季度、月、周、天、小时
地区维度：国家、省份、城市
平台维度：网站、APP、小程序、H5
操作系统维度：Windows、Mac OS、Android、Linux、IOS
维度模型：雪花模型、星型模式

1：雪花模型

设计：部分维度通过其他维度间接关联事实表
优点：避免数据的冗余
缺点：关联层次比较多，数据大的情况下，底层层层Join，查询数据性能降低

2：星型模型

设计：所有维度表直接关联事实表
优点：每次查询时候，直接获取对应的数据结果，不用关联其他的维度子表，可以提高
性能
缺点：数据冗余度相比雪花模型较高

3：星座模型

基于星型模型的演变，多个事实共同使用一个维度表

掌握一站制造的主题域及主题的划分 

主题域划分：业务或者部门划分
业务：客户域、广告域、运营域……
部门：运维域、财务域、销售域……

数据需求来划分主题
运营域：访问分析报表、转化分析报表、用户属性分析报表、订单分析报表 

 服务域
安装主题：安装方式、支付费用、安装类型
工单主题：派工方式、工单总数、派工类型、完工总数、
维修主题：支付费用、零部件费用、故障类型
派单主题：派单数、派单平均值、派单响应时间
费用主题：差旅费、安装费、报销人员统计
回访主题：回访人员数、回访工单状态
油站主题：油站总数量、油站新增数量
客户域
客户主题：安装数量、维修数量、巡检数量、回访数量
仓储域
保内良品核销主题：核销数量、配件金额
保内不良品核销主题：核销配件数、核销配件金额
送修主题：送修申请、送修物料数量、送修类型
调拨主题：调拨状态、调拨数量、调拨设备类型
消耗品核销：核销总数、核销设备类型
服务商域
工单主题：派工方式、工单总数、工单类型、客户类型
服务商油站主题：油站数量、油站新增数量
运营域
运营主题：服务人员工时、维修站分析、平均工单、网点分布
市场域
市场主题：工单统计、完工明细、订单统计

日期时间维度
年维度、季度维度、月维度、周维度、日维度
日环比、周环比、月环比、日同比、周同比、月同比
环比：同一个周期内的比较
同比：上个个周期的比较
行政地区维度
地区级别：国家维度、省份维度、城市维度、县区维度、乡镇维度
服务网点维度
网点名称、网点编号、省份、城市、县区、所属机构
油站维度
油站类型、油站名称、油站编号、客户编号、客户名称、省份、城市、县区、油站状
态、所属公司
组织机构维度
人员编号、人员名称、岗位编号、岗位名称、部门编号、部门名称
服务类型维度
类型编号、类型名称
设备维度
设备类型、设备编号、设备名称、油枪数量、泵类型、软件类型
故障类型维度
一级故障编号、一级故障名称、二级故障编号、二级故障名称
物流公司维度
物流公司编号、物流公司名称

以乡镇维度为例：

获取所有乡镇的信息

select id area_id,areaname area,parentid from
one_make_dwd.ciss_base_areas where rank = 4;

获取所有县区的信息

select id county_id,areaname county,parentid from
one_make_dwd.ciss_base_areas where rank = 3;

获取所有省份的信息

select id city_id,areaname city,parentid from
one_make_dwd.ciss_base_areas where rank = 2;

获取所有省份的信息

select id province_id,areaname province,parentid from
one_make_dwd.ciss_base_areas where rank = 1;

需求：获取每个镇的所有行政地区信息

省份id 省份名称 城市id 城市名称 县区id 县区名称
乡镇id 乡镇名称

实现：下一级地区的父id = 上一级地区的id

select
province_id,province,city_id,city,county_id,county,area_id,
area
from
  ( select id area_id,areaname area,parentid from
one_make_dwd.ciss_base_areas where rank = 4 ) town
join ( select id county_id,areaname county,parentid from
one_make_dwd.ciss_base_areas where rank = 3 ) county
  on town.parentid = county.county_id
join ( select id city_id,areaname city,parentid from
one_make_dwd.ciss_base_areas where rank = 2 ) city
  on county.parentid = city.city_id
join ( select id province_id,areaname province,parentid
from one_make_dwd.ciss_base_areas where rank = 1 ) province
  on city.parentid = province.province_id;

实现行政地区维度表的构建

建维度库

create database if not exists one_make_dws; 

建维度表
区域粒度【乡镇】

create external table if not exists
one_make_dws.dim_location_areas(
 id string comment 'id'
 , province_id string comment '省份ID'
 , province string comment '省份名称'
 , province_short_name string comment '省份短名称'
 , city_id string comment '城市ID'
 , city string comment '城市'
 , city_short_name string comment '城市短名称'
 , county_id string comment '县城ID'
 , county string comment '县城'
 , county_short_name string comment '县城短名称'
 , area_id string comment '区域ID'
 , area string comment '区域名称'
 , area_short_name string comment '区域短名称'
) comment '区域维度区域级别表'
stored as orc
tblproperties ("orc.compress"="SNAPPY")
location '/data/dw/dws/one_make/dim_location_areas';