本文主要是介绍银行数仓项目实战(五)--搭建数仓和数据标准化,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
文章目录
- 搭建数仓
- 数据采集
- 标准层
搭建数仓
数据采集
业务系统源 -》ODS贴源层,添加标签,添加系统来源,添加时间戳
问甲方要建表语句,自己添加etldt字段和来源字段,通过之前文章教的Kettle把数据抽到自己数据库中。
如图成功即可
标准层
要求对SAACNACN表进行数据标准化,要求如下
在oracle中新建一个用户命名为SDS,用来存放标准层数据。
新建转换,转换的表输入使用ODS层的数据,对数据进行加工处理,首先统一日期类型,日期类型有SA_PSBK_DL_DT字段和SA_PSWD_DL_DT字段,其中SA_PSBK_DL_DT字段表中是STRING类型,SA_PSWD_DL_DT字段表中是DATE类型,要求我们把字段类型改为varchar(8),格式为yyyyMMdd,我们需要先把SA_PSBK_DL_DT字段转换为DATE类型,
再将这两个字段统一转换成String类型,长度设置为8
由于翻译码值时由于字符长短问题会报错,故而先把字段长度拓宽。
再对码值进行替换,参考国家发布的标准以及人民银行给的标准,翻译码值如下所示
对于源数据中的脏数据(以身份证长度不足为例),我们要进行清洗。首先计算身份证的长度,不足18位的视为脏数据将其保存到日志中,以待后续检查修改
将清洗后的数据插入到SDS层的表中,完成数据标准化。
这篇关于银行数仓项目实战(五)--搭建数仓和数据标准化的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!