ETL示例解决方案 —— Sakila示例之维度表dim_date和load_dim_time（笔记二）

2023-11-11 09:10
文章标签 解决方案 笔记 示例 load 维度 date etl dim time sakila

本文主要是介绍ETL示例解决方案 —— Sakila示例之维度表dim_date和load_dim_time（笔记二），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

生成静态维度

本示例的前提是已经配置好sakila数据库和星型模型数据库，具体参考（笔记一）

一、加载维度表dim_date

在这里插入图片描述

  • Generate 10 years：
    在这里插入图片描述
    　　生成10年数据（10*366=3660）；
    　　语言代码（language_code）：en
    　　地区代码（country_code）：gb
    　　开始日期（initial_date）：2000-01-01
    　　还有其他常量根据自己需求设置。
  • Day Sequence
    在这里插入图片描述
    　　Generate 10 years 生成的数据流入Day Sequence，本步骤生成序列，目的是为每一个输入行生成一个自增的序列数字，这个序号将会在后面和initial date相加生成一系列连续的日期数据。（本步骤的思想值得借鉴）
  • Calculate Dimension Attributes
    在这里插入图片描述
    　　这是转换中最重要的部分。这个步骤是JavaScript脚本，步骤Day sequence作为输入流，其字段被设置为JavaScript变量，用来计算不同的日期。本步骤首先将序列号和initial date相加，生成日历对象，然后，通过脚本表达式转换为不同的日期和日期的各个部分。同时，还使用JavaScript表达式生成智能键，用于区别dim_date中的数据。JavaScript表达式使用了语言和国际地区代码（在步骤“ Generate 10 years ”中设置）来完成对日期做本地化设置。例如，国家代码是gb且语言是en，日期2009-03-09会被格式化为Monday，March 9，2009，如果国家代码是ca，语言代码是fr，那么会被格式化为lundi 9 mars 2009。
    　　本步骤图表左上角，有一个“x4”的标签。
    在这里插入图片描述
    　　“x4”并不属于本步骤，而是表示此步骤生成的拷贝数量，可以单击本步骤，在菜单中选择“改变开始复制的数量”修改。

附上JavaScript代码：

//Create a Locale according to the specified language code
var locale = new java.util.Locale(language_code.getString()
,   country_code.getString()
);//Create a calendar, use the specified initial date
var calendar = new java.util.GregorianCalendar(locale);
calendar.setTime(initial_date.getDate());//set the calendar to the current date by adding DaySequence days
calendar.add(calendar.DAY_OF_MONTH,DaySequence.getInteger() - 1);//get the calendar date
var date = new java.util.Date(calendar.getTimeInMillis());
//en-us example: 9/3/07
var date_short  = java.text.DateFormat.getDateInstance(java.text.DateFormat.SHORT,   locale).format(date);
//en-us example: Sep 3, 2007 
var date_medium = java.text.DateFormat.getDateInstance(java.text.DateFormat.MEDIUM,   locale).format(date);
//en-us example: September 3, 2007
var date_long   = java.text.DateFormat.getDateInstance(java.text.DateFormat.LONG,   locale).format(date);
//en-us example: Monday, September 3, 2007
var date_full   = java.text.DateFormat.getDateInstance(java.text.DateFormat.FULL,   locale).format(date);//day in year: 1..366
var simpleDateFormat   = java.text.SimpleDateFormat("D",locale);
var day_in_year        = simpleDateFormat.format(date);
//day in month: 1..31
simpleDateFormat.applyPattern("d");
var day_in_month       = simpleDateFormat.format(date);
//en-us example: "Monday"
simpleDateFormat.applyPattern("EEEE");
var day_name           = simpleDateFormat.format(date);
//en-us example: "Mon"
simpleDateFormat.applyPattern("E");
var day_abbreviation   = simpleDateFormat.format(date);
//week in year, 1..53
simpleDateFormat.applyPattern("ww");
var week_in_year       = simpleDateFormat.format(date);
//week in month, 1..5
simpleDateFormat.applyPattern("W");
var week_in_month      = simpleDateFormat.format(date);
//month number in year, 1..12
simpleDateFormat.applyPattern("MM");
var month_number       = simpleDateFormat.format(date);
//en-us example: "September"
simpleDateFormat.applyPattern("MMMM");
var month_name         = simpleDateFormat.format(date);
//en-us example: "Sep"
simpleDateFormat.applyPattern("MMM");
var month_abbreviation = simpleDateFormat.format(date);
//2 digit representation of the year, example: "07" for 2007
simpleDateFormat.applyPattern("y");
var year2              = simpleDateFormat.format(date);
//4 digit representation of the year, example:  2007
simpleDateFormat.applyPattern("yyyy");
var year4              = "" + simpleDateFormat.format(date);
//handling Quarters is a DIY
var quarter_name = "Q";
var quarter_number;
switch(parseInt(month_number)){case 1: case 2: case 3: quarter_number = "1"; break;case 4: case 5: case 6: quarter_number = "2"; break;case 7: case 8: case 9: quarter_number = "3"; break;case 10: case 11: case 12: quarter_number = "4"; break;
}
quarter_name += quarter_number;//get the local yes/no values
var yes = local_yes.getString();
var no = local_no.getString();//initialize for week calculations
var first_day_of_week = calendar.getFirstDayOfWeek();
var day_of_week = java.util.Calendar.DAY_OF_WEEK;//find out if this is the first day of the week
var is_first_day_in_week;
if(first_day_of_week==calendar.get(day_of_week)){is_first_day_in_week = yes;
} else {is_first_day_in_week = no;
}//calculate the next day
calendar.add(calendar.DAY_OF_MONTH,1);
//get the next calendar date
var next_day = new java.util.Date(calendar.getTimeInMillis());//find out if this is the first day of the week
var is_last_day_in_week;
if(first_day_of_week==calendar.get(day_of_week)){is_last_day_in_week = yes;
} else {is_last_day_in_week = no;
}//find out if this is the first day of the month
var is_first_day_of_month;
if(day_in_month == 1){is_first_day_in_month = yes;
} else {is_first_day_in_month = no;
}//find out if this is the last day in the month
var is_last_day_of_month;
if(java.text.SimpleDateFormat("d",locale).format(next_day)==1){is_last_day_in_month = yes;
} else {is_last_day_in_month = no;
}//date = year4 + "-" + month_number + "-" + day_in_month
var year_quarter            = year4 + "-" + quarter_name;
var year_month_number       = year4 + "-" + month_number;
var year_month_abbreviation = year4 + "-" + month_abbreviation;var date_key = year4 + month_number + (day_in_month<10?"0":"") + day_in_month;
  • Load dim_date
    在这里插入图片描述
    　　本步骤是一个表输出步骤，接收Calculate Dimension Attributes步骤的输出流数据，生成相应的sql命名，插入维度表dim_date中。

运行结果：
在这里插入图片描述
二、加载维度表load_dim_time
在这里插入图片描述
　　转换load_dim_time中相比load_dim_date多了“记录关联（笛卡尔输出）”。

  • 生成时间
    在这里插入图片描述
    　　三个输出流分别生成了24小时（0～23），60分钟（0～59），60秒（0～59），用来表示一天的时间（时分秒）。

  • 时间12小时制
    在这里插入图片描述
    在这里插入图片描述

  • 笛卡尔输出
    步骤Cartesian Product：
    在这里插入图片描述
    是一个“记录关联（笛卡尔输出）”步骤，连接三个输入流（时、分、秒），这里的笛卡尔积条件并未设置连接条件，所以得到的输出结果就是24 x 60 x 60=86400 行的数据流进入下一步骤。

  • Caclulate Time
    在这里插入图片描述
    　　本步骤是一段JavaScript代码，用来将上一步骤输入的8640行数据中筛选出满足要求的时间格式，并输出到表中。

  • 数据库查看
    在这里插入图片描述

这篇关于ETL示例解决方案 —— Sakila示例之维度表dim_date和load_dim_time（笔记二）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/389020。

相关文章

讯飞webapi语音识别接口调用示例代码(python)

讯飞webapi语音识别接口调用示例代码(python)

《讯飞webapi语音识别接口调用示例代码(python)》：本文主要介绍如何使用Python3调用讯飞WebAPI语音识别接口,重点解决了在处理语音识别结果时判断是否为最后一帧的问题,通过运行代... 目录前言一、环境二、引入库三、代码实例四、运行结果五、总结前言基于python3 讯飞webAPI语音
阅读更多...
MySQL中COALESCE函数示例详解

MySQL中COALESCE函数示例详解

《MySQL中COALESCE函数示例详解》COALESCE是一个功能强大且常用的SQL函数,主要用来处理NULL值和实现灵活的值选择策略,能够使查询逻辑更清晰、简洁,：本文主要介绍MySQL中C... 目录语法示例1. 替换 NULL 值2. 用于字段默认值3. 多列优先级4. 结合聚合函数注意事项总结C
阅读更多...
什么是 Java 的 CyclicBarrier(代码示例)

什么是 Java 的 CyclicBarrier(代码示例)

《什么是Java的CyclicBarrier(代码示例)》CyclicBarrier是多线程协同的利器,适合需要多次同步的场景,本文通过代码示例讲解什么是Java的CyclicBarrier,感... 你的回答（口语化，面试场景）面试官：什么是 Java 的 CyclicBarrier？你：好的，我来举个例
阅读更多...
Seata之分布式事务问题及解决方案

Seata之分布式事务问题及解决方案

《Seata之分布式事务问题及解决方案》：本文主要介绍Seata之分布式事务问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Seata–分布式事务解决方案简介同类产品对比环境搭建1.微服务2.SQL3.seata-server4.微服务配置事务模式1
阅读更多...
HTML5 data-*自定义数据属性的示例代码

HTML5 data-*自定义数据属性的示例代码

《HTML5data-*自定义数据属性的示例代码》HTML5的自定义数据属性（data-*）提供了一种标准化的方法在HTML元素上存储额外信息,可以通过JavaScript访问、修改和在CSS中使用... 目录引言基本概念使用自定义数据属性1. 在 html 中定义2. 通过 JavaScript 访问3.
阅读更多...
Python使用PIL库将PNG图片转换为ICO图标的示例代码

Python使用PIL库将PNG图片转换为ICO图标的示例代码

《Python使用PIL库将PNG图片转换为ICO图标的示例代码》在软件开发和网站设计中,ICO图标是一种常用的图像格式,特别适用于应用程序图标、网页收藏夹图标等场景,本文将介绍如何使用Python的... 目录引言准备工作代码解析实践操作结果展示结语引言在软件开发和网站设计中，ICO图标是一种常用的图像
阅读更多...
C++ Primer 标准库vector示例详解

C++ Primer 标准库vector示例详解

《C++Primer标准库vector示例详解》该文章主要介绍了C++标准库中的vector类型,包括其定义、初始化、成员函数以及常见操作,文章详细解释了如何使用vector来存储和操作对象集合,... 目录3.3标准库Vector定义和初始化vector对象通列表初始化vector对象创建指定数量的元素值
阅读更多...
MyBatis与其使用方法示例详解

MyBatis与其使用方法示例详解

《MyBatis与其使用方法示例详解》MyBatis是一个支持自定义SQL的持久层框架,通过XML文件实现SQL配置和数据映射,简化了JDBC代码的编写,本文给大家介绍MyBatis与其使用方法讲解,... 目录ORM缺优分析MyBATisMyBatis的工作流程MyBatis的基本使用环境准备MyBati
阅读更多...
spring @EventListener 事件与监听的示例详解

spring @EventListener 事件与监听的示例详解

《spring@EventListener事件与监听的示例详解》本文介绍了自定义Spring事件和监听器的方法,包括如何发布事件、监听事件以及如何处理异步事件,通过示例代码和日志,展示了事件的顺序... 目录1、自定义Application Event2、自定义监听3、测试4、源代码5、其他5.1 顺序执行
阅读更多...
MySQL 日期时间格式化函数 DATE_FORMAT() 的使用示例详解

MySQL 日期时间格式化函数 DATE_FORMAT() 的使用示例详解

《MySQL日期时间格式化函数DATE_FORMAT()的使用示例详解》`DATE_FORMAT()`是MySQL中用于格式化日期时间的函数,本文详细介绍了其语法、格式化字符串的含义以及常见日期... 目录一、DATE_FORMAT()语法二、格式化字符串详解三、常见日期时间格式组合四、业务场景五、总结一、
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2