ETL示例解决方案 —— Sakila示例之维度表dim_date和load_dim_time（笔记二）

2023-11-11 09:10
文章标签 解决方案 笔记 示例 load 维度 date etl dim time sakila

本文主要是介绍ETL示例解决方案 —— Sakila示例之维度表dim_date和load_dim_time（笔记二），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

生成静态维度

本示例的前提是已经配置好sakila数据库和星型模型数据库，具体参考（笔记一）

一、加载维度表dim_date

在这里插入图片描述

  • Generate 10 years：
    在这里插入图片描述
    　　生成10年数据（10*366=3660）；
    　　语言代码（language_code）：en
    　　地区代码（country_code）：gb
    　　开始日期（initial_date）：2000-01-01
    　　还有其他常量根据自己需求设置。
  • Day Sequence
    在这里插入图片描述
    　　Generate 10 years 生成的数据流入Day Sequence，本步骤生成序列，目的是为每一个输入行生成一个自增的序列数字，这个序号将会在后面和initial date相加生成一系列连续的日期数据。（本步骤的思想值得借鉴）
  • Calculate Dimension Attributes
    在这里插入图片描述
    　　这是转换中最重要的部分。这个步骤是JavaScript脚本，步骤Day sequence作为输入流，其字段被设置为JavaScript变量，用来计算不同的日期。本步骤首先将序列号和initial date相加，生成日历对象，然后，通过脚本表达式转换为不同的日期和日期的各个部分。同时，还使用JavaScript表达式生成智能键，用于区别dim_date中的数据。JavaScript表达式使用了语言和国际地区代码（在步骤“ Generate 10 years ”中设置）来完成对日期做本地化设置。例如，国家代码是gb且语言是en，日期2009-03-09会被格式化为Monday，March 9，2009，如果国家代码是ca，语言代码是fr，那么会被格式化为lundi 9 mars 2009。
    　　本步骤图表左上角，有一个“x4”的标签。
    在这里插入图片描述
    　　“x4”并不属于本步骤，而是表示此步骤生成的拷贝数量，可以单击本步骤，在菜单中选择“改变开始复制的数量”修改。

附上JavaScript代码：

//Create a Locale according to the specified language code
var locale = new java.util.Locale(language_code.getString()
,   country_code.getString()
);//Create a calendar, use the specified initial date
var calendar = new java.util.GregorianCalendar(locale);
calendar.setTime(initial_date.getDate());//set the calendar to the current date by adding DaySequence days
calendar.add(calendar.DAY_OF_MONTH,DaySequence.getInteger() - 1);//get the calendar date
var date = new java.util.Date(calendar.getTimeInMillis());
//en-us example: 9/3/07
var date_short  = java.text.DateFormat.getDateInstance(java.text.DateFormat.SHORT,   locale).format(date);
//en-us example: Sep 3, 2007 
var date_medium = java.text.DateFormat.getDateInstance(java.text.DateFormat.MEDIUM,   locale).format(date);
//en-us example: September 3, 2007
var date_long   = java.text.DateFormat.getDateInstance(java.text.DateFormat.LONG,   locale).format(date);
//en-us example: Monday, September 3, 2007
var date_full   = java.text.DateFormat.getDateInstance(java.text.DateFormat.FULL,   locale).format(date);//day in year: 1..366
var simpleDateFormat   = java.text.SimpleDateFormat("D",locale);
var day_in_year        = simpleDateFormat.format(date);
//day in month: 1..31
simpleDateFormat.applyPattern("d");
var day_in_month       = simpleDateFormat.format(date);
//en-us example: "Monday"
simpleDateFormat.applyPattern("EEEE");
var day_name           = simpleDateFormat.format(date);
//en-us example: "Mon"
simpleDateFormat.applyPattern("E");
var day_abbreviation   = simpleDateFormat.format(date);
//week in year, 1..53
simpleDateFormat.applyPattern("ww");
var week_in_year       = simpleDateFormat.format(date);
//week in month, 1..5
simpleDateFormat.applyPattern("W");
var week_in_month      = simpleDateFormat.format(date);
//month number in year, 1..12
simpleDateFormat.applyPattern("MM");
var month_number       = simpleDateFormat.format(date);
//en-us example: "September"
simpleDateFormat.applyPattern("MMMM");
var month_name         = simpleDateFormat.format(date);
//en-us example: "Sep"
simpleDateFormat.applyPattern("MMM");
var month_abbreviation = simpleDateFormat.format(date);
//2 digit representation of the year, example: "07" for 2007
simpleDateFormat.applyPattern("y");
var year2              = simpleDateFormat.format(date);
//4 digit representation of the year, example:  2007
simpleDateFormat.applyPattern("yyyy");
var year4              = "" + simpleDateFormat.format(date);
//handling Quarters is a DIY
var quarter_name = "Q";
var quarter_number;
switch(parseInt(month_number)){case 1: case 2: case 3: quarter_number = "1"; break;case 4: case 5: case 6: quarter_number = "2"; break;case 7: case 8: case 9: quarter_number = "3"; break;case 10: case 11: case 12: quarter_number = "4"; break;
}
quarter_name += quarter_number;//get the local yes/no values
var yes = local_yes.getString();
var no = local_no.getString();//initialize for week calculations
var first_day_of_week = calendar.getFirstDayOfWeek();
var day_of_week = java.util.Calendar.DAY_OF_WEEK;//find out if this is the first day of the week
var is_first_day_in_week;
if(first_day_of_week==calendar.get(day_of_week)){is_first_day_in_week = yes;
} else {is_first_day_in_week = no;
}//calculate the next day
calendar.add(calendar.DAY_OF_MONTH,1);
//get the next calendar date
var next_day = new java.util.Date(calendar.getTimeInMillis());//find out if this is the first day of the week
var is_last_day_in_week;
if(first_day_of_week==calendar.get(day_of_week)){is_last_day_in_week = yes;
} else {is_last_day_in_week = no;
}//find out if this is the first day of the month
var is_first_day_of_month;
if(day_in_month == 1){is_first_day_in_month = yes;
} else {is_first_day_in_month = no;
}//find out if this is the last day in the month
var is_last_day_of_month;
if(java.text.SimpleDateFormat("d",locale).format(next_day)==1){is_last_day_in_month = yes;
} else {is_last_day_in_month = no;
}//date = year4 + "-" + month_number + "-" + day_in_month
var year_quarter            = year4 + "-" + quarter_name;
var year_month_number       = year4 + "-" + month_number;
var year_month_abbreviation = year4 + "-" + month_abbreviation;var date_key = year4 + month_number + (day_in_month<10?"0":"") + day_in_month;
  • Load dim_date
    在这里插入图片描述
    　　本步骤是一个表输出步骤，接收Calculate Dimension Attributes步骤的输出流数据，生成相应的sql命名，插入维度表dim_date中。

运行结果：
在这里插入图片描述
二、加载维度表load_dim_time
在这里插入图片描述
　　转换load_dim_time中相比load_dim_date多了“记录关联（笛卡尔输出）”。

  • 生成时间
    在这里插入图片描述
    　　三个输出流分别生成了24小时（0～23），60分钟（0～59），60秒（0～59），用来表示一天的时间（时分秒）。

  • 时间12小时制
    在这里插入图片描述
    在这里插入图片描述

  • 笛卡尔输出
    步骤Cartesian Product：
    在这里插入图片描述
    是一个“记录关联（笛卡尔输出）”步骤，连接三个输入流（时、分、秒），这里的笛卡尔积条件并未设置连接条件，所以得到的输出结果就是24 x 60 x 60=86400 行的数据流进入下一步骤。

  • Caclulate Time
    在这里插入图片描述
    　　本步骤是一段JavaScript代码，用来将上一步骤输入的8640行数据中筛选出满足要求的时间格式，并输出到表中。

  • 数据库查看
    在这里插入图片描述

这篇关于ETL示例解决方案 —— Sakila示例之维度表dim_date和load_dim_time（笔记二）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/389020。

相关文章

SpringCloud集成AlloyDB的示例代码

SpringCloud集成AlloyDB的示例代码

《SpringCloud集成AlloyDB的示例代码》AlloyDB是GoogleCloud提供的一种高度可扩展、强性能的关系型数据库服务,它兼容PostgreSQL,并提供了更快的查询性能... 目录1.AlloyDBjavascript是什么？AlloyDB 的工作原理2.搭建测试环境3.代码工程1.
阅读更多...
python 字典d[k]中key不存在的解决方案

python 字典d[k]中key不存在的解决方案

《python字典d[k]中key不存在的解决方案》本文主要介绍了在Python中处理字典键不存在时获取默认值的两种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录defaultdict：处理找不到的键的一个选择特殊方法__missing__有时候为了方便起见，
阅读更多...
Java中ArrayList的8种浅拷贝方式示例代码

Java中ArrayList的8种浅拷贝方式示例代码

《Java中ArrayList的8种浅拷贝方式示例代码》：本文主要介绍Java中ArrayList的8种浅拷贝方式的相关资料,讲解了Java中ArrayList的浅拷贝概念,并详细分享了八种实现浅... 目录引言什么是浅拷贝？ArrayList 浅拷贝的重要性方法一：使用构造函数方法二：使用 addAll(
阅读更多...
Golang使用etcd构建分布式锁的示例分享

Golang使用etcd构建分布式锁的示例分享

《Golang使用etcd构建分布式锁的示例分享》在本教程中,我们将学习如何使用Go和etcd构建分布式锁系统,分布式锁系统对于管理对分布式系统中共享资源的并发访问至关重要,它有助于维护一致性,防止竞... 目录引言环境准备新建Go项目实现加锁和解锁功能测试分布式锁重构实现失败重试总结引言我们将使用Go作
阅读更多...
JAVA利用顺序表实现“杨辉三角”的思路及代码示例

JAVA利用顺序表实现“杨辉三角”的思路及代码示例

《JAVA利用顺序表实现“杨辉三角”的思路及代码示例》杨辉三角形是中国古代数学的杰出研究成果之一,是我国北宋数学家贾宪于1050年首先发现并使用的,：本文主要介绍JAVA利用顺序表实现杨辉三角的思... 目录一：“杨辉三角”题目链接二：题解代码：三：题解思路：总结一：“杨辉三角”题目链接题目链接：点击这里
阅读更多...
SpringBoot使用注解集成Redis缓存的示例代码

SpringBoot使用注解集成Redis缓存的示例代码

《SpringBoot使用注解集成Redis缓存的示例代码》：本文主要介绍在SpringBoot中使用注解集成Redis缓存的步骤,包括添加依赖、创建相关配置类、需要缓存数据的类（Tes... 目录一、创建 Caching 配置类二、创建需要缓存数据的类三、测试方法Spring Boot 熟悉后，集成一个外
阅读更多...
Springboot使用RabbitMQ实现关闭超时订单(示例详解)

Springboot使用RabbitMQ实现关闭超时订单(示例详解)

《Springboot使用RabbitMQ实现关闭超时订单(示例详解)》介绍了如何在SpringBoot项目中使用RabbitMQ实现订单的延时处理和超时关闭,通过配置RabbitMQ的交换机、队列和... 目录1.maven中引入rabbitmq的依赖：2.application.yml中进行rabbit
阅读更多...
Python绘制土地利用和土地覆盖类型图示例详解

Python绘制土地利用和土地覆盖类型图示例详解

《Python绘制土地利用和土地覆盖类型图示例详解》本文介绍了如何使用Python绘制土地利用和土地覆盖类型图,并提供了详细的代码示例,通过安装所需的库,准备地理数据,使用geopandas和matp... 目录一、所需库的安装二、数据准备三、绘制土地利用和土地覆盖类型图四、代码解释五、其他可视化形式1.
阅读更多...
opencv实现像素统计的示例代码

opencv实现像素统计的示例代码

《opencv实现像素统计的示例代码》本文介绍了OpenCV中统计图像像素信息的常用方法和函数,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 统计像素值的基本信息2. 统计像素值的直方图3. 统计像素值的总和4. 统计非零像素的数量
阅读更多...
Python使用asyncio实现异步操作的示例

Python使用asyncio实现异步操作的示例

《Python使用asyncio实现异步操作的示例》本文主要介绍了Python使用asyncio实现异步操作的示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋... 目录1. 基础概念2. 实现异步 I/O 的步骤2.1 定义异步函数2.2 使用 await 等待异
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2