本文主要是介绍Oozie调度工具--一次性脚本文件的创建和执行,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1,首先环境介绍,使用的是CDH的clouder manage 管理平台,已经安装Oozie组件
2,开启Oozie调度工具
3,可以直接在管理界面点击Hue,也可以在群集里面点击Hue,打开Hue编辑平台
4,打开Hue编辑器后,在里面找到怎么创建脚本,其中Workflow是创建一次性调度脚本的,计划是创建可以多次定时执行脚本的工具,首先介绍创建一次性调度脚本
5,在HDFS管理界面的根目录下创建一个job文件用来存放脚本和数据文件(打开方式和Hue相同,此处省略)
6,在Hue编辑器中打开查询模式,创建数据库和表
create database job;create table job.test(
product string,
productname string,
imei string,
eventid string,
error string,
date1 string
)partitioned by (dt string) row format delimited fields terminated by ",";
自己准备几条数据,然后换成.sql格式一会使用脚本导入
7,创建好目录后根据建表语句需要的字段,自己编写一些数据文件,我的为test.sql,并将文件后缀名改为.sql
8,导入数据完成后,需要核对数据是否导入成功
9,在Hive中创建一个新文件,可以直接编辑,然后导入测试脚本
10,编辑脚本文件
load data inpath '/job/test.sql'
into table job.test
partition (dt='${today}');
11,点击查询,计划程序下面的Workflow后显示这个界面
12,先选择Hive2作为计算引擎后,再选择编辑好的脚本文件我的为mywork_flow_1
13,打开后切换目录,到自己脚本文件放置的目录
14,选择脚本文件后,他会自动扫描文件,找到参数,然后还需要添加一个文件用于导入数据文件
其中参数为today=${today}
15,编辑完之后直接保存,然后当前页面测试执行
16,选择之后后会提示提交一个日期,选择现在即可
17,刚开始执行时显示界面,过一会进度到100%就完成了
18,查看数据是否导入成功,也可以去看表中时候多了一个文件放数据
19,查看刚刚的文件位置,会发现文件已经消失
这篇关于Oozie调度工具--一次性脚本文件的创建和执行的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!