Oozie调度工具--一次性脚本文件的创建和执行

2023-12-06 23:04

本文主要是介绍Oozie调度工具--一次性脚本文件的创建和执行,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1,首先环境介绍,使用的是CDH的clouder manage 管理平台,已经安装Oozie组件
2,开启Oozie调度工具
请添加图片描述
3,可以直接在管理界面点击Hue,也可以在群集里面点击Hue,打开Hue编辑平台
请添加图片描述
4,打开Hue编辑器后,在里面找到怎么创建脚本,其中Workflow是创建一次性调度脚本的,计划是创建可以多次定时执行脚本的工具,首先介绍创建一次性调度脚本
请添加图片描述
5,在HDFS管理界面的根目录下创建一个job文件用来存放脚本和数据文件(打开方式和Hue相同,此处省略)
请添加图片描述
6,在Hue编辑器中打开查询模式,创建数据库和表

请添加图片描述

create database job;create table  job.test(
product string,  
productname string,
imei string,
eventid string,
error string,
date1 string
)partitioned by (dt string) row format delimited fields terminated by ",";

自己准备几条数据,然后换成.sql格式一会使用脚本导入

7,创建好目录后根据建表语句需要的字段,自己编写一些数据文件,我的为test.sql,并将文件后缀名改为.sql
请添加图片描述
8,导入数据完成后,需要核对数据是否导入成功
请添加图片描述
9,在Hive中创建一个新文件,可以直接编辑,然后导入测试脚本
请添加图片描述
10,编辑脚本文件

load data inpath '/job/test.sql' 
into table job.test
partition  (dt='${today}');

请添加图片描述

11,点击查询,计划程序下面的Workflow后显示这个界面
请添加图片描述
12,先选择Hive2作为计算引擎后,再选择编辑好的脚本文件我的为mywork_flow_1
请添加图片描述
13,打开后切换目录,到自己脚本文件放置的目录
请添加图片描述
14,选择脚本文件后,他会自动扫描文件,找到参数,然后还需要添加一个文件用于导入数据文件
其中参数为today=${today}
请添加图片描述
15,编辑完之后直接保存,然后当前页面测试执行
请添加图片描述
请添加图片描述
16,选择之后后会提示提交一个日期,选择现在即可
请添加图片描述
17,刚开始执行时显示界面,过一会进度到100%就完成了
请添加图片描述
请添加图片描述
18,查看数据是否导入成功,也可以去看表中时候多了一个文件放数据

请添加图片描述
19,查看刚刚的文件位置,会发现文件已经消失
请添加图片描述

这篇关于Oozie调度工具--一次性脚本文件的创建和执行的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/463673

相关文章

JavaScript中的reduce方法执行过程、使用场景及进阶用法

《JavaScript中的reduce方法执行过程、使用场景及进阶用法》:本文主要介绍JavaScript中的reduce方法执行过程、使用场景及进阶用法的相关资料,reduce是JavaScri... 目录1. 什么是reduce2. reduce语法2.1 语法2.2 参数说明3. reduce执行过程

Android 悬浮窗开发示例((动态权限请求 | 前台服务和通知 | 悬浮窗创建 )

《Android悬浮窗开发示例((动态权限请求|前台服务和通知|悬浮窗创建)》本文介绍了Android悬浮窗的实现效果,包括动态权限请求、前台服务和通知的使用,悬浮窗权限需要动态申请并引导... 目录一、悬浮窗 动态权限请求1、动态请求权限2、悬浮窗权限说明3、检查动态权限4、申请动态权限5、权限设置完毕后

在MySQL执行UPDATE语句时遇到的错误1175的解决方案

《在MySQL执行UPDATE语句时遇到的错误1175的解决方案》MySQL安全更新模式(SafeUpdateMode)限制了UPDATE和DELETE操作,要求使用WHERE子句时必须基于主键或索引... mysql 中遇到的 Error Code: 1175 是由于启用了 安全更新模式(Safe Upd

Java数字转换工具类NumberUtil的使用

《Java数字转换工具类NumberUtil的使用》NumberUtil是一个功能强大的Java工具类,用于处理数字的各种操作,包括数值运算、格式化、随机数生成和数值判断,下面就来介绍一下Number... 目录一、NumberUtil类概述二、主要功能介绍1. 数值运算2. 格式化3. 数值判断4. 随机

Python创建Excel的4种方式小结

《Python创建Excel的4种方式小结》这篇文章主要为大家详细介绍了Python中创建Excel的4种常见方式,文中的示例代码简洁易懂,具有一定的参考价值,感兴趣的小伙伴可以学习一下... 目录库的安装代码1——pandas代码2——openpyxl代码3——xlsxwriterwww.cppcns.c

使用Navicat工具比对两个数据库所有表结构的差异案例详解

《使用Navicat工具比对两个数据库所有表结构的差异案例详解》:本文主要介绍如何使用Navicat工具对比两个数据库test_old和test_new,并生成相应的DDLSQL语句,以便将te... 目录概要案例一、如图两个数据库test_old和test_new进行比较:二、开始比较总结概要公司存在多

Java中基于注解的代码生成工具MapStruct映射使用详解

《Java中基于注解的代码生成工具MapStruct映射使用详解》MapStruct作为一个基于注解的代码生成工具,为我们提供了一种更加优雅、高效的解决方案,本文主要为大家介绍了它的具体使用,感兴趣... 目录介绍优缺点优点缺点核心注解及详细使用语法说明@Mapper@Mapping@Mappings@Co

使用Python在Excel中创建和取消数据分组

《使用Python在Excel中创建和取消数据分组》Excel中的分组是一种通过添加层级结构将相邻行或列组织在一起的功能,当分组完成后,用户可以通过折叠或展开数据组来简化数据视图,这篇博客将介绍如何使... 目录引言使用工具python在Excel中创建行和列分组Python在Excel中创建嵌套分组Pyt

10个Python自动化办公的脚本分享

《10个Python自动化办公的脚本分享》在日常办公中,我们常常会被繁琐、重复的任务占据大量时间,本文为大家分享了10个实用的Python自动化办公案例及源码,希望对大家有所帮助... 目录1. 批量处理 Excel 文件2. 自动发送邮件3. 批量重命名文件4. 数据清洗5. 生成 PPT6. 自动化测试

使用Python实现图片和base64转换工具

《使用Python实现图片和base64转换工具》这篇文章主要为大家详细介绍了如何使用Python中的base64模块编写一个工具,可以实现图片和Base64编码之间的转换,感兴趣的小伙伴可以了解下... 简介使用python的base64模块来实现图片和Base64编码之间的转换。可以将图片转换为Bas