Oozie调度工具--一次性脚本文件的创建和执行

2023-12-06 23:04

本文主要是介绍Oozie调度工具--一次性脚本文件的创建和执行,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1,首先环境介绍,使用的是CDH的clouder manage 管理平台,已经安装Oozie组件
2,开启Oozie调度工具
请添加图片描述
3,可以直接在管理界面点击Hue,也可以在群集里面点击Hue,打开Hue编辑平台
请添加图片描述
4,打开Hue编辑器后,在里面找到怎么创建脚本,其中Workflow是创建一次性调度脚本的,计划是创建可以多次定时执行脚本的工具,首先介绍创建一次性调度脚本
请添加图片描述
5,在HDFS管理界面的根目录下创建一个job文件用来存放脚本和数据文件(打开方式和Hue相同,此处省略)
请添加图片描述
6,在Hue编辑器中打开查询模式,创建数据库和表

请添加图片描述

create database job;create table  job.test(
product string,  
productname string,
imei string,
eventid string,
error string,
date1 string
)partitioned by (dt string) row format delimited fields terminated by ",";

自己准备几条数据,然后换成.sql格式一会使用脚本导入

7,创建好目录后根据建表语句需要的字段,自己编写一些数据文件,我的为test.sql,并将文件后缀名改为.sql
请添加图片描述
8,导入数据完成后,需要核对数据是否导入成功
请添加图片描述
9,在Hive中创建一个新文件,可以直接编辑,然后导入测试脚本
请添加图片描述
10,编辑脚本文件

load data inpath '/job/test.sql' 
into table job.test
partition  (dt='${today}');

请添加图片描述

11,点击查询,计划程序下面的Workflow后显示这个界面
请添加图片描述
12,先选择Hive2作为计算引擎后,再选择编辑好的脚本文件我的为mywork_flow_1
请添加图片描述
13,打开后切换目录,到自己脚本文件放置的目录
请添加图片描述
14,选择脚本文件后,他会自动扫描文件,找到参数,然后还需要添加一个文件用于导入数据文件
其中参数为today=${today}
请添加图片描述
15,编辑完之后直接保存,然后当前页面测试执行
请添加图片描述
请添加图片描述
16,选择之后后会提示提交一个日期,选择现在即可
请添加图片描述
17,刚开始执行时显示界面,过一会进度到100%就完成了
请添加图片描述
请添加图片描述
18,查看数据是否导入成功,也可以去看表中时候多了一个文件放数据

请添加图片描述
19,查看刚刚的文件位置,会发现文件已经消失
请添加图片描述

这篇关于Oozie调度工具--一次性脚本文件的创建和执行的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/463673

相关文章

idea中创建新类时自动添加注释的实现

《idea中创建新类时自动添加注释的实现》在每次使用idea创建一个新类时,过了一段时间发现看不懂这个类是用来干嘛的,为了解决这个问题,我们可以设置在创建一个新类时自动添加注释,帮助我们理解这个类的用... 目录前言:详细操作:步骤一:点击上方的 文件(File),点击&nbmyHIgsp;设置(Setti

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子

Spring定时任务只执行一次的原因分析与解决方案

《Spring定时任务只执行一次的原因分析与解决方案》在使用Spring的@Scheduled定时任务时,你是否遇到过任务只执行一次,后续不再触发的情况?这种情况可能由多种原因导致,如未启用调度、线程... 目录1. 问题背景2. Spring定时任务的基本用法3. 为什么定时任务只执行一次?3.1 未启用

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

jvm调优常用命令行工具详解

《jvm调优常用命令行工具详解》:本文主要介绍jvm调优常用命令行工具的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一 jinfo命令查看参数1.1 查看jvm参数二 jstack命令2.1 查看现场堆栈信息三 jstat 实时查看堆内存,gc情况3.1

MySQL使用binlog2sql工具实现在线恢复数据功能

《MySQL使用binlog2sql工具实现在线恢复数据功能》binlog2sql是大众点评开源的一款用于解析MySQLbinlog的工具,根据不同选项,可以得到原始SQL、回滚SQL等,下面我们就来... 目录背景目标步骤准备工作恢复数据结果验证结论背景生产数据库执行 SQL 脚本,一般会经过正规的审批

Spring 中使用反射创建 Bean 实例的几种方式

《Spring中使用反射创建Bean实例的几种方式》文章介绍了在Spring框架中如何使用反射来创建Bean实例,包括使用Class.newInstance()、Constructor.newI... 目录1. 使用 Class.newInstance() (仅限无参构造函数):2. 使用 Construc

基于Python开发批量提取Excel图片的小工具

《基于Python开发批量提取Excel图片的小工具》这篇文章主要为大家详细介绍了如何使用Python中的openpyxl库开发一个小工具,可以实现批量提取Excel图片,有需要的小伙伴可以参考一下... 目前有一个需求,就是批量读取当前目录下所有文件夹里的Excel文件,去获取出Excel文件中的图片,并