Oozie调度工具--一次性脚本文件的创建和执行

2023-12-06 23:04

本文主要是介绍Oozie调度工具--一次性脚本文件的创建和执行,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1,首先环境介绍,使用的是CDH的clouder manage 管理平台,已经安装Oozie组件
2,开启Oozie调度工具
请添加图片描述
3,可以直接在管理界面点击Hue,也可以在群集里面点击Hue,打开Hue编辑平台
请添加图片描述
4,打开Hue编辑器后,在里面找到怎么创建脚本,其中Workflow是创建一次性调度脚本的,计划是创建可以多次定时执行脚本的工具,首先介绍创建一次性调度脚本
请添加图片描述
5,在HDFS管理界面的根目录下创建一个job文件用来存放脚本和数据文件(打开方式和Hue相同,此处省略)
请添加图片描述
6,在Hue编辑器中打开查询模式,创建数据库和表

请添加图片描述

create database job;create table  job.test(
product string,  
productname string,
imei string,
eventid string,
error string,
date1 string
)partitioned by (dt string) row format delimited fields terminated by ",";

自己准备几条数据,然后换成.sql格式一会使用脚本导入

7,创建好目录后根据建表语句需要的字段,自己编写一些数据文件,我的为test.sql,并将文件后缀名改为.sql
请添加图片描述
8,导入数据完成后,需要核对数据是否导入成功
请添加图片描述
9,在Hive中创建一个新文件,可以直接编辑,然后导入测试脚本
请添加图片描述
10,编辑脚本文件

load data inpath '/job/test.sql' 
into table job.test
partition  (dt='${today}');

请添加图片描述

11,点击查询,计划程序下面的Workflow后显示这个界面
请添加图片描述
12,先选择Hive2作为计算引擎后,再选择编辑好的脚本文件我的为mywork_flow_1
请添加图片描述
13,打开后切换目录,到自己脚本文件放置的目录
请添加图片描述
14,选择脚本文件后,他会自动扫描文件,找到参数,然后还需要添加一个文件用于导入数据文件
其中参数为today=${today}
请添加图片描述
15,编辑完之后直接保存,然后当前页面测试执行
请添加图片描述
请添加图片描述
16,选择之后后会提示提交一个日期,选择现在即可
请添加图片描述
17,刚开始执行时显示界面,过一会进度到100%就完成了
请添加图片描述
请添加图片描述
18,查看数据是否导入成功,也可以去看表中时候多了一个文件放数据

请添加图片描述
19,查看刚刚的文件位置,会发现文件已经消失
请添加图片描述

这篇关于Oozie调度工具--一次性脚本文件的创建和执行的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/463673

相关文章

高效录音转文字:2024年四大工具精选!

在快节奏的工作生活中,能够快速将录音转换成文字是一项非常实用的能力。特别是在需要记录会议纪要、讲座内容或者是采访素材的时候,一款优秀的在线录音转文字工具能派上大用场。以下推荐几个好用的录音转文字工具! 365在线转文字 直达链接:https://www.pdf365.cn/ 365在线转文字是一款提供在线录音转文字服务的工具,它以其高效、便捷的特点受到用户的青睐。用户无需下载安装任何软件,只

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

在cscode中通过maven创建java项目

在cscode中创建java项目 可以通过博客完成maven的导入 建立maven项目 使用快捷键 Ctrl + Shift + P 建立一个 Maven 项目 1 Ctrl + Shift + P 打开输入框2 输入 "> java create"3 选择 maven4 选择 No Archetype5 输入 域名6 输入项目名称7 建立一个文件目录存放项目,文件名一般为项目名8 确定

Java 创建图形用户界面(GUI)入门指南(Swing库 JFrame 类)概述

概述 基本概念 Java Swing 的架构 Java Swing 是一个为 Java 设计的 GUI 工具包,是 JAVA 基础类的一部分,基于 Java AWT 构建,提供了一系列轻量级、可定制的图形用户界面(GUI)组件。 与 AWT 相比,Swing 提供了许多比 AWT 更好的屏幕显示元素,更加灵活和可定制,具有更好的跨平台性能。 组件和容器 Java Swing 提供了许多

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具,采用无代理架构(agentless),基于 SSH 连接进行管理,具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用,旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念

Linux服务器Java启动脚本

Linux服务器Java启动脚本 1、初版2、优化版本3、常用脚本仓库 本文章介绍了如何在Linux服务器上执行Java并启动jar包, 通常我们会使用nohup直接启动,但是还是需要手动停止然后再次启动, 那如何更优雅的在服务器上启动jar包呢,让我们一起探讨一下吧。 1、初版 第一个版本是常用的做法,直接使用nohup后台启动jar包, 并将日志输出到当前文件夹n

maven 编译构建可以执行的jar包

💝💝💝欢迎莅临我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:「stormsha的主页」👈,「stormsha的知识库」👈持续学习,不断总结,共同进步,为了踏实,做好当下事儿~ 专栏导航 Python系列: Python面试题合集,剑指大厂Git系列: Git操作技巧GO

顺序表之创建,判满,插入,输出

文章目录 🍊自我介绍🍊创建一个空的顺序表,为结构体在堆区分配空间🍊插入数据🍊输出数据🍊判断顺序表是否满了,满了返回值1,否则返回0🍊main函数 你的点赞评论就是对博主最大的鼓励 当然喜欢的小伙伴可以:点赞+关注+评论+收藏(一键四连)哦~ 🍊自我介绍   Hello,大家好,我是小珑也要变强(也是小珑),我是易编程·终身成长社群的一名“创始团队·嘉宾”

Maven创建项目中的groupId, artifactId, 和 version的意思

文章目录 groupIdartifactIdversionname groupId 定义:groupId 是 Maven 项目坐标的第一个部分,它通常表示项目的组织或公司的域名反转写法。例如,如果你为公司 example.com 开发软件,groupId 可能是 com.example。作用:groupId 被用来组织和分组相关的 Maven artifacts,这样可以避免