oozie使用的注意事项

2024-08-20 17:58
文章标签 使用 注意事项 oozie

本文主要是介绍oozie使用的注意事项,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.在pig中使用UDF函数时候的注意事项:

(1).pig的udf函数jar包可以放在本地也可以放在hdfs中(推荐放在hdfs中

a.放在本地:<param>myUDF=./pig/myUDFs.jar</param>

其中,"myUDF"为变量名,"./pig/myUDFs.jar"为当前UDF函数的本地路径

b.放在hdfs:<param>myUDF=${nameNode}/user/${wf:user()}/${AssociatedGoodsRoot}/myUDFs.jar</param>

以上的hdfs路径翻译后为:hdfs://192.168.8.21/user/chenpeng/goods/myUDFs.jar

(2).pig的运行不是通过oozie自带的pig运行的,而不是本机安装的pig。所以pig运行时需要用到oozie中的pig相关的jar包,(在sharelib目录下),所以要在job.properties文件里面要加入:oozie.libpath=${nameNode}/user/${user.name}/share/lib


2.应用shell action-node时的注意事项:

(1).脚本要和workflow.xml、job.properties文件放在平级目录

(2).执行shell action时,会以当前脚本所在的datanode主机的身份去执行脚本,如果执行脚本里面有ssh无密码登陆到jobtracker,则需要把datanode的.ssh密钥放在jobtracker里面。


3.应用sqoop action-node时的注意事项:

(1).从hdfs导入数据到mysql数据库的配置参考如下:

            <arg>export</arg><arg>--connect</arg><arg>jdbc:mysql://192.168.8.22:3306/test?characterEncoding=UTF-8</arg><arg>--username</arg><arg>root</arg><arg>--password</arg><arg></arg><arg>--table</arg><arg>goods</arg><arg>--export-dir</arg><arg>/user/${wf:user()}/${AssociatedGoodsRoot}/output-data/pig-node2/part-r-00000</arg><arg>--fields-terminated-by</arg><arg>\t</arg><arg>-m</arg><arg>1</arg>
(2). 使用sqoop时,要把mysql驱动包放在当前应用的lib目录下




这篇关于oozie使用的注意事项的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1090775

相关文章

JavaScript中的reduce方法执行过程、使用场景及进阶用法

《JavaScript中的reduce方法执行过程、使用场景及进阶用法》:本文主要介绍JavaScript中的reduce方法执行过程、使用场景及进阶用法的相关资料,reduce是JavaScri... 目录1. 什么是reduce2. reduce语法2.1 语法2.2 参数说明3. reduce执行过程

如何使用Java实现请求deepseek

《如何使用Java实现请求deepseek》这篇文章主要为大家详细介绍了如何使用Java实现请求deepseek功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1.deepseek的api创建2.Java实现请求deepseek2.1 pom文件2.2 json转化文件2.2

python使用fastapi实现多语言国际化的操作指南

《python使用fastapi实现多语言国际化的操作指南》本文介绍了使用Python和FastAPI实现多语言国际化的操作指南,包括多语言架构技术栈、翻译管理、前端本地化、语言切换机制以及常见陷阱和... 目录多语言国际化实现指南项目多语言架构技术栈目录结构翻译工作流1. 翻译数据存储2. 翻译生成脚本

C++ Primer 多维数组的使用

《C++Primer多维数组的使用》本文主要介绍了多维数组在C++语言中的定义、初始化、下标引用以及使用范围for语句处理多维数组的方法,具有一定的参考价值,感兴趣的可以了解一下... 目录多维数组多维数组的初始化多维数组的下标引用使用范围for语句处理多维数组指针和多维数组多维数组严格来说,C++语言没

在 Spring Boot 中使用 @Autowired和 @Bean注解的示例详解

《在SpringBoot中使用@Autowired和@Bean注解的示例详解》本文通过一个示例演示了如何在SpringBoot中使用@Autowired和@Bean注解进行依赖注入和Bean... 目录在 Spring Boot 中使用 @Autowired 和 @Bean 注解示例背景1. 定义 Stud

使用 sql-research-assistant进行 SQL 数据库研究的实战指南(代码实现演示)

《使用sql-research-assistant进行SQL数据库研究的实战指南(代码实现演示)》本文介绍了sql-research-assistant工具,该工具基于LangChain框架,集... 目录技术背景介绍核心原理解析代码实现演示安装和配置项目集成LangSmith 配置(可选)启动服务应用场景

使用Python快速实现链接转word文档

《使用Python快速实现链接转word文档》这篇文章主要为大家详细介绍了如何使用Python快速实现链接转word文档功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 演示代码展示from newspaper import Articlefrom docx import

oracle DBMS_SQL.PARSE的使用方法和示例

《oracleDBMS_SQL.PARSE的使用方法和示例》DBMS_SQL是Oracle数据库中的一个强大包,用于动态构建和执行SQL语句,DBMS_SQL.PARSE过程解析SQL语句或PL/S... 目录语法示例注意事项DBMS_SQL 是 oracle 数据库中的一个强大包,它允许动态地构建和执行

SpringBoot中使用 ThreadLocal 进行多线程上下文管理及注意事项小结

《SpringBoot中使用ThreadLocal进行多线程上下文管理及注意事项小结》本文详细介绍了ThreadLocal的原理、使用场景和示例代码,并在SpringBoot中使用ThreadLo... 目录前言技术积累1.什么是 ThreadLocal2. ThreadLocal 的原理2.1 线程隔离2

Python itertools中accumulate函数用法及使用运用详细讲解

《Pythonitertools中accumulate函数用法及使用运用详细讲解》:本文主要介绍Python的itertools库中的accumulate函数,该函数可以计算累积和或通过指定函数... 目录1.1前言:1.2定义:1.3衍生用法:1.3Leetcode的实际运用:总结 1.1前言:本文将详