本文主要是介绍oozie使用的注意事项,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1.在pig中使用UDF函数时候的注意事项:
(1).pig的udf函数jar包可以放在本地也可以放在hdfs中(推荐放在hdfs中)
a.放在本地:<param>myUDF=./pig/myUDFs.jar</param>
其中,"myUDF"为变量名,"./pig/myUDFs.jar"为当前UDF函数的本地路径
b.放在hdfs:<param>myUDF=${nameNode}/user/${wf:user()}/${AssociatedGoodsRoot}/myUDFs.jar</param>
以上的hdfs路径翻译后为:hdfs://192.168.8.21/user/chenpeng/goods/myUDFs.jar
(2).pig的运行不是通过oozie自带的pig运行的,而不是本机安装的pig。所以pig运行时需要用到oozie中的pig相关的jar包,(在sharelib目录下),所以要在job.properties文件里面要加入:oozie.libpath=${nameNode}/user/${user.name}/share/lib
2.应用shell action-node时的注意事项:
(1).脚本要和workflow.xml、job.properties文件放在平级目录
(2).执行shell action时,会以当前脚本所在的datanode主机的身份去执行脚本,如果执行脚本里面有ssh无密码登陆到jobtracker,则需要把datanode的.ssh密钥放在jobtracker里面。
3.应用sqoop action-node时的注意事项:
(1).从hdfs导入数据到mysql数据库的配置参考如下:
<arg>export</arg><arg>--connect</arg><arg>jdbc:mysql://192.168.8.22:3306/test?characterEncoding=UTF-8</arg><arg>--username</arg><arg>root</arg><arg>--password</arg><arg></arg><arg>--table</arg><arg>goods</arg><arg>--export-dir</arg><arg>/user/${wf:user()}/${AssociatedGoodsRoot}/output-data/pig-node2/part-r-00000</arg><arg>--fields-terminated-by</arg><arg>\t</arg><arg>-m</arg><arg>1</arg>
(2).
使用sqoop时,要把mysql驱动包放在当前应用的lib目录下
这篇关于oozie使用的注意事项的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!