liunx下ETL（kettle）脚本定时任务（crontab）启动失败定位及解决

本文主要是介绍liunx下ETL（kettle）脚本定时任务（crontab）启动失败定位及解决，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

现象：

       最近项目有使用ETL工具kettle进行数据抽取更新，最终在服务器上执行时需要进行定时启动；通过crontab-e配置之后发现没有启动成功，由于只有子用户权限，没有root用户及sudo权限，经过一番排查及操作才得以解决，故记录下来；

原有步骤：

1.kettle脚本的编写

Date=`date +%Y%m%d%H%M%S`
/app/ETL/kettle/kitchen.sh -file=/app/ETL/work/test/test.kjb -logfile=/app/ETL/work/test/log/etl_${Date}.log

命名为start_job.sh;并授权整个/app/ETL/目录744权限，脚本编写过程中推荐使用绝对路径；

执行./start_job.sh运行正常且日志打印正常；

2.编写crontab -e

通过crontab -e编写定时任务：

00 15 * * * /bin/sh /app/ETL/work/test/start_job.sh

出现crontab: installing new crontab表示定时任务编写成功，但等待发现任务并没有执行；

原因定位：

1.由于环境集中管理，手上并没有root用户及sudo权限，无法查询crontab日志；

有权限的可以通过日志查看；crontab 日志路径如下：/var/log/cron

2.由于无日志，通过service crond status查看crontab运行状态正常，并配置测试定时任务：

00 16 * * * date >> /app/time.log

发现测试任务运行正常；

3.通过网上一番查找，定位原因：

 crontab有一个坏毛病，就是它总是不会缺省的从用户profile文件中读取环境变量参数，经常导致在手工执行某个脚本时是成功的，但是到crontab中试图让它定期执行时就是会出错。

如执行ETL这个脚本需要java_home变量，有可能你使用的这个用户的java版本与root不一致，或者root账户就没有安装java；

我这里就是root账户下的jdk是1.7但ETL需要的是1.8；

解决方法：

解决方法有两个：

1.在elk脚本中指定相关变量：

start_job.sh编写如下：

set ff=unix
#!/bin/bash
export JAVA_HOME=/app/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
Date=`date +%Y%m%d%H%M%S`
/app/ETL/kettle/kitchen.sh -file=/app/ETL/work/test/test.kjb -logfile=/app/ETL/work/test/log/etl_${Date}.log

2.在crontab -e指定当前用户配置文件：

55 01 * * * . ~/.bash_profile;/bin/sh /app/ETL/work/test/start_job.sh

 其中. ~/.bash_profile;就是表示当前用户的隐藏配置文件；

推荐使用第二种方式；

关联问题记录：

1.在编写start_job.sh脚本时会出现/bin/sh^M: bad interpreter错误，可通过脚本头部添加 set ff=unix解决

2.crontab -e生效后不是立即就可以执行，需要2-3分钟之后，所以测试时要注意配置的corn时间；

 

这篇关于liunx下ETL（kettle）脚本定时任务（crontab）启动失败定位及解决的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---