Linux部署调度工具xxl-job

2024-06-04 17:04
文章标签 工具 linux 部署 调度 xxl job

本文主要是介绍Linux部署调度工具xxl-job,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景:
Pentaho Data Integration(kettle)作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix,linux平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候,通常采用以下几种方式:使用spoon程序来启动Job,使用crontab或计划任务,自主开发java程序来调用kettle的类库

xxl-job介绍
​ xxl-job是一个分布式的任务调度平台,其核心设计目标是:学习简单、开发迅速、轻量级、易扩展,现在已经开放源代码并接入多家公司的线上产品线,开箱即用。xxl是xxl-job的开发者大众点评的许雪里名称的拼音开头

Linux部署xxl-job

  1. 准备 xxl-job 离线tar包
  • xxl-job-2.3.0.tar.gz
  • apache-maven-3.8.5-bin.tar.gz
  • jdk-8u211-linux-x64.tar.gz
  1. 上传资源到linux服务器
  • cd /usr/local
  • mkdir xxl-job
  • cd xxl-job
  • rz

[root@Online local]# cd /usr/local/
[root@Online local]# mkdir xxl-job
[root@Online local]# cd xxl-job/
[root@Online xxl-job]# rz
在这里插入图片描述
3. 部署maven环境

  • 解压apache-maven-3.8.5-bin.tar.gz
    tar -xvzf apache-maven-3.8.5-bin.tar.gz

在这里插入图片描述

  • 重命名apache-maven-3.8.5为maven
    mv apache-maven-3.8.5 maven
    在这里插入图片描述
  1. 部署jdk
  • 解压jdk-8u211-linux-x64.tar.gz
    tar -xvzf jdk-8u211-linux-x64.tar.gz -C /usr/local/xxl-job
    在这里插入图片描述
  • 重命名jdk1.8.0_211为java
    在这里插入图片描述
  • 移动maven到java目录下
    mv maven java/在这里插入图片描述
  1. 配置环境变量
  • 配置jdk,maven
    vim /etc/profile

JAVA_HOME=/usr/local/xxl-job/java
MAVEN_HOME=/usr/local/xxl-job/java/maven
PATH= P A T H : PATH: PATH:JAVA_HOME/bin:$MAVEN_HOME/bin
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL JAVA_HOME MAVEN_HOME
在这里插入图片描述

  • 刷新配置
    source /etc/profile
    在这里插入图片描述
  • 验证是否部署成功
    java -version
    在这里插入图片描述
    mvn -v
    在这里插入图片描述
  1. 创建xxl-job数据库
    在这里插入图片描述
    在这里插入图片描述
  2. 解压xxl-job-2.3.0.tar.gz

tar -xzf xxl-job-2.3.0.tar.gz
在这里插入图片描述
8. 更改配置文件

  • 修改数据库信息,其他的端口用户密码等这里用默认的
    cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-admin/src/main/resources
    vim application.properties
    在这里插入图片描述
  • 更改日志路径
    vim logback.xml
    /data/applogs/xxl-job/xxl-job-admin.log -->/usr/local/xxl-job/xxl-job-admin.log
    在这里插入图片描述
  • 更改执行器文件
    cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/resources
    vim application.properties
    在这里插入图片描述
  • 更改logback.xml文件
    /data/applogs/xxl-job/xxl-job-executor-sample-springboot.log -->/usr/local/xxl-job/xxl-job-executor-sample-springboot.log
    在这里插入图片描述
  1. mvn编译
    cd /usr/local/xxl-job/xxl-job-2.3.0
    在这里插入图片描述

mvn package
在这里插入图片描述
10. 启动xxl-job-admin-2.3.0.jar
cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-admin/target
nohup java -jar xxl-job-admin-2.3.0.jar > xxl-job-admin.log 2>&1 &
在这里插入图片描述

  1. 启动xxl-job-executor-sample-springboot-2.3.0.jar
    cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-executor-samples/xxl-job-executor-sample-springboot/target
    nohup java -jar xxl-job-executor-sample-springboot-2.3.0.jar > xxl-job-excutor.log 2>&1 &
    在这里插入图片描述
  2. 确认服务已启动
    在这里插入图片描述
  3. 访问http://47.100.172.180:8080/xxl-job-admin/ 这里用公网IP
    在这里插入图片描述
  4. 编辑执行器
    在这里插入图片描述
  5. 新增调度任务
    在这里插入图片描述
    运行shell脚本命令
    在这里插入图片描述
    手动调度执行一次
    在这里插入图片描述
    查看调度是否成功
    在这里插入图片描述
    查看整体运行报表
    在这里插入图片描述
    如果你正在寻找一个易于使用的任务调度工具,xxl-job值得一试。立即使用xxl-job开始你的数据自动化之旅吧!
    资源包地址
    如内容有错欢迎大家指正!!!
    读后有疑问请加QQ群!作者个人qq:420773639
    在这里插入图片描述

这篇关于Linux部署调度工具xxl-job的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1030597

相关文章

Redis客户端工具之RedisInsight的下载方式

《Redis客户端工具之RedisInsight的下载方式》RedisInsight是Redis官方提供的图形化客户端工具,下载步骤包括访问Redis官网、选择RedisInsight、下载链接、注册... 目录Redis客户端工具RedisInsight的下载一、点击进入Redis官网二、点击RedisI

Linux系统之authconfig命令的使用解读

《Linux系统之authconfig命令的使用解读》authconfig是一个用于配置Linux系统身份验证和账户管理设置的命令行工具,主要用于RedHat系列的Linux发行版,它提供了一系列选项... 目录linux authconfig命令的使用基本语法常用选项示例总结Linux authconfi

基于Python实现一个PDF特殊字体提取工具

《基于Python实现一个PDF特殊字体提取工具》在PDF文档处理场景中,我们常常需要针对特定格式的文本内容进行提取分析,本文介绍的PDF特殊字体提取器是一款基于Python开发的桌面应用程序感兴趣的... 目录一、应用背景与功能概述二、技术架构与核心组件2.1 技术选型2.2 系统架构三、核心功能实现解析

使用Python开发一个图像标注与OCR识别工具

《使用Python开发一个图像标注与OCR识别工具》:本文主要介绍一个使用Python开发的工具,允许用户在图像上进行矩形标注,使用OCR对标注区域进行文本识别,并将结果保存为Excel文件,感兴... 目录项目简介1. 图像加载与显示2. 矩形标注3. OCR识别4. 标注的保存与加载5. 裁剪与重置图像

jdk21下载、安装详细教程(Windows、Linux、macOS)

《jdk21下载、安装详细教程(Windows、Linux、macOS)》本文介绍了OpenJDK21的下载地址和安装步骤,包括Windows、Linux和macOS平台,下载后解压并设置环境变量,最... 目录1、官网2、下载openjdk3、安装4、验证1、官网官网地址:OpenJDK下载地址:Ar

基于.NET编写工具类解决JSON乱码问题

《基于.NET编写工具类解决JSON乱码问题》在开发过程中,我们经常会遇到JSON数据处理的问题,尤其是在数据传输和解析过程中,很容易出现编码错误导致的乱码问题,下面我们就来编写一个.NET工具类来解... 目录问题背景核心原理工具类实现使用示例总结在开发过程中,我们经常会遇到jsON数据处理的问题,尤其是

linux本机进程间通信之UDS详解

《linux本机进程间通信之UDS详解》文章介绍了Unix域套接字(UDS)的使用方法,这是一种在同一台主机上不同进程间通信的方式,UDS支持三种套接字类型:SOCK_STREAM、SOCK_DGRA... 目录基础概念本机进程间通信socket实现AF_INET数据收发示意图AF_Unix数据收发流程图A

linux环境openssl、openssh升级流程

《linux环境openssl、openssh升级流程》该文章详细介绍了在Ubuntu22.04系统上升级OpenSSL和OpenSSH的方法,首先,升级OpenSSL的步骤包括下载最新版本、安装编译... 目录一.升级openssl1.官网下载最新版openssl2.安装编译环境3.下载后解压安装4.备份

如何使用Docker部署FTP和Nginx并通过HTTP访问FTP里的文件

《如何使用Docker部署FTP和Nginx并通过HTTP访问FTP里的文件》本文介绍了如何使用Docker部署FTP服务器和Nginx,并通过HTTP访问FTP中的文件,通过将FTP数据目录挂载到N... 目录docker部署FTP和Nginx并通过HTTP访问FTP里的文件1. 部署 FTP 服务器 (

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo