Linux部署调度工具xxl-job

2024-06-04 17:04
文章标签 工具 linux 部署 调度 xxl job

本文主要是介绍Linux部署调度工具xxl-job,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景:
Pentaho Data Integration(kettle)作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix,linux平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候,通常采用以下几种方式:使用spoon程序来启动Job,使用crontab或计划任务,自主开发java程序来调用kettle的类库

xxl-job介绍
​ xxl-job是一个分布式的任务调度平台,其核心设计目标是:学习简单、开发迅速、轻量级、易扩展,现在已经开放源代码并接入多家公司的线上产品线,开箱即用。xxl是xxl-job的开发者大众点评的许雪里名称的拼音开头

Linux部署xxl-job

  1. 准备 xxl-job 离线tar包
  • xxl-job-2.3.0.tar.gz
  • apache-maven-3.8.5-bin.tar.gz
  • jdk-8u211-linux-x64.tar.gz
  1. 上传资源到linux服务器
  • cd /usr/local
  • mkdir xxl-job
  • cd xxl-job
  • rz

[root@Online local]# cd /usr/local/
[root@Online local]# mkdir xxl-job
[root@Online local]# cd xxl-job/
[root@Online xxl-job]# rz
在这里插入图片描述
3. 部署maven环境

  • 解压apache-maven-3.8.5-bin.tar.gz
    tar -xvzf apache-maven-3.8.5-bin.tar.gz

在这里插入图片描述

  • 重命名apache-maven-3.8.5为maven
    mv apache-maven-3.8.5 maven
    在这里插入图片描述
  1. 部署jdk
  • 解压jdk-8u211-linux-x64.tar.gz
    tar -xvzf jdk-8u211-linux-x64.tar.gz -C /usr/local/xxl-job
    在这里插入图片描述
  • 重命名jdk1.8.0_211为java
    在这里插入图片描述
  • 移动maven到java目录下
    mv maven java/在这里插入图片描述
  1. 配置环境变量
  • 配置jdk,maven
    vim /etc/profile

JAVA_HOME=/usr/local/xxl-job/java
MAVEN_HOME=/usr/local/xxl-job/java/maven
PATH= P A T H : PATH: PATH:JAVA_HOME/bin:$MAVEN_HOME/bin
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL JAVA_HOME MAVEN_HOME
在这里插入图片描述

  • 刷新配置
    source /etc/profile
    在这里插入图片描述
  • 验证是否部署成功
    java -version
    在这里插入图片描述
    mvn -v
    在这里插入图片描述
  1. 创建xxl-job数据库
    在这里插入图片描述
    在这里插入图片描述
  2. 解压xxl-job-2.3.0.tar.gz

tar -xzf xxl-job-2.3.0.tar.gz
在这里插入图片描述
8. 更改配置文件

  • 修改数据库信息,其他的端口用户密码等这里用默认的
    cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-admin/src/main/resources
    vim application.properties
    在这里插入图片描述
  • 更改日志路径
    vim logback.xml
    /data/applogs/xxl-job/xxl-job-admin.log -->/usr/local/xxl-job/xxl-job-admin.log
    在这里插入图片描述
  • 更改执行器文件
    cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/resources
    vim application.properties
    在这里插入图片描述
  • 更改logback.xml文件
    /data/applogs/xxl-job/xxl-job-executor-sample-springboot.log -->/usr/local/xxl-job/xxl-job-executor-sample-springboot.log
    在这里插入图片描述
  1. mvn编译
    cd /usr/local/xxl-job/xxl-job-2.3.0
    在这里插入图片描述

mvn package
在这里插入图片描述
10. 启动xxl-job-admin-2.3.0.jar
cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-admin/target
nohup java -jar xxl-job-admin-2.3.0.jar > xxl-job-admin.log 2>&1 &
在这里插入图片描述

  1. 启动xxl-job-executor-sample-springboot-2.3.0.jar
    cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-executor-samples/xxl-job-executor-sample-springboot/target
    nohup java -jar xxl-job-executor-sample-springboot-2.3.0.jar > xxl-job-excutor.log 2>&1 &
    在这里插入图片描述
  2. 确认服务已启动
    在这里插入图片描述
  3. 访问http://47.100.172.180:8080/xxl-job-admin/ 这里用公网IP
    在这里插入图片描述
  4. 编辑执行器
    在这里插入图片描述
  5. 新增调度任务
    在这里插入图片描述
    运行shell脚本命令
    在这里插入图片描述
    手动调度执行一次
    在这里插入图片描述
    查看调度是否成功
    在这里插入图片描述
    查看整体运行报表
    在这里插入图片描述
    如果你正在寻找一个易于使用的任务调度工具,xxl-job值得一试。立即使用xxl-job开始你的数据自动化之旅吧!
    资源包地址
    如内容有错欢迎大家指正!!!
    读后有疑问请加QQ群!作者个人qq:420773639
    在这里插入图片描述

这篇关于Linux部署调度工具xxl-job的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1030597

相关文章

闲置电脑也能活出第二春?鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言,在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况,这使得“存储焦虑”不再是个别现象,而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得,我们似乎正处在互联网信息飞速增长的阶段,对于存储的需求也将会不断扩大。对于苹果用户而言,这一问题愈发严峻,毕竟512GB和1TB版本的iPhone可不是人人都消费得起的,因此成熟的外置存储方案开

linux-基础知识3

打包和压缩 zip 安装zip软件包 yum -y install zip unzip 压缩打包命令: zip -q -r -d -u 压缩包文件名 目录和文件名列表 -q:不显示命令执行过程-r:递归处理,打包各级子目录和文件-u:把文件增加/替换到压缩包中-d:从压缩包中删除指定的文件 解压:unzip 压缩包名 打包文件 把压缩包从服务器下载到本地 把压缩包上传到服务器(zip

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

高效录音转文字:2024年四大工具精选!

在快节奏的工作生活中,能够快速将录音转换成文字是一项非常实用的能力。特别是在需要记录会议纪要、讲座内容或者是采访素材的时候,一款优秀的在线录音转文字工具能派上大用场。以下推荐几个好用的录音转文字工具! 365在线转文字 直达链接:https://www.pdf365.cn/ 365在线转文字是一款提供在线录音转文字服务的工具,它以其高效、便捷的特点受到用户的青睐。用户无需下载安装任何软件,只

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

Linux_kernel驱动开发11

一、改回nfs方式挂载根文件系统         在产品将要上线之前,需要制作不同类型格式的根文件系统         在产品研发阶段,我们还是需要使用nfs的方式挂载根文件系统         优点:可以直接在上位机中修改文件系统内容,延长EMMC的寿命         【1】重启上位机nfs服务         sudo service nfs-kernel-server resta

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具,采用无代理架构(agentless),基于 SSH 连接进行管理,具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用,旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念