xxl-job（分布式调度任务）

2023-12-04 07:36
文章标签 分布 任务 xxl job 式调度

本文主要是介绍xxl-job（分布式调度任务），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

简介

针对分布式任务调度的需求，市场上出现了很多的产品：
1)TBSchedule：淘宝推出的一款非常优秀的高性能分布式调度框架，目前被应用于阿里，京东，支付宝，国美等很多互联网企业的流程调度系统中。但是已经多年未更新，文档缺失严重，缺少维护。
2)xxl-job：大众点评的分布式任务调度平台，是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
3) Elastic-job：当当网借鉴TBSchedule并基于quartz二次开发的弹性分布式任务调度系统，功能丰富强大，采用zookeeper实现分布式协调，具有任务高可用以及分片功能。
4)Saturn：唯品会开源的一个分布式任务调度平台，基于Elastic-job,可以全域统一监控，具有任务高可用以及分片功能。
xxl-job是一个分布式任务调度平台，其核心设计目标是开发迅速，学习简单，轻最级，易扩展。现已开放源代码，并接入多家公司线上产品线，开箱即用。
源码地址
文档地址
image.png

特性

  • 简单灵活
    提供web页面对任务进行管理，管理系统支持用户管理，权限控制；
    支持容器部署；
    支持通过通用http提供跨平台任务调度；
  • 丰富的任务管理功能
    支持页面对任务crud操作；
    支持在页面编写脚本任务，命令行任务，java代码任务并执行；
    支持任务级联编排，父任务执行结束后触发子任务执行；
    支持设置指定任务执行节点路由策略，包括轮询，随机，广播，故障转移，忙碌转移等；
    支持cron方式，任务依赖，调度中心api接口方式触发任务执行
  • 高性能
    任务调度流程全异步化设计实现，如异步调度，异步运行，异步回调等，有效对密集调度进行流行削峰；
  • 高可用
    任务调度中心，任务执行节点均集群部署，支持动态扩展，故障转移
    支持任务配置路由故障转移策略，执行器节点不可用是自动转移到其他节点执行
    支持任务超时控制，失败重试配置
    支持任务处理阻塞策路：调度当任务执行节点忙碌时来不及执行任务的处理策略，包括：串行，抛弃，覆盖策略
  • 易于监控运维
    支持设置任务失败邮件告警，预留接口支持短信，钉钉告警；
    支持实时查看任务执行运行数据统计图表，任务进度监控数据，任务完整执行日志；

快速入门

image.png

  • 调度中心：负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。
  • 任务执行器：负责接收调度请求并执行任务逻辑
  • 任务：专注于任务的处理。
  • 调度中心会发出调度请求，任务执行副接收到请求之后会去执行任务，任务则专注于任务业务的处理。

环境搭建

调度中心环境要求
  • Maven 3+
  • jdk1.8+
  • MySQL 5.7+
源码仓库地址
  • GitHub - xuxueli/xxl-job: A distributed task scheduling framework.（分布式任务调度平台XXL-JOB）
  • 许雪里/xxl-job
初始化调度数据库

执行这个sql文件
image.png
建完后的表：
image.png
表解释：

  • xxl_job_lock：任务调度锁表；
  • xxl_job_group：执行器信息表，维护任务执行器信息；
  • xxl_job_info：调度扩展信息表：用于保存xxl-job调度任务的扩展信息，如任务分组，任务名，
  • 器地址，执行器，执行入参和报警邮件等等；
  • xxl_job_log：调度日志表：用于保存xxl-job任务调度的历史信息，如调度结果，调度机器和执行器等等；
  • xxl-job_logglue：任务GLUE日志：用于保存GLUE更新历史，用于支持GLUE的版本回溯功能；
  • xxl_job_registry：执行器注册表，维护在线的执行器和调度中心机器地址信息；
  • xxl_job_user：系统用户表；

调度中心支持集群部署，集群情况下各节点务必连接同一个mysdl实例；
如果mysql做主从，调度中心集群节点务必强制走主库；

编译源码

解压源码，按照Maven格式导入IDE，使用Maven编译即可。
image.png
修改配置为自己的：admin项目application.propertiesimage.png
启动admin项目，如果出现报错，则解决对应的报错即可。
登录xxl-job 的admin控制台
image.png
默认账密：
账号：admin
密码：123456

进入首页

image.png
也可以使用package去打包为jar包，然后通过java -jar xxl-job-admin.jar的方式去启动

创建执行器和任务

执行器中可以有具体的任务去执行。
执行器负责接收调度中心的调度并去执行里面的任务。

创建执行器

image.png
自动注册：调度中心会通过底层注册表去自动发现机器的地址。
创建执行器后，要在当前执行下指定具体的任务。

新增任务

image.png
路由策略：
image.png
阻塞处理策略：调度过于密集，执行器没资源去处理当下的请求，咋整？
image.png
JobHandler：用来关联后台的java代码

SpringBoot集成

可以直接使用这个项目，也可以自己单独创建一个SpringBoot项目。
image.png
先安装到本地，后续要依赖这个包
image.png
新建一个SpringBoot项目：xxl-job-core的版本可以看示例代码中的core版本
image.png
application的配置文件可以直接参考
image.png
执行器名称需要修改为之前我们自己创建的执行器
image.png
port在集群模式下需要注意，不要重复。
核心配置：
image.png
可以参考，xxl-job的代码示例：

package com.itheima.xxl.job.config;import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;/*** xxl-job config** @author xuxueli 2017-04-28*/
@Configuration
public class XxlJobConfig {private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);@Value("${xxl.job.admin.addresses}")private String adminAddresses;@Value("${xxl.job.accessToken}")private String accessToken;@Value("${xxl.job.executor.appname}")private String appName;@Value("${xxl.job.executor.address}")private String address;@Value("${xxl.job.executor.ip}")private String ip;@Value("${xxl.job.executor.port}")private int port;@Value("${xxl.job.executor.logpath}")private String logPath;@Value("${xxl.job.executor.logretentiondays}")private int logRetentionDays;@Beanpublic XxlJobSpringExecutor xxlJobExecutor() {logger.info(">>>>>>>>>>> xxl-job config init.");XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();xxlJobSpringExecutor.setAdminAddresses(adminAddresses);xxlJobSpringExecutor.setAppName(appName);xxlJobSpringExecutor.setAddress(address);xxlJobSpringExecutor.setIp(ip);xxlJobSpringExecutor.setPort(port);xxlJobSpringExecutor.setAccessToken(accessToken);xxlJobSpringExecutor.setLogPath(logPath);xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);return xxlJobSpringExecutor;}/*** 针对多网卡、容器内部署等情况，可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP；**      1、引入依赖：*          <dependency>*             <groupId>org.springframework.cloud</groupId>*             <artifactId>spring-cloud-commons</artifactId>*             <version>${version}</version>*         </dependency>**      2、配置文件，或者容器启动变量*          spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'**      3、获取IP*          String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();*/}

JobHandler中的名称写到XxlJob中注解的value位置，否则找不到这个任务。
image.png

application配置文件
# web port
server.port=8088
# no web
#spring.main.web-environment=false# log config
logging.config=classpath:logback.xml### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:8888/xxl-job-admin### xxl-job, access token
xxl.job.accessToken=### xxl-job executor appname
xxl.job.executor.appname=	task-demo
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
xxl.job.executor.address=
### xxl-job executor server-info
xxl.job.executor.ip=
xxl.job.executor.port= 9999
### xxl-job executor log-path
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job executor log-retention-days
xxl.job.executor.logretentiondays=30

这篇关于xxl-job（分布式调度任务）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/452655。

相关文章

FreeRTOS学习笔记（二）任务基础篇

FreeRTOS学习笔记（二）任务基础篇

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、 任务的基本内容1.1 任务的基本特点1.2 任务的状态1.3 任务控制块——任务的“身份证” 二、 任务的实现2.1 定义任务函数2.2 创建任务2.3 启动任务调度器2.4 任务的运行与切换2.4.1 利用延时函数2.4.2 利用中断 2.5 任务的通信与同步2.6 任务的删除2.7 任务的通知2
阅读更多...
Flink任务重启策略

Flink任务重启策略

概述 Flink支持不同的重启策略，以在故障发生时控制作业如何重启集群在启动时会伴随一个默认的重启策略，在没有定义具体重启策略时会使用该默认策略。如果在工作提交时指定了一个重启策略，该策略会覆盖集群的默认策略默认的重启策略可以通过 Flink 的配置文件 flink-conf.yaml 指定。配置参数 restart-strategy 定义了哪个策略被使用。常用的重启策略： 固定间隔 (Fixe
阅读更多...
第49课 Scratch入门篇：骇客任务背景特效

第49课 Scratch入门篇：骇客任务背景特效

骇客任务背景特效 故事背景：   骇客帝国特色背景在黑色中慢慢滚动着！ 程序原理：  1 、 角色的设计技巧  2 、克隆体的应用及特效的使用 开始编程   1、使用 黑色的背景： ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/7d74c872f06b4d9fbc88aecee634b074.png#pic_center)   2
阅读更多...
全英文地图/天地图和谷歌瓦片地图杂交/设备分布和轨迹回放/无需翻墙离线使用

全英文地图/天地图和谷歌瓦片地图杂交/设备分布和轨迹回放/无需翻墙离线使用

一、前言说明 随着风云局势的剧烈变化，对我们搞软件开发的人员来说，影响也是越发明显，比如之前对美对欧的软件居多，现在慢慢的变成了对大鹅和中东以及非洲的居多，这两年明显问有没有俄语或者阿拉伯语的输入法的增多，这要是放在2019年以前，一年也遇不到一个人问这种需求场景的。 地图应用这块也是，之前的应用主要在国内，现在慢慢的多了一些外国的应用场景，这就遇到一个大问题，我们平时主要开发用的都是国内的地
阅读更多...
AsyncTask 异步任务解析

AsyncTask 异步任务解析

1：构建AsyncTask 子类的回调方法： A：doInBackground:   必须重写，所有的耗时操作都在这个里面进行； B: onPreExecute:     用户操作数据前的调用； 例如：显示一个进度条 等 ； C: onPostExecute:    当doInBackground 执行完成后；会自动把数据传给onPostExecute方法；也就是说：这个方法是处理返回的数据的方法
阅读更多...
使用Node-API进行异步任务开发

使用Node-API进行异步任务开发

一、Node-API异步任务机制概述         Node-API异步任务开发主要用于执行耗时操作的场景中使用，以避免阻塞主线程，确保应用程序的性能和响应效率。         1、应用场景： 文件操作：读取大型文件或执行复杂的文件操作时，可以使用异步工作项来避免阻塞主线程。网络请求：当需要进行网络请求并等待响应时，可以使用异步工作项来避免阻塞主线程，从而提高应用程序的响应性能。数据库操
阅读更多...
探索Invoke：Python自动化任务的瑞士军刀

探索Invoke：Python自动化任务的瑞士军刀

文章目录 探索Invoke：Python自动化任务的瑞士军刀背景：为何选择Invoke？`invoke`是什么？如何安装`invoke`？简单的`invoke`库函数使用方法场景应用：`invoke`在实际项目中的使用场景一：自动化测试场景二：代码格式化场景三：部署应用 常见问题与解决方案问题一：命令执行失败问题二：权限不足问题三：并发执行问题 总结 探索Invoke：P
阅读更多...
RISC-V （十）任务同步和锁

RISC-V （十）任务同步和锁

并发与同步 并发：指多个控制流同时执行。         多处理器多任务。一般在多处理器架构下内存是共享的。           单处理器多任务，通过调度器，一会调度这个任务，一会调度下个任务。  共享一个处                                理器一个内存。                 单处理器任务+中断： 同步： 是为了保证在并发执行的环境中各个控制流可
阅读更多...
145-Linux权限维持Rootkit后门Strace监控Alias别名Cron定时任务

145-Linux权限维持Rootkit后门Strace监控Alias别名Cron定时任务

参考 【权限维持】Linux&Rootkit后门&Strace监控&Alias别名&Cron定时任务_alias ls='alerts(){ ls $* --color=auto;python -c "-CSDN博客 参考 FlowUs 息流 - 新一代生产力工具 权限维持-Linux-定时任务-Cron后门 利用系统的定时任务功能进行反弹Shell 1、编辑后门反弹shell脚本
阅读更多...
环形定时任务 原理

环形定时任务 原理

业务背景 在稍微复杂点业务系统中，不可避免会碰到做定时任务的需求，比如淘宝的交易超时自动关闭订单、超时自动确认收货等等。对于一些定时作业比较多的系统，通常都会搭建专门的调度平台来管理，通过创建定时器来周期性执行任务。如刚才所说的场景，我们可以给订单创建一个专门的任务来处理交易状态，每秒轮询一次订单表，找出那些符合超时条件的订单然后标记状态。这是最简单粗暴的做法，但明显也很low，自己都下不去手写
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2