xxl-job（分布式调度任务）

2023-12-04 09:30
文章标签 分布 任务 xxl job 式调度

本文主要是介绍xxl-job（分布式调度任务），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

简介

针对分布式任务调度的需求，市场上出现了很多的产品：
1)TBSchedule：淘宝推出的一款非常优秀的高性能分布式调度框架，目前被应用于阿里，京东，支付宝，国美等很多互联网企业的流程调度系统中。但是已经多年未更新，文档缺失严重，缺少维护。
2)xxl-job：大众点评的分布式任务调度平台，是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
3) Elastic-job：当当网借鉴TBSchedule并基于quartz二次开发的弹性分布式任务调度系统，功能丰富强大，采用zookeeper实现分布式协调，具有任务高可用以及分片功能。
4)Saturn：唯品会开源的一个分布式任务调度平台，基于Elastic-job,可以全域统一监控，具有任务高可用以及分片功能。
xxl-job是一个分布式任务调度平台，其核心设计目标是开发迅速，学习简单，轻最级，易扩展。现已开放源代码，并接入多家公司线上产品线，开箱即用。
源码地址
文档地址
image.png

特性

  • 简单灵活
    提供web页面对任务进行管理，管理系统支持用户管理，权限控制；
    支持容器部署；
    支持通过通用http提供跨平台任务调度；
  • 丰富的任务管理功能
    支持页面对任务crud操作；
    支持在页面编写脚本任务，命令行任务，java代码任务并执行；
    支持任务级联编排，父任务执行结束后触发子任务执行；
    支持设置指定任务执行节点路由策略，包括轮询，随机，广播，故障转移，忙碌转移等；
    支持cron方式，任务依赖，调度中心api接口方式触发任务执行
  • 高性能
    任务调度流程全异步化设计实现，如异步调度，异步运行，异步回调等，有效对密集调度进行流行削峰；
  • 高可用
    任务调度中心，任务执行节点均集群部署，支持动态扩展，故障转移
    支持任务配置路由故障转移策略，执行器节点不可用是自动转移到其他节点执行
    支持任务超时控制，失败重试配置
    支持任务处理阻塞策路：调度当任务执行节点忙碌时来不及执行任务的处理策略，包括：串行，抛弃，覆盖策略
  • 易于监控运维
    支持设置任务失败邮件告警，预留接口支持短信，钉钉告警；
    支持实时查看任务执行运行数据统计图表，任务进度监控数据，任务完整执行日志；

快速入门

image.png

  • 调度中心：负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。
  • 任务执行器：负责接收调度请求并执行任务逻辑
  • 任务：专注于任务的处理。
  • 调度中心会发出调度请求，任务执行副接收到请求之后会去执行任务，任务则专注于任务业务的处理。

环境搭建

调度中心环境要求
  • Maven 3+
  • jdk1.8+
  • MySQL 5.7+
源码仓库地址
  • GitHub - xuxueli/xxl-job: A distributed task scheduling framework.（分布式任务调度平台XXL-JOB）
  • 许雪里/xxl-job
初始化调度数据库

执行这个sql文件
image.png
建完后的表：
image.png
表解释：

  • xxl_job_lock：任务调度锁表；
  • xxl_job_group：执行器信息表，维护任务执行器信息；
  • xxl_job_info：调度扩展信息表：用于保存xxl-job调度任务的扩展信息，如任务分组，任务名，
  • 器地址，执行器，执行入参和报警邮件等等；
  • xxl_job_log：调度日志表：用于保存xxl-job任务调度的历史信息，如调度结果，调度机器和执行器等等；
  • xxl-job_logglue：任务GLUE日志：用于保存GLUE更新历史，用于支持GLUE的版本回溯功能；
  • xxl_job_registry：执行器注册表，维护在线的执行器和调度中心机器地址信息；
  • xxl_job_user：系统用户表；

调度中心支持集群部署，集群情况下各节点务必连接同一个mysdl实例；
如果mysql做主从，调度中心集群节点务必强制走主库；

编译源码

解压源码，按照Maven格式导入IDE，使用Maven编译即可。
image.png
修改配置为自己的：admin项目application.propertiesimage.png
启动admin项目，如果出现报错，则解决对应的报错即可。
登录xxl-job 的admin控制台
image.png
默认账密：
账号：admin
密码：123456

进入首页

image.png
也可以使用package去打包为jar包，然后通过java -jar xxl-job-admin.jar的方式去启动

创建执行器和任务

执行器中可以有具体的任务去执行。
执行器负责接收调度中心的调度并去执行里面的任务。

创建执行器

image.png
自动注册：调度中心会通过底层注册表去自动发现机器的地址。
创建执行器后，要在当前执行下指定具体的任务。

新增任务

image.png
路由策略：
image.png
阻塞处理策略：调度过于密集，执行器没资源去处理当下的请求，咋整？
image.png
JobHandler：用来关联后台的java代码

SpringBoot集成

可以直接使用这个项目，也可以自己单独创建一个SpringBoot项目。
image.png
先安装到本地，后续要依赖这个包
image.png
新建一个SpringBoot项目：xxl-job-core的版本可以看示例代码中的core版本
image.png
application的配置文件可以直接参考
image.png
执行器名称需要修改为之前我们自己创建的执行器
image.png
port在集群模式下需要注意，不要重复。
核心配置：
image.png
可以参考，xxl-job的代码示例：

package com.itheima.xxl.job.config;import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;/*** xxl-job config** @author xuxueli 2017-04-28*/
@Configuration
public class XxlJobConfig {private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);@Value("${xxl.job.admin.addresses}")private String adminAddresses;@Value("${xxl.job.accessToken}")private String accessToken;@Value("${xxl.job.executor.appname}")private String appName;@Value("${xxl.job.executor.address}")private String address;@Value("${xxl.job.executor.ip}")private String ip;@Value("${xxl.job.executor.port}")private int port;@Value("${xxl.job.executor.logpath}")private String logPath;@Value("${xxl.job.executor.logretentiondays}")private int logRetentionDays;@Beanpublic XxlJobSpringExecutor xxlJobExecutor() {logger.info(">>>>>>>>>>> xxl-job config init.");XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();xxlJobSpringExecutor.setAdminAddresses(adminAddresses);xxlJobSpringExecutor.setAppName(appName);xxlJobSpringExecutor.setAddress(address);xxlJobSpringExecutor.setIp(ip);xxlJobSpringExecutor.setPort(port);xxlJobSpringExecutor.setAccessToken(accessToken);xxlJobSpringExecutor.setLogPath(logPath);xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);return xxlJobSpringExecutor;}/*** 针对多网卡、容器内部署等情况，可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP；**      1、引入依赖：*          <dependency>*             <groupId>org.springframework.cloud</groupId>*             <artifactId>spring-cloud-commons</artifactId>*             <version>${version}</version>*         </dependency>**      2、配置文件，或者容器启动变量*          spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'**      3、获取IP*          String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();*/}

JobHandler中的名称写到XxlJob中注解的value位置，否则找不到这个任务。
image.png

application配置文件
# web port
server.port=8088
# no web
#spring.main.web-environment=false# log config
logging.config=classpath:logback.xml### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:8888/xxl-job-admin### xxl-job, access token
xxl.job.accessToken=### xxl-job executor appname
xxl.job.executor.appname=	task-demo
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
xxl.job.executor.address=
### xxl-job executor server-info
xxl.job.executor.ip=
xxl.job.executor.port= 9999
### xxl-job executor log-path
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job executor log-retention-days
xxl.job.executor.logretentiondays=30

这篇关于xxl-job（分布式调度任务）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/452959。

相关文章

解决systemctl reload nginx重启Nginx服务报错:Job for nginx.service invalid问题

解决systemctl reload nginx重启Nginx服务报错:Job for nginx.service invalid问题

《解决systemctlreloadnginx重启Nginx服务报错:Jobfornginx.serviceinvalid问题》文章描述了通过`systemctlstatusnginx.se... 目录systemctl reload nginx重启Nginx服务报错:Job for nginx.javas
阅读更多...
Python Invoke自动化任务库的使用

Python Invoke自动化任务库的使用

《PythonInvoke自动化任务库的使用》Invoke是一个强大的Python库,用于编写自动化脚本,本文就来介绍一下PythonInvoke自动化任务库的使用,具有一定的参考价值,感兴趣的可以... 目录什么是 Invoke？如何安装 Invoke？Invoke 基础1. 运行测试2. 构建文档3.
阅读更多...
解决Cron定时任务中Pytest脚本无法发送邮件的问题

解决Cron定时任务中Pytest脚本无法发送邮件的问题

《解决Cron定时任务中Pytest脚本无法发送邮件的问题》文章探讨解决在Cron定时任务中运行Pytest脚本时邮件发送失败的问题,先优化环境变量,再检查Pytest邮件配置,接着配置文件确保SMT... 目录引言1. 环境变量优化：确保Cron任务可以正确执行解决方案：1.1. 创建一个脚本1.2. 修
阅读更多...
Java实现任务管理器性能网络监控数据的方法详解

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五
阅读更多...
如何使用celery进行异步处理和定时任务(django)

如何使用celery进行异步处理和定时任务(django)

《如何使用celery进行异步处理和定时任务(django)》文章介绍了Celery的基本概念、安装方法、如何使用Celery进行异步任务处理以及如何设置定时任务,通过Celery,可以在Web应用中... 目录一、celery的作用二、安装celery三、使用celery 异步执行任务四、使用celery
阅读更多...
springboot整合 xxl-job及使用步骤

springboot整合 xxl-job及使用步骤

《springboot整合xxl-job及使用步骤》XXL-JOB是一个分布式任务调度平台,用于解决分布式系统中的任务调度和管理问题,文章详细介绍了XXL-JOB的架构,包括调度中心、执行器和Web... 目录一、xxl-job是什么二、使用步骤1. 下载并运行管理端代码2. 访问管理页面，确认是否启动成功
阅读更多...
什么是cron? Linux系统下Cron定时任务使用指南

什么是cron? Linux系统下Cron定时任务使用指南

《什么是cron?Linux系统下Cron定时任务使用指南》在日常的Linux系统管理和维护中，定时执行任务是非常常见的需求，你可能需要每天执行备份任务、清理系统日志或运行特定的脚本，而不想每天... 在管理 linux 服务器的过程中，总有一些任务需要我们定期或重复执行。就比如备份任务，通常会选在服务器资
阅读更多...
FreeRTOS学习笔记（二）任务基础篇

FreeRTOS学习笔记（二）任务基础篇

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、 任务的基本内容1.1 任务的基本特点1.2 任务的状态1.3 任务控制块——任务的“身份证” 二、 任务的实现2.1 定义任务函数2.2 创建任务2.3 启动任务调度器2.4 任务的运行与切换2.4.1 利用延时函数2.4.2 利用中断 2.5 任务的通信与同步2.6 任务的删除2.7 任务的通知2
阅读更多...
Flink任务重启策略

Flink任务重启策略

概述 Flink支持不同的重启策略，以在故障发生时控制作业如何重启集群在启动时会伴随一个默认的重启策略，在没有定义具体重启策略时会使用该默认策略。如果在工作提交时指定了一个重启策略，该策略会覆盖集群的默认策略默认的重启策略可以通过 Flink 的配置文件 flink-conf.yaml 指定。配置参数 restart-strategy 定义了哪个策略被使用。常用的重启策略： 固定间隔 (Fixe
阅读更多...
第49课 Scratch入门篇：骇客任务背景特效

第49课 Scratch入门篇：骇客任务背景特效

骇客任务背景特效 故事背景：   骇客帝国特色背景在黑色中慢慢滚动着！ 程序原理：  1 、 角色的设计技巧  2 、克隆体的应用及特效的使用 开始编程   1、使用 黑色的背景： ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/7d74c872f06b4d9fbc88aecee634b074.png#pic_center)   2
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2