阿里巴巴任务调度SchedulerX2.0兼容XXL-JOB

2023-11-10 20:59

本文主要是介绍阿里巴巴任务调度SchedulerX2.0兼容XXL-JOB,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景介绍

XXL-JOB是一个开箱即用的轻量级分布式任务调度系统,其核心设计目标是开发迅速、学习简单、轻量级、易扩展,在开源社区广泛流行,已在多家公司投入使用。

因为XXL-JOB开源协议是GPL,云厂商无法直接商业化托管该产品,各大中小企业需要自建,增加了学习成本、机器成本、人工运维成本。

阿里巴巴任务调度平台SchedulerX2.0兼容XXL-JOB任务接口,支持@XxlJob新注解和@JobHandler老注解方式,用户不需要修改一行代码,即可以将XXL-JOB任务在SchedulerX2.0平台上托管。

托管XXL-JOB的优势

免运维、低成本

自建XXL-JOB至少需要2个server+1个数据库

托管XXL-JOB可以省去机器成本,省去人力运维成本

海量任务、精准调度

开源XXL-JOB基于竞争数据库锁保证只有一个节点执行任务,对于数据库有压力,据统计,当任务超过1万,都是分钟级别的任务时,就会有比较明显的调度延时,如果是秒级别任务,延时就更加明显。

SchedulerX2.0采用分布式架构,不同的server调度不同的任务,且无锁竞争,真正实现可以水平扩展,可以支持百万级别任务调度。针对秒级别任务低延时的特性,采用了专门的架构,占用资源极低,可以作为实时业务的秒级别调度场景。

另外,SchedulerX2.0还支持一次性任务,可以指定未来某个时刻执行一次任务,执行完任务自动销毁,可以作为定时通知、订单定时关闭等场景。

丰富的可视化

schedulerx拥有丰富的可视化能力,比如

  • 用户大盘

  • 查看任务历史执行记录

  • 查看任务运行日志

  • 查看任务运行堆栈

  • 查看任务操作记录

高级特性

  • 任务编排:支持工作流(DAG)进行任务编排,操作简单,前端直接单手操作拖拖拽拽即可。详细的任务状态图能一目了然看到下游任务为什么没跑。

  • 限流:常见场景是夜间离线报表业务,比如很多报表任务是晚上1、2点开始跑,要控制应用最大并发的任务数量(否则业务扛不住),达到并发上限的任务会在队列中等待。同时要求早上9点前必须把KPI报表跑出来,可以设置KPI任务高优先级,会抢占低优先级任务优先调度。

SchedulerX支持可抢占的任务优先级队列,只需要在控制台进行配置

  • 资源隔离:支持命名空间和应用级别资源隔离,支持多租户权限管理

企业级高可用

SchedulerX2.0采用高可用架构,任务多备份机制,经历阿里集团多年双十一、容灾演练,可以做到整个集群挂掉任意2个节点或者任意一个机房断电,任务调度都不会收到影响。

商业化报警运维

  • 报警:支持邮件、钉钉、短信、电话,其他报警方式在规划中。支持任务失败、超时、无可用机器报警。报警内容可以简单的看出任务失败的原因,以钉钉机器人为例

  • 运维操作:原地重跑、重刷数据、标记成功、查看堆栈、停止任务、指定机器等

与开源XXL-JOB区别

开源xxl-job

SchedulerX为底座的xxl-job任务

Bean模式

新版本@XxlJob注解,老版本@JobHandler注解,不兼容

同时兼容@XxlJob注解和@JobHandler注解

GLUE(JAVA)

支持

不支持(有计划)

Shell

支持

支持

Nodejs

支持

支持

http

不支持

支持

单机

支持

支持

分片广播

支持

支持

路由策略

第一个、最后一个、轮询、随机等

轮询

定时

cron

cron、fixed_rate、fixed_delay、one_time

工作流

不支持

支持

运维操作

运行一次

运行一次、原地重跑、重刷数据、标记成功、停止运行

报警

邮件

邮件、钉钉群、短信、电话

如何接入(有完整demo可供下载)

接入配置

将com.xuxueli:xxl-job-core的依赖去除,增加schedulerx客户端的依赖和com.aliyun:schedulerx2-plugin-xxljob这个插件,以schedulerx2-spring-boot-starter为例:

因为xxl-job在2.3.x版本重构了接口,请根据xxl-job版本选择不同的接入方式

  • 2.3.x版本接入,参考demo
<!-- 注释xxl-job-core -->
<!--
<dependency><groupId>com.xuxueli</groupId><artifactId>xxl-job-core</artifactId><version>${project.parent.version}</version>
</dependency>
--><dependency><groupId>com.aliyun.schedulerx</groupId><artifactId>schedulerx2-spring-boot-starter</artifactId><version>1.4.0</version>
</dependency><dependency><groupId>com.aliyun.schedulerx</groupId><artifactId>schedulerx2-plugin-xxljob</artifactId><version>2.3.0</version>
</dependency>
  • 2.3.0以下版本接入,参考demo
<!-- 注释xxl-job-core -->
<!--
<dependency><groupId>com.xuxueli</groupId><artifactId>xxl-job-core</artifactId><version>${project.parent.version}</version>
</dependency>
--><dependency><groupId>com.aliyun.schedulerx</groupId><artifactId>schedulerx2-spring-boot-starter</artifactId><version>1.4.0</version>
</dependency><dependency><groupId>com.aliyun.schedulerx</groupId><artifactId>schedulerx2-plugin-xxljob</artifactId><version>1.3.4.1</version>
</dependency>

application.properties增加配置

spring.schedulerx2.endpoint=xxxxxxx
spring.schedulerx2.namespace=xxxxxxx
spring.schedulerx2.groupId=xxxxxxxx
spring.schedulerx2.appKey=xxxxxxx

创建任务

@XxlJob方法注解

以xxl-job-2.2.1接口为例,参考开源xxl-job-executor-sample-springboot工程,新建方法任务

控制台新建任务

手动运行一次,可以打印任务参数

@JobHandler类注解

新建代码如下

控制台新建任务如下

成功打印任务参数:

分片广播

以XxlJob方法注解为例,新建代码如下

控制台新建任务

启动2个客户端实例,运行一次,分别打印

XXL-JOB批量迁移工具

导出xxl-job任务配置

  1. 下载工具,地址:https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/tools/xxljob-export.tar.gz
  2. 解压工具包,在application.properties文件中进行导出配置

### xxl-job, datasource
datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
datasource.username=root
datasource.password=123456
datasource.driver-class-name=com.mysql.cj.jdbc.Driver### 配置对应要导出的app-name(该步骤可选,不设置的情况下导出所有任务分组)
#xxl-job.app-name=xxl-job-executor-sample
  1. 执行./start.sh命令运行导出操作

  1. 执行完成后,在当前目录下获得 "xxljob_*******.json"的任务配置文件(仅Bean模式的任务配置信息)

任务导入SchedulerX

1. 进入SchedulerX控制台,进入“任务管理”菜单,选择“应用”->“导入任务”

2. 选择上节中导出的任务配置文件执行导入,即可完成xxl-job任务配置信息至SchedulerX任务配置信息同步。


原文链接:阿里巴巴任务调度SchedulerX兼容XXL-JOB-阿里云开发者社区

这篇关于阿里巴巴任务调度SchedulerX2.0兼容XXL-JOB的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/385215

相关文章

zeroclipboard 粘贴板的应用示例, 兼容 Chrome、IE等多浏览器

zeroclipboard单个复制按钮和多个复制按钮的实现方法 最近网站改版想让复制代码功能在多个浏览器上都可以实现,最近看网上不少说我们的代码复制功能不好用的,我们最近将会增加代码高亮等功能,希望大家多多支持我们 zeroclipboard是一个跨浏览器的库类 它利用 Flash 进行复制,所以只要浏览器装有 Flash 就可以运行,而且比 IE 的

你的应用与Solaris 11兼容吗?

用户现在可以下载开发者预览版的Solaris 11,它内置在名为Solaris 11 Express的软件产品中,甲骨文已在去年11月发布了该产品。如今,甲骨文发布了一款新的甲骨文Solaris 11兼容性检查工具(Oracle Solaris 11 Compatibility Checker Tool),加强了Solaris 11方面的开发工作。对于甲骨文和Solaris的用户来说,这是重

关于iReport5.6.0无法正常启动或者闪退或者JDK8不兼容的解决方案

我下载了iReport5.6.0 版本的,启动不起来;jdk 1.8 下载iReport5.6.0地址:https://download.csdn.net/download/u013456370/10589765 参考链接:https://blog.csdn.net/erlian1992/article/details/76359191?locationNum=6&fps=1 如果是停留在这

三维布尔运算对不规范几何数据的兼容处理

1.前言 上一篇文章谈过八叉树布尔运算,对于规范几何数据的情况是没有问题的。 在实际情况中,由于几何数据来源不一,处理和生成方式不一,我们无法保证进行布尔运算的几何数据都是规范的,对于不规范情况有时候也有需求,这就需要兼容不规范数据情况,当然这种兼容不是一味的让步,而是对于存在有限的不规范数据的兼容处理。 2.原始数据示例 下图是一个大坝模型和之上要对其进行布尔运算的立方体。 大坝模型由

兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)

Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog,并为其提供原生高性能且稳定的访问能力,以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加,新的数据源连接需求也随之增加。因此,从 3.0 版本开始,Apache Doris 引入了 Trino Connector 兼容框架。 Tri

HBase抗战总结 | 阿里巴巴HBase高可用8年抗战回忆录

前言 2011年毕玄和竹庄两位大神将HBase引入阿里技术体系,2014年接力棒转到东8区第一位HBase commiter天梧手中,多年来与淘宝、旺旺、菜鸟、支付宝、高德、大文娱、阿里妈妈等几乎全BU合作伙伴携手共进,支撑了双十一大屏、支付宝账单、支付宝风控、物流详情等核心业务。2018年双十一,HBase全天处理请求2.4万亿行,单集群吞吐达到千万级别。从一个婴儿成长为青年,阿里HBase

XXL-JOB实践:从零开始构建你的任务调度系统

目录 一、序言1、系统组成2、架构图 二、部署调度中心1、下载源码2、执行数据库脚本3、修改application.properties配置文件4、启动调度中心 三、部署执行器1、引入依赖2、执行器配置2.1 XxlJobProperties属性文件2.2 XxlJobConfig配置类2.3 XxlJobHanlder作业处理器2.4 application.yml 3、启动执行器 四、调

多字节、宽字节、兼容字节(TEXT) 相关操作汇总

常用函数对照 ANSIUNICODE通用说明数据类型(char.h)(wchar.h)(tchar.h) charwchar_tTCHAR char *wchar_t *TCHAR* LPSTRLPWSTRLPTSTR LPCSTRLPCWSTRLPCTSTR     字符串转换atoi_wtoi_ttoi把字符串转换成整数(int)atol_wtol_ttol把字符串转换成长整型数(long)

android 兼容API的检查

读之前可以了解一下api levels的知识:Android中文翻译组的:Android开发者指南(10) —— Android API Levels 一,使用高版本API要注意的问题 在项目开发中:由于经验和其他条件的制约,如没有查看API出现的版本,对过时API没有作兼容等等。 可能出现下面的问题: 当你的代码使用一个高版本的API, 应用运行

苹果HEIC格式无法兼容,怎么把EIC格式转换为jpg格式

随着苹果设备的普及,HEIC格式作为苹果设备特有的图片格式,其高效性和高质量的图像特点得到了广大用户的青睐。然而,由于HEIC格式的特殊性,它在非苹果设备或一些老旧软件上的兼容性并不理想。怎么把苹果heic格式转换jpg成为了许多用户的需求。本文将介绍3种将苹果HEIC格式转换为JPG的方法,帮助用户轻松解决兼容性问题。 一、使用苹果设备自带的软件 对于苹果用户来说,使用设备自带的软件是最简单