分布式弹性调度系统Elastic-Job源码设计原理V0.6

2023-10-10 19:50

本文主要是介绍分布式弹性调度系统Elastic-Job源码设计原理V0.6,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

大家好,在这里为大家持续分享下分布式调度系统源码设计,使用原理系列教程,文章发布自公众号:中间件源码 感兴趣可以关注下

目录

  • Elastic-Job2.1.5源码-分布式弹性调度系统的简介
    • 1 Elastic-Job2.1.5源码-分布式弹性调度系统的简介
      • 1.1 项目介绍
      • 1.2 分布式弹性调度系统特征
    • 2 Elastic-Job的使用
      • 2.1 使用Java代码创建第一个调度例子
      • 2.2 使用Spring配置一个作业
  • Elastic-Job2.1.5源码-调度注册中心的设计原理
    • 3 注册中心的设计原理
      • 3.1 调度系统使用Zookeeper做什么
      • 3.2 调度系统注册中心设计
      • 3.3 Zookeeper配置详解
      • 3.4 ZookeeperRegistryCenter原理解析
      • 3.5 注册中心常用操作方法
  • Elastic-Job2.1.5源码-Builder建造者设计模式构造复杂的作业配置
    • 4 作业配置的设计原理
      • 4.1 作业配置示例
      • 4.2 作业配置的类结构信息
      • 4.3 常见配置类属性讲解
  • Elastic-Job2.1.5源码-定制化调度作业模版的设计
    • 5 定制化调度作业模版的设计
      • 5.1 调度作业的类型
      • 5.2 ElasticJob弹性作业接口
      • 5.3 SimpleJob简单类型作业接口
      • 5.4 DataflowJob数据流类型作业接口
      • 5.5 ScriptJob脚本类型作业接口
  • Elastic-Job2.1.5源码-调度作业的配置是如何在分布式场景下存储的?
    • 6 作业调度器初始化
      • 6.1 作业调度器初始化示例代码
      • 6.2 init初始化方法
        • 6.2.1 init源码
      • 6.3 分布式环境下调度配置持久化原理
        • 6.3.1 配置加载持久化说明
        • 6.3.2 持久化作业配置到Zookeeper
        • 6.3.3 加载Zookeeper配置信息到本地内存
        • 6.3.4 配置加载流程
  • Elastic-Job2.1.5源码-线程安全的单例模式设计全局作业注册表JobRegistry
      • 6.4 注册作业分片总数
  • [Elastic-Job2.1.5源码- 使用Quartz为每个作业创建单机执行的调度器对象](https://mp.weixin.qq.com/s/OCG91irMImsgk2objep34A)
      • 6.5 创建作业调度控制器
        • 6.5.1 JobScheduleController简介
        • 6.5.2 JobScheduleController对象的创建
        • 6.5.3 Scheduler 调度对象的创建
        • 6.5.4 JobDetail 作业信息对象的创建
  • Elastic-Job2.1.5源码-调度作业启动之前要做哪些初始化?
      • 6.6 注册启动信息
        • 6.6.1 启动信息注册
  • Elastic-Job2.1.5源码-分布式环境下的Zookeeper节点监听机制
        • 6.6.2 启动监听器
        • 6.6.3 监听器大全
        • 6.6.4 监听器使用
        • 6.6.5 观察者设计模式
  • Elastic-Job2.1.5源码-基于Zookeeper分布式锁实现选举作业主节点原理
        • 6.6.6 基于Zookeeper的分布式锁实现选举作业主节点
  • Elastic-Job2.1.5源码-调度作业的服务器和进程信息的持久化是如何设计的?
        • 6.6.7 作业服务器信息
  • Elastic-Job2.1.5源码-为作业监控提供一个快照服务功能
        • 6.6.8 启动快照服务
  • Elastic-Job2.1.5源码-为作业开启健康诊断定时器
        • 6.6.9 诊断服务
  • Elastic-Job2.1.5源码-分布式调度作业在单机环境下是如何被触发执行的
      • 6.7 为作业绑定触发器开始调度作业
    • 7 作业的执行
      • 7.1 scheduler对作业的调用
  • Elastic-Job2.1.5源码-调度作业的模版方法设计原理
      • 7.2 作业执行模版
        • 7.2.1 作业执行器的获取
        • 7.2.2 作业模版下的通用执行逻辑execute简介
  • Elastic-Job2.1.5源码-调度服务器之间的时间准确性验证思路
      • 7.3 调度服务器之间的时间准确性验证思路
  • Elastic-Job2.1.5源码-分布式场景下如何用逻辑分片来进行水平扩展的?
    • 7.4 作业分片
      • 7.4.1 分片概念
      • 7.4.2 分片上下文的获取
      • 7.4.3 获取失效转移的分片项
      • 7.4.4 正常执行作业的分片项获取
  • [Elastic-Job2.1.5源码- 选主节点执行分片逻辑的过程](https://mp.weixin.qq.com/s/8CQptGtKsVjxZIB9L8t1AQ)
        • 7.4.5 分片逻辑
          • 7.4.5.1 首先我们要明白为什么要选主节点?
          • 7.4.5.2 非主节点自旋等待主节点分片完成
          • 7.4.5.3 主节点重置分片节点
          • 7.4.5.4 主节点使用策略模式+Java反射来获取分片算法
          • 7.4.5.5 主节点使用事务执行分片的逻辑
          • 7.4.5.6 主节点和非主节点获取本实例被分配到的分片项然后拼接为分片上下文
  • Elastic-Job2.1.5源码-图解分片算法动画
        • 7.4.6 分片算法
          • 7.4.6.1 AverageAllocationJobShardingStrategy平均分配分片算法
          • 7.4.6.2 OdevitySortByNameJobShardingStrategy 作业名的哈希值奇偶数决定IP升降序算法
          • 7.4.6.3 RotateServerByNameJobShardingStrategy 作业名的哈希值对服务器列表进行轮转的分片策略
          • 7.4.6.4 使用Zookeeper事务来提交多个请求
  • Elastic-Job2.1.5源码-图解错过作业重新触发执行功能
      • 7.5 错过重触发功能
        • 7.5.1 错过执行作业概念
        • 7.5.2 错过执行作业配置
        • 7.5.4 作业运行时幂等导致的错过执行
        • 7.5.5 错过作业重新补偿执行
  • Elastic-Job2.1.5源码-作业执行线程池的配置与执行异常作业问题分析技巧
      • 7.6 作业执行线程
        • 7.6.1 作业执行方法
        • 7.6.2 作业执行线程池executorService对象
        • 7.6.3 使用作业线程堆栈信息来排查异常作业
          • 7.6.3.1 模拟异常作业
          • 7.6.3.2 查看作业进程PID
          • 7.6.3.3 分析当前作业异常线程
  • Elastic-Job2.1.5源码-定制化可扩展的作业执行器模版设计
      • 7.7 定制化作业执行器模版设计
        • 7.7.1 作业分类
        • 7.7.2 自定义作业执行器的调用
        • 7.7.3 简单作业执行器SimpleJobExecutor
        • 7.7.4 DataflowJobExecutor数据流作业执行器
        • 7.7.5 脚本作业执行器ScriptJobExecutor
  • Elastic-Job2.1.5源码-作业高可用的失效转移功能实现原理动画
    • 8 失效转移
      • 8.1 简介
      • 8.2 崩溃作业分片
      • 8.3 发现记录崩溃作业分片
      • 8.4 分布式锁抢占崩溃实例的分片然后重新执行崩溃分片
      • 8.5 执行失效转移
  • [Elastic-Job2.1.5源码-自定义Spring标签与Spring 依赖注入无缝整合](https://mp.weixin.qq.com/s/GhN6J6IiG9VHnx1eU8LSww)
    • 9 自定义Spring标签与Spring 依赖注入无缝整合
      • 9.1 简介
      • 9.2 注册中心自定义XSD文件配置与说明
      • 9.2 注册中心自定义NamespaceHandler的配置与说明
  • 未完更新中...

Elastic-Job2.1.5源码-分布式弹性调度系统的简介

1 Elastic-Job2.1.5源码-分布式弹性调度系统的简介

1.1 项目介绍

1.2 分布式弹性调度系统特征

2 Elastic-Job的使用

2.1 使用Java代码创建第一个调度例子

2.2 使用Spring配置一个作业

Elastic-Job2.1.5源码-调度注册中心的设计原理

3 注册中心的设计原理

3.1 调度系统使用Zookeeper做什么

3.2 调度系统注册中心设计

3.3 Zookeeper配置详解

3.4 ZookeeperRegistryCenter原理解析

3.5 注册中心常用操作方法

Elastic-Job2.1.5源码-Builder建造者设计模式构造复杂的作业配置

4 作业配置的设计原理

4.1 作业配置示例

4.2 作业配置的类结构信息

4.3 常见配置类属性讲解

Elastic-Job2.1.5源码-定制化调度作业模版的设计

5 定制化调度作业模版的设计

5.1 调度作业的类型

5.2 ElasticJob弹性作业接口

5.3 SimpleJob简单类型作业接口

5.4 DataflowJob数据流类型作业接口

5.5 ScriptJob脚本类型作业接口

Elastic-Job2.1.5源码-调度作业的配置是如何在分布式场景下存储的?

6 作业调度器初始化

6.1 作业调度器初始化示例代码

6.2 init初始化方法

6.2.1 init源码

6.3 分布式环境下调度配置持久化原理

6.3.1 配置加载持久化说明
6.3.2 持久化作业配置到Zookeeper
6.3.3 加载Zookeeper配置信息到本地内存
6.3.4 配置加载流程

Elastic-Job2.1.5源码-线程安全的单例模式设计全局作业注册表JobRegistry

6.4 注册作业分片总数

Elastic-Job2.1.5源码- 使用Quartz为每个作业创建单机执行的调度器对象

6.5 创建作业调度控制器

6.5.1 JobScheduleController简介
6.5.2 JobScheduleController对象的创建
6.5.3 Scheduler 调度对象的创建
6.5.4 JobDetail 作业信息对象的创建

Elastic-Job2.1.5源码-调度作业启动之前要做哪些初始化?

6.6 注册启动信息

6.6.1 启动信息注册

Elastic-Job2.1.5源码-分布式环境下的Zookeeper节点监听机制

6.6.2 启动监听器
6.6.3 监听器大全
6.6.4 监听器使用
6.6.5 观察者设计模式

Elastic-Job2.1.5源码-基于Zookeeper分布式锁实现选举作业主节点原理

6.6.6 基于Zookeeper的分布式锁实现选举作业主节点

Elastic-Job2.1.5源码-调度作业的服务器和进程信息的持久化是如何设计的?

6.6.7 作业服务器信息

Elastic-Job2.1.5源码-为作业监控提供一个快照服务功能

6.6.8 启动快照服务

Elastic-Job2.1.5源码-为作业开启健康诊断定时器

6.6.9 诊断服务

Elastic-Job2.1.5源码-分布式调度作业在单机环境下是如何被触发执行的

6.7 为作业绑定触发器开始调度作业

7 作业的执行

7.1 scheduler对作业的调用

Elastic-Job2.1.5源码-调度作业的模版方法设计原理

7.2 作业执行模版

7.2.1 作业执行器的获取
7.2.2 作业模版下的通用执行逻辑execute简介

Elastic-Job2.1.5源码-调度服务器之间的时间准确性验证思路

7.3 调度服务器之间的时间准确性验证思路

Elastic-Job2.1.5源码-分布式场景下如何用逻辑分片来进行水平扩展的?

7.4 作业分片

7.4.1 分片概念

7.4.2 分片上下文的获取

7.4.3 获取失效转移的分片项

7.4.4 正常执行作业的分片项获取

Elastic-Job2.1.5源码- 选主节点执行分片逻辑的过程

7.4.5 分片逻辑
7.4.5.1 首先我们要明白为什么要选主节点?
7.4.5.2 非主节点自旋等待主节点分片完成
7.4.5.3 主节点重置分片节点
7.4.5.4 主节点使用策略模式+Java反射来获取分片算法
7.4.5.5 主节点使用事务执行分片的逻辑
7.4.5.6 主节点和非主节点获取本实例被分配到的分片项然后拼接为分片上下文

Elastic-Job2.1.5源码-图解分片算法动画

7.4.6 分片算法
7.4.6.1 AverageAllocationJobShardingStrategy平均分配分片算法
7.4.6.2 OdevitySortByNameJobShardingStrategy 作业名的哈希值奇偶数决定IP升降序算法
7.4.6.3 RotateServerByNameJobShardingStrategy 作业名的哈希值对服务器列表进行轮转的分片策略
7.4.6.4 使用Zookeeper事务来提交多个请求

Elastic-Job2.1.5源码-图解错过作业重新触发执行功能

7.5 错过重触发功能

7.5.1 错过执行作业概念
7.5.2 错过执行作业配置
7.5.4 作业运行时幂等导致的错过执行
7.5.5 错过作业重新补偿执行

Elastic-Job2.1.5源码-作业执行线程池的配置与执行异常作业问题分析技巧

7.6 作业执行线程

7.6.1 作业执行方法
7.6.2 作业执行线程池executorService对象
7.6.3 使用作业线程堆栈信息来排查异常作业
7.6.3.1 模拟异常作业
7.6.3.2 查看作业进程PID
7.6.3.3 分析当前作业异常线程

Elastic-Job2.1.5源码-定制化可扩展的作业执行器模版设计

7.7 定制化作业执行器模版设计

7.7.1 作业分类
7.7.2 自定义作业执行器的调用
7.7.3 简单作业执行器SimpleJobExecutor
7.7.4 DataflowJobExecutor数据流作业执行器
7.7.5 脚本作业执行器ScriptJobExecutor

Elastic-Job2.1.5源码-作业高可用的失效转移功能实现原理动画

8 失效转移

8.1 简介

8.2 崩溃作业分片

8.3 发现记录崩溃作业分片

8.4 分布式锁抢占崩溃实例的分片然后重新执行崩溃分片

8.5 执行失效转移

Elastic-Job2.1.5源码-自定义Spring标签与Spring 依赖注入无缝整合

9 自定义Spring标签与Spring 依赖注入无缝整合

9.1 简介

9.2 注册中心自定义XSD文件配置与说明

9.2 注册中心自定义NamespaceHandler的配置与说明

未完更新中…

查看更多原文,技术咨询支持,可以扫描微信公众号进行回复咨询
在这里插入图片描述

这篇关于分布式弹性调度系统Elastic-Job源码设计原理V0.6的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/182690

相关文章

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

hdu4407(容斥原理)

题意:给一串数字1,2,......n,两个操作:1、修改第k个数字,2、查询区间[l,r]中与n互质的数之和。 解题思路:咱一看,像线段树,但是如果用线段树做,那么每个区间一定要记录所有的素因子,这样会超内存。然后我就做不来了。后来看了题解,原来是用容斥原理来做的。还记得这道题目吗?求区间[1,r]中与p互质的数的个数,如果不会的话就先去做那题吧。现在这题是求区间[l,r]中与n互质的数的和

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

软考系统规划与管理师考试证书含金量高吗?

2024年软考系统规划与管理师考试报名时间节点: 报名时间:2024年上半年软考将于3月中旬陆续开始报名 考试时间:上半年5月25日到28日,下半年11月9日到12日 分数线:所有科目成绩均须达到45分以上(包括45分)方可通过考试 成绩查询:可在“中国计算机技术职业资格网”上查询软考成绩 出成绩时间:预计在11月左右 证书领取时间:一般在考试成绩公布后3~4个月,各地领取时间有所不同