Mark : BlockingQueue在任务调度中的精彩应用

2024-04-06 20:08

本文主要是介绍Mark : BlockingQueue在任务调度中的精彩应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

https://blog.csdn.net/bluishglc/article/details/78447813

问题来了…

我们正在构建的系统需要从外部第三方系统中采集数据,受不可控的外部环境的影响,我们的数据采集工作经常被阻塞,一种典型的情况是:某个目标数据库因为要同时处理多个外围系统叠加的查询请求而经常响应缓慢,从而导致我们的Job严重超时,而这个Job原有的设计是每5分钟执行一次,每次执行时会从目标数据库中查询最近5分钟内的数据,通常情况下这种简单的设计没有问题,但是当前一个Job严重超时时,后续启动的Job仍然以启动时的前5分钟作为时间窗口进行查询,就会导致数据丢失。

异步执行?

一个简单的解决方案是将Job的执行变为异步非阻塞模式,每一个Job被触发时都在一个独立的线程中运行。但是这个方案不适用于我们的系统,原因是这样采集的数据无法保证按时间有序,而确保数据按时间有序对我们的系统至关重要。所以这一方案被否决。

最佳方案!

经过仔细的思考,我们认为必须要将这个Job切分成两个子的Job:第一个Job负责制定周期性的计划,准确地说是周期性地生成查询的时间参数,第二个Job则负责读取时间参数执行查询,这一部分的工作并不是周期性的,原则上,只要有时间参数生成就应该立即执行,如果执行超时,在超时期间,我们需要缓存第一个Job生成的时间参数,而当所有的查询都及时完成没有Pending的查询计划时,第二个Job需要等待新的查询参数到达。到这里事情已经变得很明朗了,我们实际上设计的是一个生产者-消费者模型,只是生产者在“有节奏”的生产,那么在这个模式里,作为第三个参与者:仓库,或者说传送带,就是起最关键作用的,而BlockingQueue就是一个现成的完美实现,于是落地的方案就是:

  1. 第一个Job由定时器周期性触发,每次触发时会把当前时间写入到一个BlockingQueue的队尾。

  2. 第二个Job循环执行,每次执行的工作就是从BlockingQueue的队头取出时间参数,组装SQL并执行。

    2.1. 当队列为空时,由BlockingQueue来Pending当前线程,等待时间参数进入队列。

  3. 当第二个Job执行完一次时,如果队列中还有时间参数,会立即执行第二次,发生此类情况时就说明前一次的执行超过了5分钟。


这篇关于Mark : BlockingQueue在任务调度中的精彩应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/880712

相关文章

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Android Kotlin 高阶函数详解及其在协程中的应用小结

《AndroidKotlin高阶函数详解及其在协程中的应用小结》高阶函数是Kotlin中的一个重要特性,它能够将函数作为一等公民(First-ClassCitizen),使得代码更加简洁、灵活和可... 目录1. 引言2. 什么是高阶函数?3. 高阶函数的基础用法3.1 传递函数作为参数3.2 Lambda

Java中&和&&以及|和||的区别、应用场景和代码示例

《Java中&和&&以及|和||的区别、应用场景和代码示例》:本文主要介绍Java中的逻辑运算符&、&&、|和||的区别,包括它们在布尔和整数类型上的应用,文中通过代码介绍的非常详细,需要的朋友可... 目录前言1. & 和 &&代码示例2. | 和 ||代码示例3. 为什么要使用 & 和 | 而不是总是使

Python循环缓冲区的应用详解

《Python循环缓冲区的应用详解》循环缓冲区是一个线性缓冲区,逻辑上被视为一个循环的结构,本文主要为大家介绍了Python中循环缓冲区的相关应用,有兴趣的小伙伴可以了解一下... 目录什么是循环缓冲区循环缓冲区的结构python中的循环缓冲区实现运行循环缓冲区循环缓冲区的优势应用案例Python中的实现库

SpringBoot整合MybatisPlus的基本应用指南

《SpringBoot整合MybatisPlus的基本应用指南》MyBatis-Plus,简称MP,是一个MyBatis的增强工具,在MyBatis的基础上只做增强不做改变,下面小编就来和大家介绍一下... 目录一、MyBATisPlus简介二、SpringBoot整合MybatisPlus1、创建数据库和

python中time模块的常用方法及应用详解

《python中time模块的常用方法及应用详解》在Python开发中,时间处理是绕不开的刚需场景,从性能计时到定时任务,从日志记录到数据同步,时间模块始终是开发者最得力的工具之一,本文将通过真实案例... 目录一、时间基石:time.time()典型场景:程序性能分析进阶技巧:结合上下文管理器实现自动计时

Java逻辑运算符之&&、|| 与&、 |的区别及应用

《Java逻辑运算符之&&、||与&、|的区别及应用》:本文主要介绍Java逻辑运算符之&&、||与&、|的区别及应用的相关资料,分别是&&、||与&、|,并探讨了它们在不同应用场景中... 目录前言一、基本概念与运算符介绍二、短路与与非短路与:&& 与 & 的区别1. &&:短路与(AND)2. &:非短

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav