环形定时任务 原理

2024-09-08 01:18
文章标签 原理 定时 任务 环形

本文主要是介绍环形定时任务 原理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

业务背景

在稍微复杂点业务系统中,不可避免会碰到做定时任务的需求,比如淘宝的交易超时自动关闭订单、超时自动确认收货等等。对于一些定时作业比较多的系统,通常都会搭建专门的调度平台来管理,通过创建定时器来周期性执行任务。如刚才所说的场景,我们可以给订单创建一个专门的任务来处理交易状态,每秒轮询一次订单表,找出那些符合超时条件的订单然后标记状态。这是最简单粗暴的做法,但明显也很low,自己都下不去手写这样的代码,所有必须要找个更好的方案。

回到真实项目中的场景,系统中某个活动上线后要给目标用户发送短信通知,这些通知需要按时间点批量发送。虽然已经基于quartz.net给系统搭建了任务调度平台,但着实不想用上述方案来实现。在网上各种搜索和思考,找到一篇文章让我眼前一亮,稍加分析发现里面的思路完全符合现在的场景,于是决定在自己项目中实现出来。

 

原理分析

 这种方案的核心就是构造一种数据结构,称之为环形队列,但实际上还是一个数组,加上对它的循环遍历,达到一种环状的假象。然后再配合定时器,就可以实现按需延时的效果。上面提到的文章中也介绍了实现思路,这里我采用我的理解再更加详细的解释一下。

我们先为这个数组分配一个固定大小的空间,比如60,每个数组的元素用来存放任务的集合。然后开启一个定时器每隔一秒来扫描这个数组,扫完一圈刚好是一分钟。如果提前设置好任务被扫描的圈数(CycleNum)和在数组中的位置(Slot),在刚好扫到数组的Slot位置时,集合里那些CycleNum为0的任务就是达到触发条件的任务,拉出来做业务操作然后移除掉,其他的把圈数减掉一次,然后留到下次继续扫描,这样就实现了延时的效果。原理如下图所示:

可以看出中间的重点是计算出每个任务所在的位置以及需要循环的圈数。假设当前时间为15:20:08,当前扫描位置是2,我的任务要在15:22:35这个时刻触发,也就是147秒后。那么我需要循环的圈数就是147/60=2圈,需要被扫描的位置就是(147+2)%60=29的地方。计算好任务的坐标后塞到数组中属于它的位置,然后静静等待被消费就好啦。

 

撸码实现

光讲原理不上代码怎么能行呢,根据上面的思路,下面一步步在.net平台下实现出来。

先做一些基础封装。

首先构造任务参数的基类,用来记录任务的位置信息和定义业务回调方法:

复制代码

    public class DelayQueueParam{internal int Slot { get; set; }internal int CycleNum { get; set; }public Action<object> Callback { get; set; }}

复制代码

接下来是核心地方。再构造队列的泛型类,真实类型必须派生自上面的基类,用来扩展一些业务字段方便消费时使用。队列的主要属性有当前位置指针以及数组容器,主要的操作有插入、移除和消费。插入任务时需要传入执行时间,用来计算这个任务的坐标。

复制代码

    public class DelayQueue<T> where T : DelayQueueParam{private List<T>[] queue;private int currentIndex = 1;public DelayQueue(int length){queue = new List<T>[length];}public void Insert(T item, DateTime time){//根据消费时间计算消息应该放入的位置var second = (int)(time - DateTime.Now).TotalSeconds;item.CycleNum = second / queue.Length;item.Slot = (second + currentIndex) % queue.Length;//加入到延时队列中if (queue[item.Slot] == null){queue[item.Slot] = new List<T>();}queue[item.Slot].Add(item);}public void Remove(T item){if (queue[item.Slot] != null){queue[item.Slot].Remove(item);}}public void Read(){if (queue.Length >= currentIndex){var list = queue[currentIndex - 1];if (list != null){List<T> target = new List<T>();foreach (var item in list){if (item.CycleNum == 0){//在本轮命中,用单独线程去执行业务操作Task.Run(()=> { item.Callback(item); });target.Add(item);}else{//等下一轮item.CycleNum--;System.Diagnostics.Debug.WriteLine($"@@@@@索引:{item.Slot},剩余:{item.CycleNum}");}}//把已过期的移除掉foreach (var item in target){list.Remove(item);}}currentIndex++;//下一遍从头开始if (currentIndex > queue.Length){currentIndex = 1;}}}}

复制代码

接下来是使用方法。

创建一个管理队列实例的静态类,里面封装对队列的操作:

复制代码

    public static class NotifyPlanManager{private static DelayQueue<NotifyPlan> _queue = new DelayQueue<NotifyPlan>(60);public static void Insert(NotifyPlan plan, DateTime time){_queue.Insert(plan, time);}public static void Read(){_queue.Read();}}

复制代码

构建我们的实际业务参数类,派生自DelayQueueParam:

复制代码

    public class NotifyPlan : DelayQueueParam{public Guid CamId { get; set; }public int PreviousTotal { get; set; }public int Amount { get; set; }}

复制代码

生产端往队列中插入数据:

复制代码

    Action<object> callback = (result) =>{var np = result as NotifyPlan;//这里做自己的业务操作//举个例子:Debug.WriteLine($"活动ID:{np.CamId},已发送数量:{np.PreviousTotal},本次发送数量:{np.Amount}");};NotifyPlanManager.Insert(new NotifyPlan{Amount = set.MainAmount,CamId = camId,PreviousTotal = 0,Callback = callback}, smsTemplate.SendDate);

复制代码

再创建一个每秒执行一次的定时器用做消费端,我这里使用的是FluentScheduler,核心代码:

复制代码

    internal class NotifyPlanJob : IJob{/// <summary>/// 执行计划/// </summary>public void Execute(){NotifyPlanManager.Read();}}internal class JobFactory : Registry{public JobFactory(){//每秒运行一次Schedule<NotifyPlanJob >().ToRunEvery(1).Seconds();}}JobManager.Initialize(new JobFactory());

复制代码

然后开启调试运行,打开本机的系统时间面板,对着时间看输出结果。亲测有效。

 

总结

 这种方案的好处是避免了频繁地扫描数据库和不必要的业务操作,另外也很方便控制时间精度。带来的问题是如果web服务异常或重启可能会发生任务丢失的情况,我目前的处理方法是在数据库中标记任务状态,服务启动时把状态为“排队中”的任务重新加载到队列中等待消费。

以上方案在单机环境测试没问题,多节点情况下暂时没有深究。若有设计实现上的缺陷,欢迎讨论与指正,要是有更好的方案,那就当抛砖引玉,再好不过了~

这篇关于环形定时任务 原理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1146702

相关文章

基于Python开发电脑定时关机工具

《基于Python开发电脑定时关机工具》这篇文章主要为大家详细介绍了如何基于Python开发一个电脑定时关机工具,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 简介2. 运行效果3. 相关源码1. 简介这个程序就像一个“忠实的管家”,帮你按时关掉电脑,而且全程不需要你多做

Redis主从/哨兵机制原理分析

《Redis主从/哨兵机制原理分析》本文介绍了Redis的主从复制和哨兵机制,主从复制实现了数据的热备份和负载均衡,而哨兵机制可以监控Redis集群,实现自动故障转移,哨兵机制通过监控、下线、选举和故... 目录一、主从复制1.1 什么是主从复制1.2 主从复制的作用1.3 主从复制原理1.3.1 全量复制

Python Invoke自动化任务库的使用

《PythonInvoke自动化任务库的使用》Invoke是一个强大的Python库,用于编写自动化脚本,本文就来介绍一下PythonInvoke自动化任务库的使用,具有一定的参考价值,感兴趣的可以... 目录什么是 Invoke?如何安装 Invoke?Invoke 基础1. 运行测试2. 构建文档3.

解决Cron定时任务中Pytest脚本无法发送邮件的问题

《解决Cron定时任务中Pytest脚本无法发送邮件的问题》文章探讨解决在Cron定时任务中运行Pytest脚本时邮件发送失败的问题,先优化环境变量,再检查Pytest邮件配置,接着配置文件确保SMT... 目录引言1. 环境变量优化:确保Cron任务可以正确执行解决方案:1.1. 创建一个脚本1.2. 修

Redis主从复制的原理分析

《Redis主从复制的原理分析》Redis主从复制通过将数据镜像到多个从节点,实现高可用性和扩展性,主从复制包括初次全量同步和增量同步两个阶段,为优化复制性能,可以采用AOF持久化、调整复制超时时间、... 目录Redis主从复制的原理主从复制概述配置主从复制数据同步过程复制一致性与延迟故障转移机制监控与维

SpringCloud配置动态更新原理解析

《SpringCloud配置动态更新原理解析》在微服务架构的浩瀚星海中,服务配置的动态更新如同魔法一般,能够让应用在不重启的情况下,实时响应配置的变更,SpringCloud作为微服务架构中的佼佼者,... 目录一、SpringBoot、Cloud配置的读取二、SpringCloud配置动态刷新三、更新@R

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五

如何使用celery进行异步处理和定时任务(django)

《如何使用celery进行异步处理和定时任务(django)》文章介绍了Celery的基本概念、安装方法、如何使用Celery进行异步任务处理以及如何设置定时任务,通过Celery,可以在Web应用中... 目录一、celery的作用二、安装celery三、使用celery 异步执行任务四、使用celery

Redis主从复制实现原理分析

《Redis主从复制实现原理分析》Redis主从复制通过Sync和CommandPropagate阶段实现数据同步,2.8版本后引入Psync指令,根据复制偏移量进行全量或部分同步,优化了数据传输效率... 目录Redis主DodMIK从复制实现原理实现原理Psync: 2.8版本后总结Redis主从复制实

什么是cron? Linux系统下Cron定时任务使用指南

《什么是cron?Linux系统下Cron定时任务使用指南》在日常的Linux系统管理和维护中,定时执行任务是非常常见的需求,你可能需要每天执行备份任务、清理系统日志或运行特定的脚本,而不想每天... 在管理 linux 服务器的过程中,总有一些任务需要我们定期或重复执行。就比如备份任务,通常会选在服务器资