曾经参与的数据实时提醒的一种设计回顾

2024-06-12 23:32

本文主要是介绍曾经参与的数据实时提醒的一种设计回顾,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景描述:这一篇说到指挥平台基本都是统计,大部分统计都是前一天的数据,也有一些统计是要求实.时的,今日动态就是实时统计中的一种:显示一些业务新增的记录数和记录信息

设计分为两部分,一部分是提供数据,一部分是查询数据

提供数据:通过Schedule线程池定时调度各业务查询实现,查询新增的数据,然后插入实时数据中间表

查询数据:维持一个SseEmitter连接

由一个线程通过EventStream实时向前端推送

SseEmitter发送数据

 

1.提供数据大概的实现过程

大概过程是各业务实现事件抽取接口,查询新增的数据,由一个抽取器调用,向Redis写数据,然后再从Redis里面拿数据向实时数据表写入

1.1 业务事件抽取器

抽取指定范围内的业务事件

1.2 事件Poll器

Scheduled线程池定时抽取

初始化Bean后,afterPropertiesSet 

获取所有实现的抽取器

然后分桶,通过线程池定时调度。map的key是桶号,value是对应的抽取器集合 

对于每一个抽取器,通过线程池调度

ExtractJob实现Runnable方法

 

 run方法

下面就执行抽取

1.3 从redis将动态消息抽取到实时数据表

也是维护了一个Scheduled线程池

afterPropertiesSet设置这个线程池

从Redis读取

2.查询数据大概的实现过程

大概过程是这样

2.1 维护客户端队列和数据提供器无界队列

2.2 数据提供器supplier查询数据 

 

 2.3 向客户端推送

 SseEmitter.event的数据由SseEmitterHolder提供,在初始化客户端时调用init方法,调用supplier的方法

思考和讨论:

1.这里用到了Scheduled线程池线程池,什么时候可以用Scheduled线程池?

在需要定时调度的场景下可以考虑Scheduled线程池,并且是要可以自己接管的。咱们说的分布式调度框架一般不能自己接管调用过程、结果等。这是我的思考。

2.为什么提供数据和查询数据要分开

这个我觉得要实现数据实时展示其实是一个复杂的过程,首先要确定数据来源再是数据如何展示,将提供数据和查询数据分开也是一种解耦,出问题时可以从两个方面去排查,如果在一个过程连续完成,局面有点太大了,就有点面向结构化(过程)的设计了,不太符合面向对象的设计。

3.为什么数据要先放到Redis

我觉得主要是因为要展示的数据格式和查询出的数据要做转换,Redis作为缓存或内存数据库,在这里起到内存数据库的作用,是一个中间层,起到承上启下的作用。

4.hash code不和保证唯一性

这里是通过Hashing.murmur3_128实现,不是很了解

这里的目的是为了比较事件间的hash值来增量添加而不是全量添加,这一块没有深入debug过,感觉是那么回事但不是很确定。通过事件的hash和redis记录的hash比较判断当前事件是否需要更新

这个过程挺复杂的,如果要自己设计,照葫芦画瓢或许可以,但核心是设计思路和为什么要这么设计,现在是别人实现了去看,自己设计并实现的过程中肯定会遇到很多问题,这也是必须要经历的过程。

以上思考都是个人观点,也主要是给自己看看,有疑问的朋友欢迎一起讨论。

这篇关于曾经参与的数据实时提醒的一种设计回顾的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1055647

相关文章

C++如何通过Qt反射机制实现数据类序列化

《C++如何通过Qt反射机制实现数据类序列化》在C++工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作,所以本文就来聊聊C++如何通过Qt反射机制实现数据类序列化吧... 目录设计预期设计思路代码实现使用方法在 C++ 工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作。由于数据类

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

SpringBoot集成Milvus实现数据增删改查功能

《SpringBoot集成Milvus实现数据增删改查功能》milvus支持的语言比较多,支持python,Java,Go,node等开发语言,本文主要介绍如何使用Java语言,采用springboo... 目录1、Milvus基本概念2、添加maven依赖3、配置yml文件4、创建MilvusClient

SpringValidation数据校验之约束注解与分组校验方式

《SpringValidation数据校验之约束注解与分组校验方式》本文将深入探讨SpringValidation的核心功能,帮助开发者掌握约束注解的使用技巧和分组校验的高级应用,从而构建更加健壮和可... 目录引言一、Spring Validation基础架构1.1 jsR-380标准与Spring整合1

MySQL 中查询 VARCHAR 类型 JSON 数据的问题记录

《MySQL中查询VARCHAR类型JSON数据的问题记录》在数据库设计中,有时我们会将JSON数据存储在VARCHAR或TEXT类型字段中,本文将详细介绍如何在MySQL中有效查询存储为V... 目录一、问题背景二、mysql jsON 函数2.1 常用 JSON 函数三、查询示例3.1 基本查询3.2

SpringBatch数据写入实现

《SpringBatch数据写入实现》SpringBatch通过ItemWriter接口及其丰富的实现,提供了强大的数据写入能力,本文主要介绍了SpringBatch数据写入实现,具有一定的参考价值,... 目录python引言一、ItemWriter核心概念二、数据库写入实现三、文件写入实现四、多目标写入

使用Python将JSON,XML和YAML数据写入Excel文件

《使用Python将JSON,XML和YAML数据写入Excel文件》JSON、XML和YAML作为主流结构化数据格式,因其层次化表达能力和跨平台兼容性,已成为系统间数据交换的通用载体,本文将介绍如何... 目录如何使用python写入数据到Excel工作表用Python导入jsON数据到Excel工作表用

Mysql如何将数据按照年月分组的统计

《Mysql如何将数据按照年月分组的统计》:本文主要介绍Mysql如何将数据按照年月分组的统计方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql将数据按照年月分组的统计要的效果方案总结Mysql将数据按照年月分组的统计要的效果方案① 使用 DA

鸿蒙中Axios数据请求的封装和配置方法

《鸿蒙中Axios数据请求的封装和配置方法》:本文主要介绍鸿蒙中Axios数据请求的封装和配置方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.配置权限 应用级权限和系统级权限2.配置网络请求的代码3.下载在Entry中 下载AxIOS4.封装Htt

Mybatis 传参与排序模糊查询功能实现

《Mybatis传参与排序模糊查询功能实现》:本文主要介绍Mybatis传参与排序模糊查询功能实现,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧... 目录一、#{ }和${ }传参的区别二、排序三、like查询四、数据库连接池五、mysql 开发企业规范一、#{ }和${ }传参的