动态线程池可以这样实现,便于上线及时调整!

2024-02-13 11:20

本文主要是介绍动态线程池可以这样实现,便于上线及时调整!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在线程池日常实践中我们常常会遇到以下问题:

  • 代码中创建了一个线程池却不知道核心参数设置多少比较合适。

  • 参数设置好后,上线发现需要调整,改代码重启服务非常麻烦。

  • 线程池相对于开发人员来说是个黑箱,运行情况在出现问题 前很难被感知。

因此,动态可监控线程池一种针对以上痛点开发的线程池管理工具。

提供对 Spring 应用内线程池实例的全局管控、应用运行时动态变更线程池参数以及线程池数据采集和监控阈值报警。

已经实现的优秀开源动态线程池

hippo4j、dynamic-tp.....

实现思路

核心管理类

需要能实现对线程池的

  • 服务注册

  • 获取已经注册好的线程池

  • 以及对注册号线程池参数的刷新。

对于每一个线程池,我们使用一个线程池名字作为标识每个线程池的唯一ID。

伪代码实现

public class DtpRegistry {/*** 储存线程池*/private static final Map<String, Executor> EXECUTOR_MAP = new ConcurrentHashMap<>();/*** 获取线程池* @param executorName 线程池名字*/public static Executor getExecutor(String executorName) {return EXECUTOR_MAP.get(executorName);}/*** 线程池注册* @param executorName 线程池名字*/public static void registry(String executorName, Executor executor) {//注册EXECUTOR_MAP.put(executorName, executorWrapper);}/*** 刷新线程池参数* @param executorName 线程池名字* @param properties 线程池参数*/public static void refresh(String executorName, ThreadPoolProperties properties) {Executor executor = EXECUTOR_MAP.get(executorName)//刷新参数//.......}}
如何创建线程池?
STEP 1. 我们可以使用yml配置文件的方式配置一个线程池,将线程池实例的创建交由Spring容器。

相关配置

public class DtpProperties {private List<ThreadPoolProperties> executors;}public class ThreadPoolProperties {/*** 标识每个线程池的唯一名字*/private String poolName;private String poolType = "common";/*** 是否为守护线程*/private boolean isDaemon = false;/*** 以下都是核心参数*/private int corePoolSize = 1;private int maximumPoolSize = 1;private long keepAliveTime;private TimeUnit timeUnit = TimeUnit.SECONDS;private String queueType = "arrayBlockingQueue";private int queueSize = 5;private String threadFactoryPrefix = "-td-";private String RejectedExecutionHandler;
}

yml example:

spring:dtp:executors:# 线程池1- poolName: dtpExecutor1corePoolSize: 5maximumPoolSize: 10# 线程池2- poolName: dtpExecutor2corePoolSize: 2maximumPoolSize: 15
STEP 2 根据配置信息添加线程池的BeanDefinition

关键类

@Slf4j
public class DtpImportBeanDefinitionRegistrar implements ImportBeanDefinitionRegistrar, EnvironmentAware {private Environment environment;@Overridepublic void registerBeanDefinitions(AnnotationMetadata importingClassMetadata, BeanDefinitionRegistry registry) {log.info("注册");//绑定资源DtpProperties dtpProperties = new DtpProperties();ResourceBundlerUtil.bind(environment, dtpProperties);List<ThreadPoolProperties> executors = dtpProperties.getExecutors();if (Objects.isNull(executors)) {log.info("未检测本地到配置文件线程池");return;}//注册beanDefinitionexecutors.forEach((executorProp) -> {BeanUtil.registerIfAbsent(registry, executorProp);});}@Overridepublic void setEnvironment(Environment environment) {this.environment = environment;}
}/**** 工具类**/
public class BeanUtil{public static void registerIfAbsent(BeanDefinitionRegistry registry, ThreadPoolProperties executorProp) {register(registry, executorProp.getPoolName(), executorProp);}public static void register(BeanDefinitionRegistry registry, String beanName, ThreadPoolProperties executorProp) {Class<? extends Executor> executorType = ExecutorType.getClazz(executorProp.getPoolType());Object[] args = assembleArgs(executorProp);register(registry, beanName, executorType, args);}public static void register(BeanDefinitionRegistry registry, String beanName, Class<?> clazz, Object[] args) {BeanDefinitionBuilder builder = BeanDefinitionBuilder.genericBeanDefinition(clazz);for (Object arg : args) {builder.addConstructorArgValue(arg);}registry.registerBeanDefinition(beanName, builder.getBeanDefinition());}private static Object[] assembleArgs(ThreadPoolProperties executorProp) {return new Object[]{executorProp.getCorePoolSize(),executorProp.getMaximumPoolSize(),executorProp.getKeepAliveTime(),executorProp.getTimeUnit(),QueueType.getInstance(executorProp.getQueueType(), executorProp.getQueueSize()),new NamedThreadFactory(executorProp.getPoolName() + executorProp.getThreadFactoryPrefix(),executorProp.isDaemon()),//先默认不做设置RejectPolicy.ABORT.getValue()};}
}

下面解释一下这个类的作用,environment实例中储存着spring启动时解析的yml配置,所以我们spring提供的Binder将配置绑定到我们前面定义的DtpProperties类中,方便后续使用。接下来的比较简单,就是将线程池的BeanDefinition注册到IOC容器中,让spring去帮我们实例化这个bean。

STEP 3. 将已经实例化的线程池注册到核心类 DtpRegistry 中

我们注册了 beanDefinition 后,spring会帮我们实例化出来, 在这之后我们可以根据需要将这个bean进行进一步的处理,spring也提供了很多机制让我们对bean的生命周期管理进行更多的扩展。对应到这里我们就是将实例化出来的线程池注册到核心类 DtpRegistry 中进行管理。

这里我们使用 BeanPostProcessor 进行处理。

@Slf4j
public class DtpBeanPostProcessor implements BeanPostProcessor {private DefaultListableBeanFactory beanFactory;@Overridepublic Object postProcessAfterInitialization(Object bean, String beanName) throws BeansException {if (bean instanceof DtpExecutor) {//直接纳入管理DtpRegistry.registry(beanName, (DtpExecutor) bean);}return bean;}
}

这里的逻辑很简单, 就是判断一下这个bean是不是线程池,是就统一管理起来。

STEP 4. 启用 BeanDefinitionRegistrar 和 BeanPostProcessor

在springboot程序中,只要加一个@MapperScan注解就能启用mybatis的功能,我们可以学习其在spring中的启用方式,自定义一个注解:

@Target(ElementType.TYPE)
@Retention(RetentionPolicy.RUNTIME)
@Import(DtpImportSelector.class)
public @interface EnableDynamicThreadPool {
}

其中,比较关键的是@Import注解,spring会导入注解中的类DtpImportSelector

DtpImportSelector这个类实现了:

public class DtpImportSelector implements DeferredImportSelector {@Overridepublic String[] selectImports(AnnotationMetadata importingClassMetadata) {return new String[]{DtpImportBeanDefinitionRegistrar.class.getName(),DtpBeanPostProcessor.class.getName()};}
}

这样,只要我们再启动类或者配置类上加上@EnableDynamicThreadPool这个注解,spring就会将DtpImportBeanDefinitionRegistrarDtpBeanPostProcessor这两个类加入spring容器管理,从而实现我们的线程池的注册。

@SpringBootApplication
@EnableDynamicThreadPool
public class Application {public static void main(String[] args) {SpringApplication.run(Application.class, args);}
}
如何实现线程池配置的动态刷新

首先明确一点,对于线程池的实现类,例如:ThreadPoolExecutor等,都有提供核心参数对应的 set 方法,让我们实现参数修改。因此,在核心类DtpRegistry中的refresh方法,我们可以这样写:

public class DtpRegistry {/*** 储存线程池*/private static final Map<String, ThreadPoolExecutor> EXECUTOR_MAP = new ConcurrentHashMap<>();/*** 刷新线程池参数* @param executorName 线程池名字* @param properties 线程池参数*/public static void refresh(String executorName, ThreadPoolProperties properties) {ThreadPoolExecutor executor = EXECUTOR_MAP.get(executorName)//设置参数executor.setCorePoolSize(...);executor.setMaximumPoolSize(...);......}}

而这些新参数怎么来呢?我们可以引入Nacos、Apollo等配置中心,实现他们的监听器方法,在监听器方法里调用DtpRegistry的refresh方法刷新即可。

最后说一句(求关注!别白嫖!)

如果这篇文章对您有所帮助,或者有所启发的话,求一键三连:点赞、转发、在看。

关注公众号:woniuxgg,在公众号中回复:笔记  就可以获得蜗牛为你精心准备的java实战语雀笔记,回复面试、开发手册、有超赞的粉丝福利!

这篇关于动态线程池可以这样实现,便于上线及时调整!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/705404

相关文章

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

第10章 中断和动态时钟显示

第10章 中断和动态时钟显示 从本章开始,按照书籍的划分,第10章开始就进入保护模式(Protected Mode)部分了,感觉从这里开始难度突然就增加了。 书中介绍了为什么有中断(Interrupt)的设计,中断的几种方式:外部硬件中断、内部中断和软中断。通过中断做了一个会走的时钟和屏幕上输入字符的程序。 我自己理解中断的一些作用: 为了更好的利用处理器的性能。协同快速和慢速设备一起工作

动态规划---打家劫舍

题目: 你是一个专业的小偷,计划偷窃沿街的房屋。每间房内都藏有一定的现金,影响你偷窃的唯一制约因素就是相邻的房屋装有相互连通的防盗系统,如果两间相邻的房屋在同一晚上被小偷闯入,系统会自动报警。 给定一个代表每个房屋存放金额的非负整数数组,计算你 不触动警报装置的情况下 ,一夜之内能够偷窃到的最高金额。 思路: 动态规划五部曲: 1.确定dp数组及含义 dp数组是一维数组,dp[i]代表

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

Kubernetes PodSecurityPolicy:PSP能实现的5种主要安全策略

Kubernetes PodSecurityPolicy:PSP能实现的5种主要安全策略 1. 特权模式限制2. 宿主机资源隔离3. 用户和组管理4. 权限提升控制5. SELinux配置 💖The Begin💖点点关注,收藏不迷路💖 Kubernetes的PodSecurityPolicy(PSP)是一个关键的安全特性,它在Pod创建之前实施安全策略,确保P

工厂ERP管理系统实现源码(JAVA)

工厂进销存管理系统是一个集采购管理、仓库管理、生产管理和销售管理于一体的综合解决方案。该系统旨在帮助企业优化流程、提高效率、降低成本,并实时掌握各环节的运营状况。 在采购管理方面,系统能够处理采购订单、供应商管理和采购入库等流程,确保采购过程的透明和高效。仓库管理方面,实现库存的精准管理,包括入库、出库、盘点等操作,确保库存数据的准确性和实时性。 生产管理模块则涵盖了生产计划制定、物料需求计划、