tomcat-jdbc Pool 源码实现简单分析

2024-05-31 22:58

本文主要是介绍tomcat-jdbc Pool 源码实现简单分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文转自: http://www.jianshu.com/p/a21ec8dd0bd0
有部分改动

=================================

什么是连接池?

池,不由自主的会想到水池。

小时候,我们都要去远处的水井挑水,倒进家中的水池里面。这样,每次要用水时,直接从水池中「取」就行了。不用大老远跑去水井打水。

数据库连接池就如此,我们预先准备好一些连接,放到池中。当需要时,就直接获取。而不要每次跟数据库建立一个新的连接。特别对数据库连接这类耗时,耗资源的操作。当连接用完后,再放回池中,供后续使用。

连接池的作用?

避免多次去创建资源。
例如,创建新的数据库连接,500ms轻轻松松就消耗了。建立TCP连接,数据库账号验证等等。这性能消耗起来,可是非常大的。

在稍大的系统内,连接池是必备的。同时,对技术人员要求,对连接池的掌握也是必须的。

tomcat-jdbc-pool的特色

基于jdk1.5后的并发实现。代码简洁,精练。核心的类就2,3个。
对池的控制就在 org.apache.tomcat.jdbc.pool.ConnectionPool 中搞定。

先前有简单看过 dbcp1.x, c3p0等等,代码量真不少,逻辑复杂。
想熟悉池的设计,可以仔细读读tomcat-jdbc-pool,非常快速的入手。在dbcp2的实现时,跟tomcat-jdbc-pool思路一致(完全copy的版本)

对于连接池来说,最基本的特点就是:

  • 有一定的容量,及已经创建好的对象
  • 有「借」有「还」操作的接口

池中「借出」连接是怎么个过程?

jdbc-pool设计有2队列,分别为busyidle,存储「正在使用」和「空闲」的连接。都采用ArrayBlockingQueue以保证线程安全。

当有请求「借」的动作过来时,从idlepoll一个连接,然后将该连接再offerbusy队列中。这是最基本最纯净的思路。

idle连接不够时,内部会再去创建新的连接返回给客户端。

但是,做为「池」必须的职责之一是控制总量,不会任你去增长。

那么,有意思来了,他是怎么控制总量的咧?

我们可以通俗点称『占坑法』(tomcat中也有不少场景采用这方式)。

首先池中有维护连接数总量「计数器」(采用AtomicInteger保证线程安全,每次新增或销毁都会变更)。

『占坑法』就在每次要新创建连接池,先总量计数器+1(占位),再比较是否达到配置的池的最大连接数。如果没有达到,则创建新的;如果已达到了,则等待现有连接释放,再取走。

有点类似,大学时先用本书去抢位置占着。

大致实现代码【已经对源码简化】如下:

public class ConnectionPool {//连接数的总量private AtomicInteger size = new AtomicInteger(0);//所有正在使用中的连接private BlockingQueue<PooledConnection> busy;//所有空闲的连接private BlockingQueue<PooledConnection> idle;PooledConnection con = idle.poll();//while (true) {if (con != null) {//如果从空闲连接队列中取出的连接不为空//把这个连接加入正在使用中的连接列表,***并返回busy.offer(con);//这简化了,在源码中这儿会对连接进行校验、检查或进行连接。return con;}//下面判断空闲连接队列中取出的连接为空的情况//没有超出连接总数if (size.get() < getPoolProperties().getMaxActive()) {//占坑神技 if (size.addAndGet(1) > getPoolProperties().getMaxActive()) {//超出连接总数//既然没了,那数量也减回去//再去等待其他连接归还回来size.decrementAndGet();} else {//新建一个物理连接return createConnection(now, con, username, password);}}//等待一定时间timetowait后,再次从空闲连接队列中取出的连接,循环执行上面过程con = idle.poll(timetowait, TimeUnit.MILLISECONDS);}}}

用完后「归还」连接是怎么个过程?

大致思路跟「借」操作相反落。当然是无视那些「善后」的工作,只关注资源的管理。

但是,做为连接池必须的职责之一,并不真实的断开与数据库的连接。而只是放至idle队列中,供客户端下次再使用。如果有需要或必要肯定会释放,技巧所在。

大致代码如下:

protected void returnConnection(PooledConnection con) {if (con != null) {try {con.lock();if (busy.remove(con)) {//跟允许的最大空闲数比较if(idle.size() < poolProperties.getMaxIdle()) {idle.offer(con);//源码中调用release//会根据配置项执行一些校验,例如:testOnReturn为true,则在回收时检查连接是否正常//release(con); }} catch(Exception e) {//.... } finally {con.unlock();}} //end if
}

当长时间运行后,怎么回收无效的连接?

这是连接池必备的功能之一,类似检查死链或者释放自身过多的资源。比如,在高并发过后,对资源消耗量少时,就释放些不再使用的数据库连接(真实断开),维护合理的空格数量。【*** 连接池的minIdle定义了这个数量】

看到这应用场景就自然想到,通过后台线程定时扫描。

「对的,就是这样子。」

同样在ConnectionPool这个类文件中的PoolCleaner类。写在同个类文件中,便于用this进行传递数据。不用再去构造个复杂的ConnectionPool对象。

直接上代码,「好代码」就是最好的描述。

public class ConnectionPool {/*** Initialize the connection pool - called from the constructor*/protected void init(PoolConfiguration properties) throws SQLException {initializePoolCleaner(properties);}public void initializePoolCleaner(PoolConfiguration properties) {        if (properties.isPoolSweeperEnabled()) {poolCleaner = new PoolCleaner(this, properties.getTimeBetweenEvictionRunsMillis());poolCleaner.start(); //只注册一个清理器,并未启动线程。} //end if}/*** 检查所有的空闲连接*/public void checkIdle(boolean ignoreMinSize) {try {if (idle.size()==0) return;Iterator<PooledConnection> unlocked = idle.iterator();//【重点:如果空闲数量大于属性MinIdle,则执行清理!】while ( (idle.size()>=getPoolProperties().getMinIdle())) &&unlocked.hasNext()) {PooledConnection con = unlocked.next();try {con.lock();//如果这时已到busy中,则不检查了if (busy.contains(con)) {continue;}release(con);//释放了物理连接idle.remove(con);//从空闲队列中移除} finally {con.unlock();}} //while} catch (Exception e) {//....}}private static volatile Timer poolCleanTimer = null;private static HashSet<PoolCleaner> cleaners = new HashSet<>();//注册一个清理器private static synchronized void registerCleaner(PoolCleaner cleaner) {unregisterCleaner(cleaner);cleaners.add(cleaner);//一堆构造方式。。。if (poolCleanTimer == null) {ClassLoader loader = Thread.currentThread().getContextClassLoader();try {Thread.currentThread().setContextClassLoader(ConnectionPool.class.getClassLoader());poolCleanTimer = new Timer("PoolCleaner["+ System.identityHashCode(ConnectionPool.class.getClassLoader()) + ":"+System.currentTimeMillis() + "]", true);}finally {Thread.currentThread().setContextClassLoader(loader);}}//构造定时扫描器//java有内库非常强大,想用啥有啥呀poolCleanTimer.scheduleAtFixedRate(cleaner, cleaner.sleepTime,cleaner.sleepTime);}//真实的处理线程在这儿。。。protected static class PoolCleaner extends TimerTask {protected WeakReference<ConnectionPool> pool;PoolCleaner(ConnectionPool pool, long sleepTime) {//弱引用,不了解的可以google下this.pool = new WeakReference<>(pool);}@Overridepublic void run() {ConnectionPool pool = this.pool.get();if (pool == null) {stopRunning();} else if (!pool.isClosed()) {                if (pool.getPoolProperties().getMinIdle() < pool.idle.size()) {pool.checkIdle(); //【重点,如果空闲数量大于MinIdle,则执行checkIdle】}}}public void start() {registerCleaner(this); //并未启动线程,只是注册一个清理器}public void stopRunning() {unregisterCleaner(this);}}
}

这篇关于tomcat-jdbc Pool 源码实现简单分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1019281

相关文章

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述:突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

springboot简单集成Security配置的教程

《springboot简单集成Security配置的教程》:本文主要介绍springboot简单集成Security配置的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录集成Security安全框架引入依赖编写配置类WebSecurityConfig(自定义资源权限规则

Spring事务中@Transactional注解不生效的原因分析与解决

《Spring事务中@Transactional注解不生效的原因分析与解决》在Spring框架中,@Transactional注解是管理数据库事务的核心方式,本文将深入分析事务自调用的底层原理,解释为... 目录1. 引言2. 事务自调用问题重现2.1 示例代码2.2 问题现象3. 为什么事务自调用会失效3

idea中创建新类时自动添加注释的实现

《idea中创建新类时自动添加注释的实现》在每次使用idea创建一个新类时,过了一段时间发现看不懂这个类是用来干嘛的,为了解决这个问题,我们可以设置在创建一个新类时自动添加注释,帮助我们理解这个类的用... 目录前言:详细操作:步骤一:点击上方的 文件(File),点击&nbmyHIgsp;设置(Setti

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

一文详解如何从零构建Spring Boot Starter并实现整合

《一文详解如何从零构建SpringBootStarter并实现整合》SpringBoot是一个开源的Java基础框架,用于创建独立、生产级的基于Spring框架的应用程序,:本文主要介绍如何从... 目录一、Spring Boot Starter的核心价值二、Starter项目创建全流程2.1 项目初始化(

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T