Redis学习笔记:字典rehash底层实现与Java区别

2024-08-27 15:48

本文主要是介绍Redis学习笔记:字典rehash底层实现与Java区别,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

环境

Java:11
Redis设计与实现

前言

今天在看Redis的字典rehash时,发现其与Java不一样;
并由此产生了如下思考:
① Redis既然采用的是渐进式rehash,那么Java的HashMap采用的是什么?
② 集中式重新rehash是非常耗性能的,hashMap中rehash的优化点在哪里?

扩容

以前下面这段代码我没有重点看,只知道这是在扩容;
今天重点看了下,不过红黑树没看:

final Node<K,V>[] resize() {Node<K,V>[] oldTab = table;// 原哈希表的长度int oldCap = (oldTab == null) ? 0 : oldTab.length;// 触发扩容的临界值int oldThr = threshold;int newCap, newThr = 0;if (oldCap > 0) {// 1<<30 2^30 最大值if (oldCap >= MAXIMUM_CAPACITY) {threshold = Integer.MAX_VALUE;return oldTab;}// 左移1位相当于乘2, newCap就变成了原来的2倍else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&oldCap >= DEFAULT_INITIAL_CAPACITY)newThr = oldThr << 1; // double threshold}else if (oldThr > 0) // initial capacity was placed in thresholdnewCap = oldThr;else {               // zero initial threshold signifies using defaultsnewCap = DEFAULT_INITIAL_CAPACITY;newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);}if (newThr == 0) {float ft = (float)newCap * loadFactor;newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?(int)ft : Integer.MAX_VALUE);}threshold = newThr;@SuppressWarnings({"rawtypes","unchecked"})Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];table = newTab;if (oldTab != null) {// 关键变量 e 每次遍历的当前元素// for (int j = 0; j < oldCap; ++j) {Node<K,V> e;if ((e = oldTab[j]) != null) {oldTab[j] = null;if (e.next == null)// 无链表的情况newTab[e.hash & (newCap - 1)] = e;else if (e instanceof TreeNode)((TreeNode<K,V>)e).split(this, newTab, j, oldCap);else { // preserve order 有链表的情况// 高位为0的头节点、高位为0的尾节点Node<K,V> loHead = null, loTail = null;// 高位为1的头结点、高位为1的尾节点Node<K,V> hiHead = null, hiTail = null;Node<K,V> next;do {// 链表当前节点next = e.next;// 因为原数组的长度都是2^n,// 所以最高位是1,低位都是0// e.hash & oldCap 就可以得出e.hash的高位是0 or 1if ((e.hash & oldCap) == 0) {if (loTail == null)loHead = e;elseloTail.next = e;loTail = e;} else {// 数据高位为1的情况if (hiTail == null)hiHead = e;elsehiTail.next = e;hiTail = e;}} while ((e = next) != null);if (loTail != null) {loTail.next = null;// 原索引没变情况newTab[j] = loHead;}if (hiTail != null) {hiTail.next = null;// 因为扩容导致索引变化的情况newTab[j + oldCap] = hiHead;}}}}}return newTab;
}

这段代码整体理解起来不算难,需要注意地方:
① 移位: <<n 左移n位就是 乘以2n
② 因为原数组的长度都是2^n,所以最高位是1,低位都是0,e.hash & oldCap 就可以得出e.hash的高位是0 or 1;

newTab[j + oldCap] = hiHead; 的理解

可以看到这段代码中数组扩容后,当原hash的高位为1时,新索引的位置是j + oldCap

为什么时这样的呢?

现在我们假设HashMap初始容量是8;
现在需要存入key13这么一个数字;
那么它的索引位置在哪呢?

索引位置:key & (length - 1)
13 &(8-1)= 13 & 7
13 转成二进制:1101
7 转成二进制:0111

做&运算后:0101 = 5
如下图所示:
在这里插入图片描述

假设现在扩容了,容量变为了16,即原来的一倍;

我们再来计算下新的索引位置:
13 转成二进制:1101
15 转成二进制:1111

做&运算后:1101 = 13,这个位置正好是 5 + 8 = 13,
即旧索引位置 + 扩容前的容量:newTab[j + oldCap] = hiHead

在这里插入图片描述
所以Java在扩容时,在重新计算hash值这一块是很快的;

Redis

Redis的扩容和收缩,是利用两个哈希表来完成。在设计上就和Java有区别;

typedef struct dict {dictType *type;void * privdata;// 哈希表dictht ht[2];// rehash索引,当rehash不在进行时,值为-1int rehashidx;
} dict;

从上面的结构中就可以看出,Redis字典创建时就有两个哈希表,不rehash的情况下,只使用ht[0]这个哈希表,当发生扩容和收缩时,才会用到ht[1]哈希表和rehashidx这个属性;

Redis采用的是渐进式过程,其重新计算hash和数据搬运的过程是发生在增删改查的操作中的,而不是集中一次性完成的。

rehash的过程:

① 为ht[1]分配空间,空间大小为旧空间的2n;
② 将字典中维持的索引计数器rehashidx设置0,表示rehash工作正式开始;
③ 在rehash期间,每次对字典的增、删、改、查,操作,程序除了执行指定的操作之外,还会顺带将ht[0]哈希表在rehashidex索引上的所有键值对rehash到ht[1],当完成后,程序将rehashidex的值加一。
④ 随着字典操作的不断进行,ht[0]表中的所有键值对都会被rehash到ht[1],这时会将rehashidx属性值设置为-1,表示rehash操作结束。

总结

在这里插入图片描述

功能JavaRedis
扩容集中式扩容渐进式扩容
收缩不支持收缩支持收缩
哈希冲突采用链表和红黑树解决冲突采用链表解决冲突

换种说法:Java 扩容类似股票暴跌,一天跌到位,Redis扩容类似阴跌,跌它一个月,跌到位。
Q:Java为什么不支持收缩?
A:Java是以空间换时间,支持收缩不符合它的理念
Q:Java采用集中式扩容有没有性能问题?
A:有

个人注意的细节:
我发现Java的hashMap和Redis哈希表中的next指针,都是用来解决哈希冲突时,形成链表用的。

参考地址:

深入分析 JDK8 中 HashMap 的原理、实现和优化

这篇关于Redis学习笔记:字典rehash底层实现与Java区别的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1112104

相关文章

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

一文详解SpringBoot中控制器的动态注册与卸载

《一文详解SpringBoot中控制器的动态注册与卸载》在项目开发中,通过动态注册和卸载控制器功能,可以根据业务场景和项目需要实现功能的动态增加、删除,提高系统的灵活性和可扩展性,下面我们就来看看Sp... 目录项目结构1. 创建 Spring Boot 启动类2. 创建一个测试控制器3. 创建动态控制器注

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

Java操作Word文档的全面指南

《Java操作Word文档的全面指南》在Java开发中,操作Word文档是常见的业务需求,广泛应用于合同生成、报表输出、通知发布、法律文书生成、病历模板填写等场景,本文将全面介绍Java操作Word文... 目录简介段落页头与页脚页码表格图片批注文本框目录图表简介Word编程最重要的类是org.apach

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

在Linux中改变echo输出颜色的实现方法

《在Linux中改变echo输出颜色的实现方法》在Linux系统的命令行环境下,为了使输出信息更加清晰、突出,便于用户快速识别和区分不同类型的信息,常常需要改变echo命令的输出颜色,所以本文给大家介... 目python录在linux中改变echo输出颜色的方法技术背景实现步骤使用ANSI转义码使用tpu

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP

Knife4j+Axios+Redis前后端分离架构下的 API 管理与会话方案(最新推荐)

《Knife4j+Axios+Redis前后端分离架构下的API管理与会话方案(最新推荐)》本文主要介绍了Swagger与Knife4j的配置要点、前后端对接方法以及分布式Session实现原理,... 目录一、Swagger 与 Knife4j 的深度理解及配置要点Knife4j 配置关键要点1.Spri

SpringBoot+Docker+Graylog 如何让错误自动报警

《SpringBoot+Docker+Graylog如何让错误自动报警》SpringBoot默认使用SLF4J与Logback,支持多日志级别和配置方式,可输出到控制台、文件及远程服务器,集成ELK... 目录01 Spring Boot 默认日志框架解析02 Spring Boot 日志级别详解03 Sp