Redis是如何避免“数组+链表”的过长问题

2024-03-23 14:28

本文主要是介绍Redis是如何避免“数组+链表”的过长问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

一、扩展和收缩

二、使用高质量的哈希函数

三、使用跳跃表(skiplist)或其他数据结构

四、哈希表分片


一、扩展和收缩

       Redis通过动态调整哈希表的大小来解决“数组+链表”的长度问题,这涉及到两个过程:扩展(Expand)和收缩(Shrink)。

  1. 扩展:

    • 当哈希表的负载因子(load factor)超过一个阈值时,Redis会进行扩展操作。
    • 负载因子是哈希表已存储的元素数量与哈希表大小的比值。
    • 扩展操作包括分配一个新的更大的哈希表,并逐渐将旧表中的所有键值对rehash到新表中。
  2. 收缩:

    • 相对地,当负载因子低于另一个阈值时,Redis会执行收缩操作,减少哈希表的大小。
    • 这通常发生在删除大量键值对后,为了节省内存空间,Redis会将键值对rehash到一个更小的哈希表中。

   负载因子和rehash

  • 负载因子的计算:

    • 负载因子 = 哈希表中的元素数量 / 哈希表的大小
    • 当负载因子太高时,意味着发生哈希冲突的可能性增加,链表会变得较长,影响性能。
    • 当负载因子太低时,意味着内存使用不够高效。
    • 默认扩展负载因子:
      • 在没有进行BGSAVE或BGREWRITEAOF操作时,负载因子超过1时进行扩展。
      • 如果正在进行BGSAVE或BGREWRITEAOF操作,则负载因子阈值提高到5,即负载因子超过5时进行扩展。这意味着在正常情况下,当哈希表的负载因子超过1时,Redis就会触发扩展操作。但是,如果Redis正在进行磁盘写操作,如BGSAVE或BGREWRITEAOF,为了避免在磁盘IO已经很高的情况下进一步增加内存重分配的负担,它会提高扩展操作的负载因子阈值到5。这样可以在一定程度上平衡内存使用和磁盘IO之间的性能。
    • 当哈希表的负载因子小于0.1时,Redis会进行收缩操作。
  • rehash过程:

    • rehash是将所有键值对从旧的哈希表移动到新的哈希表的过程。
    • Redis使用渐进式rehash,它不是一次性完成,而是分多次进行,以避免长时间的阻塞。

   渐进式rehash

  • 渐进式rehash的实现:
    • 在rehash期间,Redis同时保持旧表和新表。
    • 每次对哈希表的操作(如添加、删除、查找)时,Redis会将旧哈希表的一部分键值对迁移到新哈希表。
    • 这样可以将rehash的计算量分散到每个操作上,避免一次性的大量计算导致服务不可用。

二、使用高质量的哈希函数

       Redis使用MurmurHash等高质量的哈希函数来减少哈希冲突。

三、使用跳跃表(skiplist)或其他数据结构

     对于有序数据集合,Redis使用跳跃表而不是链表来存储元素,跳跃表的平均和最坏情况下的时间复杂度都比链表要好。

四、哈希表分片

  在Redis集群模式下,哈希表会被分成多个分片,每个分片由不同的Redis节点管理,这样可以分散负载,减少单个链表过长的风险。

这篇关于Redis是如何避免“数组+链表”的过长问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/838581

相关文章

linux生产者,消费者问题

pthread_cond_wait() :用于阻塞当前线程,等待别的线程使用pthread_cond_signal()或pthread_cond_broadcast来唤醒它。 pthread_cond_wait() 必须与pthread_mutex 配套使用。pthread_cond_wait()函数一进入wait状态就会自动release mutex。当其他线程通过pthread

问题:第一次世界大战的起止时间是 #其他#学习方法#微信

问题:第一次世界大战的起止时间是 A.1913 ~1918 年 B.1913 ~1918 年 C.1914 ~1918 年 D.1914 ~1919 年 参考答案如图所示

2024.6.24 IDEA中文乱码问题(服务器 控制台 TOMcat)实测已解决

1.问题产生原因: 1.文件编码不一致:如果文件的编码方式与IDEA设置的编码方式不一致,就会产生乱码。确保文件和IDEA使用相同的编码,通常是UTF-8。2.IDEA设置问题:检查IDEA的全局编码设置和项目编码设置是否正确。3.终端或控制台编码问题:如果你在终端或控制台看到乱码,可能是终端的编码设置问题。确保终端使用的是支持你的文件的编码方式。 2.解决方案: 1.File -> S

vcpkg安装opencv中的特殊问题记录(无法找到opencv_corexd.dll)

我是按照网上的vcpkg安装opencv方法进行的(比如这篇:从0开始在visual studio上安装opencv(超详细,针对小白)),但是中间出现了一些别人没有遇到的问题,虽然原因没有找到,但是本人给出一些暂时的解决办法: 问题1: 我在安装库命令行使用的是 .\vcpkg.exe install opencv 我的电脑是x64,vcpkg在这条命令后默认下载的也是opencv2:x6

问题-windows-VPN不正确关闭导致网页打不开

为什么会发生这类事情呢? 主要原因是关机之前vpn没有关掉导致的。 至于为什么没关掉vpn会导致网页打不开,我猜测是因为vpn建立的链接没被更改。 正确关掉vpn的时候,会把ip链接断掉,如果你不正确关掉,ip链接没有断掉,此时你vpn又是没启动的,没有域名解析,所以就打不开网站。 你可以在打不开网页的时候,把vpn打开,你会发现网络又可以登录了。 方法一 注意:方法一虽然方便,但是可能会有

Windows/macOS/Linux 安装 Redis 和 Redis Desktop Manager 可视化工具

本文所有安装都在macOS High Sierra 10.13.4进行,Windows安装相对容易些,Linux安装与macOS类似,文中会做区分讲解 1. Redis安装 1.下载Redis https://redis.io/download 把下载的源码更名为redis-4.0.9-source,我喜欢跟maven、Tomcat放在一起,就放到/Users/zhan/Documents

vue同页面多路由懒加载-及可能存在问题的解决方式

先上图,再解释 图一是多路由页面,图二是路由文件。从图一可以看出每个router-view对应的name都不一样。从图二可以看出层路由对应的组件加载方式要跟图一中的name相对应,并且图二的路由层在跟图一对应的页面中要加上components层,多一个s结尾,里面的的方法名就是图一路由的name值,里面还可以照样用懒加载的方式。 页面上其他的路由在路由文件中也跟图二是一样的写法。 附送可能存在

vue+elementui--$message提示框被dialog遮罩层挡住问题解决

最近碰到一个先执行this.$message提示内容,然后接着弹出dialog带遮罩层弹框。那么问题来了,message提示框会默认被dialog遮罩层挡住,现在就是要解决这个问题。 由于都是弹框,问题肯定是出在z-index比重问题。由于用$message方式是写在js中而不是写在html中所以不是很好直接去改样式。 不过好在message组件中提供了customClass 属性,我们可以利用

Visual Studio中,MSBUild版本问题

假如项目规定了MSBUild版本,那么在安装完Visual Studio后,假如带的MSBUild版本与项目要求的版本不符合要求,那么可以把需要的MSBUild添加到系统中,然后即可使用。步骤如下:            假如项目需要使用V12的MSBUild,而安装的Visual Studio带的MSBUild版本为V14。 ①到MSDN下载V12 MSBUild包,把V12包解压到目录(

YOLO v3 训练速度慢的问题

一天一夜出了两个模型,仅仅迭代了200次   原因:编译之前没有将Makefile 文件里的GPU设置为1,编译的是CPU版本,必须训练慢   解决方案: make clean  vim Makefile make   再次训练 速度快了,5分钟迭代了500次