Redis是如何避免“数组+链表”的过长问题

2024-03-23 14:28

本文主要是介绍Redis是如何避免“数组+链表”的过长问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

一、扩展和收缩

二、使用高质量的哈希函数

三、使用跳跃表(skiplist)或其他数据结构

四、哈希表分片


一、扩展和收缩

       Redis通过动态调整哈希表的大小来解决“数组+链表”的长度问题,这涉及到两个过程:扩展(Expand)和收缩(Shrink)。

  1. 扩展:

    • 当哈希表的负载因子(load factor)超过一个阈值时,Redis会进行扩展操作。
    • 负载因子是哈希表已存储的元素数量与哈希表大小的比值。
    • 扩展操作包括分配一个新的更大的哈希表,并逐渐将旧表中的所有键值对rehash到新表中。
  2. 收缩:

    • 相对地,当负载因子低于另一个阈值时,Redis会执行收缩操作,减少哈希表的大小。
    • 这通常发生在删除大量键值对后,为了节省内存空间,Redis会将键值对rehash到一个更小的哈希表中。

   负载因子和rehash

  • 负载因子的计算:

    • 负载因子 = 哈希表中的元素数量 / 哈希表的大小
    • 当负载因子太高时,意味着发生哈希冲突的可能性增加,链表会变得较长,影响性能。
    • 当负载因子太低时,意味着内存使用不够高效。
    • 默认扩展负载因子:
      • 在没有进行BGSAVE或BGREWRITEAOF操作时,负载因子超过1时进行扩展。
      • 如果正在进行BGSAVE或BGREWRITEAOF操作,则负载因子阈值提高到5,即负载因子超过5时进行扩展。这意味着在正常情况下,当哈希表的负载因子超过1时,Redis就会触发扩展操作。但是,如果Redis正在进行磁盘写操作,如BGSAVE或BGREWRITEAOF,为了避免在磁盘IO已经很高的情况下进一步增加内存重分配的负担,它会提高扩展操作的负载因子阈值到5。这样可以在一定程度上平衡内存使用和磁盘IO之间的性能。
    • 当哈希表的负载因子小于0.1时,Redis会进行收缩操作。
  • rehash过程:

    • rehash是将所有键值对从旧的哈希表移动到新的哈希表的过程。
    • Redis使用渐进式rehash,它不是一次性完成,而是分多次进行,以避免长时间的阻塞。

   渐进式rehash

  • 渐进式rehash的实现:
    • 在rehash期间,Redis同时保持旧表和新表。
    • 每次对哈希表的操作(如添加、删除、查找)时,Redis会将旧哈希表的一部分键值对迁移到新哈希表。
    • 这样可以将rehash的计算量分散到每个操作上,避免一次性的大量计算导致服务不可用。

二、使用高质量的哈希函数

       Redis使用MurmurHash等高质量的哈希函数来减少哈希冲突。

三、使用跳跃表(skiplist)或其他数据结构

     对于有序数据集合,Redis使用跳跃表而不是链表来存储元素,跳跃表的平均和最坏情况下的时间复杂度都比链表要好。

四、哈希表分片

  在Redis集群模式下,哈希表会被分成多个分片,每个分片由不同的Redis节点管理,这样可以分散负载,减少单个链表过长的风险。

这篇关于Redis是如何避免“数组+链表”的过长问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/838581

相关文章

Windows环境下解决Matplotlib中文字体显示问题的详细教程

《Windows环境下解决Matplotlib中文字体显示问题的详细教程》本文详细介绍了在Windows下解决Matplotlib中文显示问题的方法,包括安装字体、更新缓存、配置文件设置及编码調整,并... 目录引言问题分析解决方案详解1. 检查系统已安装字体2. 手动添加中文字体(以SimHei为例)步骤

Redis中Stream详解及应用小结

《Redis中Stream详解及应用小结》RedisStreams是Redis5.0引入的新功能,提供了一种类似于传统消息队列的机制,但具有更高的灵活性和可扩展性,本文给大家介绍Redis中Strea... 目录1. Redis Stream 概述2. Redis Stream 的基本操作2.1. XADD

SpringSecurity整合redission序列化问题小结(最新整理)

《SpringSecurity整合redission序列化问题小结(最新整理)》文章详解SpringSecurity整合Redisson时的序列化问题,指出需排除官方Jackson依赖,通过自定义反序... 目录1. 前言2. Redission配置2.1 RedissonProperties2.2 Red

nginx 负载均衡配置及如何解决重复登录问题

《nginx负载均衡配置及如何解决重复登录问题》文章详解Nginx源码安装与Docker部署,介绍四层/七层代理区别及负载均衡策略,通过ip_hash解决重复登录问题,对nginx负载均衡配置及如何... 目录一:源码安装:1.配置编译参数2.编译3.编译安装 二,四层代理和七层代理区别1.二者混合使用举例

Java中的数组与集合基本用法详解

《Java中的数组与集合基本用法详解》本文介绍了Java数组和集合框架的基础知识,数组部分涵盖了一维、二维及多维数组的声明、初始化、访问与遍历方法,以及Arrays类的常用操作,对Java数组与集合相... 目录一、Java数组基础1.1 数组结构概述1.2 一维数组1.2.1 声明与初始化1.2.2 访问

Knife4j+Axios+Redis前后端分离架构下的 API 管理与会话方案(最新推荐)

《Knife4j+Axios+Redis前后端分离架构下的API管理与会话方案(最新推荐)》本文主要介绍了Swagger与Knife4j的配置要点、前后端对接方法以及分布式Session实现原理,... 目录一、Swagger 与 Knife4j 的深度理解及配置要点Knife4j 配置关键要点1.Spri

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

MySQL查询JSON数组字段包含特定字符串的方法

《MySQL查询JSON数组字段包含特定字符串的方法》在MySQL数据库中,当某个字段存储的是JSON数组,需要查询数组中包含特定字符串的记录时传统的LIKE语句无法直接使用,下面小编就为大家介绍两种... 目录问题背景解决方案对比1. 精确匹配方案(推荐)2. 模糊匹配方案参数化查询示例使用场景建议性能优

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因(调度随机、变量修改、非原子操作、内存可见性、指令重排序)及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操

关于集合与数组转换实现方法

《关于集合与数组转换实现方法》:本文主要介绍关于集合与数组转换实现方法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、Arrays.asList()1.1、方法作用1.2、内部实现1.3、修改元素的影响1.4、注意事项2、list.toArray()2.1、方