中间件 | Redis - [全局 hash 渐进 rehash]

2024-03-09 02:12

本文主要是介绍中间件 | Redis - [全局 hash 渐进 rehash],希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

INDEX

      • §1 全局 hash 表
      • §2 渐进式 rehash

§1 全局 hash 表

全局 hash 是 redis 管理所有 key 的方式
就好像 mysql 中,所有数据库表、字段的信息依然存在表中
redis 中所有 key 的信息都存在一个全局的 hash 中

§2 渐进式 rehash

传统 rehash 有什么问题
传统 rehash 是买断式的,触发 rehash 后,需要在连续的时间内完成

  • hash 的扩容
  • 所有现存 entry 的 rehash

这种方式并不适用于 redis

  • redis 是一个分布式缓存,key 可能很多,全局的 rehash 会很占时间
  • 并且 rehash 过程中服务不可用

什么是渐进式 rehash

  • 结合原容器的大小,重新开辟一块空间用于存放 hash 数组
  • 不一口气处理所有 key,而是以桶为单位 rehash
    • hash 结构如下,实际包含两个 hash 表
    #dict字典的数据结构
    typedef struct dict{dictType *type; void *privdata; dictht ht[2]; //结构如下long rehashidx; int itreators; 
    }typedef struct dictht{dictEntry[] table;unsingned long size;unsingned long  sizemask;(size-1)unsingned long  used;
    }
    
    • ht[0] 是实际数据,ht[1] 用于 rehash
    • rehashidx 初始值 -1,表示不在 rehash 中
    • 当 key 被新增、查询、删除时,直接对 key 所在的桶进行迁移
      • 同时对桶下链表的每一个元素进行 rehash(ht[0] -> ht[1])
      • rehash++
      • rehash 过程中:
        • 新增:单增,只增加 ht[1]
        • 删除:双删,先删 ht[0],后删 ht[1]
        • 查询:双查,先查 ht[0],后查 ht[1]
    • 当所有桶全部迁移完成后
      • rehashidx == ht[1].used 时完成
      • ht[0] = ht[1]
      • ht[1] = new dictht
      • rehashidx = -1

这篇关于中间件 | Redis - [全局 hash 渐进 rehash]的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/789236

相关文章

Redis Pipeline(管道) 详解

《RedisPipeline(管道)详解》Pipeline管道是Redis提供的一种批量执行命令的机制,通过将多个命令一次性发送到服务器并统一接收响应,减少网络往返次数(RTT),显著提升执行效率... 目录Redis Pipeline 详解1. Pipeline 的核心概念2. 工作原理与性能提升3. 核

redis过期key的删除策略介绍

《redis过期key的删除策略介绍》:本文主要介绍redis过期key的删除策略,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录第一种策略:被动删除第二种策略:定期删除第三种策略:强制删除关于big key的清理UNLINK命令FLUSHALL/FLUSHDB命

Redis消息队列实现异步秒杀功能

《Redis消息队列实现异步秒杀功能》在高并发场景下,为了提高秒杀业务的性能,可将部分工作交给Redis处理,并通过异步方式执行,Redis提供了多种数据结构来实现消息队列,总结三种,本文详细介绍Re... 目录1 Redis消息队列1.1 List 结构1.2 Pub/Sub 模式1.3 Stream 结

SpringBoot中配置Redis连接池的完整指南

《SpringBoot中配置Redis连接池的完整指南》这篇文章主要为大家详细介绍了SpringBoot中配置Redis连接池的完整指南,文中的示例代码讲解详细,具有一定的借鉴价值,感兴趣的小伙伴可以... 目录一、添加依赖二、配置 Redis 连接池三、测试 Redis 操作四、完整示例代码(一)pom.

Redis在windows环境下如何启动

《Redis在windows环境下如何启动》:本文主要介绍Redis在windows环境下如何启动的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Redis在Windows环境下启动1.在redis的安装目录下2.输入·redis-server.exe

Redis实现延迟任务的三种方法详解

《Redis实现延迟任务的三种方法详解》延迟任务(DelayedTask)是指在未来的某个时间点,执行相应的任务,本文为大家整理了三种常见的实现方法,感兴趣的小伙伴可以参考一下... 目录1.前言2.Redis如何实现延迟任务3.代码实现3.1. 过期键通知事件实现3.2. 使用ZSet实现延迟任务3.3

Redis分片集群的实现

《Redis分片集群的实现》Redis分片集群是一种将Redis数据库分散到多个节点上的方式,以提供更高的性能和可伸缩性,本文主要介绍了Redis分片集群的实现,具有一定的参考价值,感兴趣的可以了解一... 目录1. Redis Cluster的核心概念哈希槽(Hash Slots)主从复制与故障转移2.

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

redis+lua实现分布式限流的示例

《redis+lua实现分布式限流的示例》本文主要介绍了redis+lua实现分布式限流的示例,可以实现复杂的限流逻辑,如滑动窗口限流,并且避免了多步操作导致的并发问题,具有一定的参考价值,感兴趣的可... 目录为什么使用Redis+Lua实现分布式限流使用ZSET也可以实现限流,为什么选择lua的方式实现

Redis中管道操作pipeline的实现

《Redis中管道操作pipeline的实现》RedisPipeline是一种优化客户端与服务器通信的技术,通过批量发送和接收命令减少网络往返次数,提高命令执行效率,本文就来介绍一下Redis中管道操... 目录什么是pipeline场景一:我要向Redis新增大批量的数据分批处理事务( MULTI/EXE