中间件 | Redis - [全局 hash 渐进 rehash]

2024-03-09 02:12

本文主要是介绍中间件 | Redis - [全局 hash 渐进 rehash],希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

INDEX

      • §1 全局 hash 表
      • §2 渐进式 rehash

§1 全局 hash 表

全局 hash 是 redis 管理所有 key 的方式
就好像 mysql 中,所有数据库表、字段的信息依然存在表中
redis 中所有 key 的信息都存在一个全局的 hash 中

§2 渐进式 rehash

传统 rehash 有什么问题
传统 rehash 是买断式的,触发 rehash 后,需要在连续的时间内完成

  • hash 的扩容
  • 所有现存 entry 的 rehash

这种方式并不适用于 redis

  • redis 是一个分布式缓存,key 可能很多,全局的 rehash 会很占时间
  • 并且 rehash 过程中服务不可用

什么是渐进式 rehash

  • 结合原容器的大小,重新开辟一块空间用于存放 hash 数组
  • 不一口气处理所有 key,而是以桶为单位 rehash
    • hash 结构如下,实际包含两个 hash 表
    #dict字典的数据结构
    typedef struct dict{dictType *type; void *privdata; dictht ht[2]; //结构如下long rehashidx; int itreators; 
    }typedef struct dictht{dictEntry[] table;unsingned long size;unsingned long  sizemask;(size-1)unsingned long  used;
    }
    
    • ht[0] 是实际数据,ht[1] 用于 rehash
    • rehashidx 初始值 -1,表示不在 rehash 中
    • 当 key 被新增、查询、删除时,直接对 key 所在的桶进行迁移
      • 同时对桶下链表的每一个元素进行 rehash(ht[0] -> ht[1])
      • rehash++
      • rehash 过程中:
        • 新增:单增,只增加 ht[1]
        • 删除:双删,先删 ht[0],后删 ht[1]
        • 查询:双查,先查 ht[0],后查 ht[1]
    • 当所有桶全部迁移完成后
      • rehashidx == ht[1].used 时完成
      • ht[0] = ht[1]
      • ht[1] = new dictht
      • rehashidx = -1

这篇关于中间件 | Redis - [全局 hash 渐进 rehash]的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/789236

相关文章

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

康拓展开(hash算法中会用到)

康拓展开是一个全排列到一个自然数的双射(也就是某个全排列与某个自然数一一对应) 公式: X=a[n]*(n-1)!+a[n-1]*(n-2)!+...+a[i]*(i-1)!+...+a[1]*0! 其中,a[i]为整数,并且0<=a[i]<i,1<=i<=n。(a[i]在不同应用中的含义不同); 典型应用: 计算当前排列在所有由小到大全排列中的顺序,也就是说求当前排列是第

hdu1496(用hash思想统计数目)

作为一个刚学hash的孩子,感觉这道题目很不错,灵活的运用的数组的下标。 解题步骤:如果用常规方法解,那么时间复杂度为O(n^4),肯定会超时,然后参考了网上的解题方法,将等式分成两个部分,a*x1^2+b*x2^2和c*x3^2+d*x4^2, 各自作为数组的下标,如果两部分相加为0,则满足等式; 代码如下: #include<iostream>#include<algorithm

usaco 1.2 Milking Cows(类hash表)

第一种思路被卡了时间 到第二种思路的时候就觉得第一种思路太坑爹了 代码又长又臭还超时!! 第一种思路:我不知道为什么最后一组数据会被卡 超时超了0.2s左右 大概想法是 快排加一个遍历 先将开始时间按升序排好 然后开始遍历比较 1 若 下一个开始beg[i] 小于 tem_end 则说明本组数据与上组数据是在连续的一个区间 取max( ed[i],tem_end ) 2 反之 这个

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

uva 10029 HASH + DP

题意: 给一个字典,里面有好多单词。单词可以由增加、删除、变换,变成另一个单词,问能变换的最长单词长度。 解析: HASH+dp 代码: #include <iostream>#include <cstdio>#include <cstdlib>#include <algorithm>#include <cstring>#include <cmath>#inc

整数Hash散列总结

方法:    step1  :线性探测  step2 散列   当 h(k)位置已经存储有元素的时候,依次探查(h(k)+i) mod S, i=1,2,3…,直到找到空的存储单元为止。其中,S为 数组长度。 HDU 1496   a*x1^2+b*x2^2+c*x3^2+d*x4^2=0 。 x在 [-100,100] 解的个数  const int MaxN = 3000

POJ 1198 双广+Hash

此题采用双广可从bfs的O(16^8)降低到O(2*16^4); 坐标0-7,刚好3位存储, 需要24位存储四个坐标(x,y),也就是[0,2^24) 。 很好的一题。 import java.io.BufferedReader;import java.io.InputStream;import java.io.InputStreamReader;import

开源分布式数据库中间件

转自:https://www.csdn.net/article/2015-07-16/2825228 MyCat:开源分布式数据库中间件 为什么需要MyCat? 虽然云计算时代,传统数据库存在着先天性的弊端,但是NoSQL数据库又无法将其替代。如果传统数据易于扩展,可切分,就可以避免单机(单库)的性能缺陷。 MyCat的目标就是:低成本地将现有的单机数据库和应用平滑迁移到“云”端