【Redis笔记】一起学习Redis | 大海捞针，了解scan命令

本文主要是介绍【Redis笔记】一起学习Redis | 大海捞针，了解scan命令，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一起学习Redis | 大海捞针，了解scan命令

---

如果觉得对你有帮助，能否点个赞或关个注，以示鼓励笔者呢？！博客目录 | 先点这里

• 前提概要
  • 了解一下keys命令
  • 为什么要使用scan代替keys
• Scan命令
  • scan衍生类型
  • scan基本使用
  • scan的遍历原理
• 代码实践
  • scan命令
  • hscan命令
  • sscan命令
  • zscan命令

前提概要

---

了解一下keys命令

在平时线上的Redis维护过程中，有时候需要从Redis实例中的成千上万个key中找到特定前缀的key集合。可能是批量删除，也可能是批量修改，查询等等。这样就延伸出了一个问题，如何从海量的key中找到满足特定前缀的数据集合？

• keys pattern
  Redis提供了一个简单粗暴的keys命令来列出所有满足特定正则字符串规则的key

虽然keys命令非常的简单，但是有点过度简单，并且带有两个明显的缺点：

• 不支持offset, limit功能，既没有分批查询的功能
  如果在海量数据的Redis实例中，如果满足条件的查询有上百万，千万的key，那么该查询操作会非常的耗时。

• keys命令是线性遍历，时间复杂度是O(n)
  如果符合条件的数据过多，鉴于Redis的单线程模型，该命令会严重阻塞其他客户端在该Redis实例的命令操作。所以keys不适合在生产环境中使用。

---

为什么要使用scan代替keys

所以Redis为了解决Keys存在缺陷的这个问题，在2.8版本后加入了scan的命令。 那么scan命令相比keys有什么好处呢？

• 虽然scan复杂度也是O(n) ， 但是我的原理是游标分步遍历，提供分批的功能，一次只查一部分。不会对线程造成严重阻塞。
• 提供了count的参数，类似于limit功能，可以限制一次最多返回的近似最大值

scan最重要的特性就是可以分批操作，不会一个命令执行很长时间，从而导致阻塞线程。虽然scan有如此多的好处，但是它的操作相对keys而言更为复杂，而且也有几个缺点需要注意

• 返回的结果可能会有重复，需要用户自己去重
• 遍历的过程，如果有数据改动，改动后的数据是否能够查到是不能确定的

Scan命令

---

scan衍生类型

Redis的四种基本容器类型中，只有hash,set,zset支持scan操作，list没有scan操作

针对所有Redis的外部键

• scan

针对Redis容器类型的键

• hscan
• sscan
• zscan

---

scan基本使用

命令参数

scan cursor [MATCH pattern] [COUNT count]  

• cursor就是游标，第一次查询，游标默认为0。只有当scan返回的游标再次为0，才代表本次整体遍历结束
• pattren就是字符串匹配规则
• count就是近视的最大要返回的元素个数，并不严苛，但是大致会在count的范围浮动

如何使用

• 一般我们可以在代码上封装好分批查询，既要多次调用scan命令，每次都将上次scan返回的游标结果作为下次scan的游标参数。
• 第一次scan的游标默认为0，在整体的遍历中，只有当之后的某次scan返回的游标结果再次为0，这代表本次整体循环结束。
  

scan特性

• 单次返回的结果，如果为空，不代表就遍历结束了。只有其返回的游标是空，才代表此次遍历结束
• 可能会返回重复的结果
• 每次遍历的数据个数，或多或少，但最大个数肯定在count参数的附近，除非哈希冲突的个数太多了。

---

scan的遍历原理

在Redis中所有的key都存储在一个很大的字典中，这个字典的结构和Java的HashMap一样。通过一维数组来存储数据，哈希冲突的数据使用链地址法来解决。

而scan指令是怎么遍历这个数组和链表的呢？

• scan中的cursor游标实际代表的就是数组的位置索引，Redis将这个位置索引称之为槽(slot)。在不考虑字典扩容的情况下。scan就是按照数组的下标，一个一个遍历槽的。而scan返回游标就是代表此时遍历到数组的这个位置，如要下次遍历，就从这里开始。
• count并不是要遍历的元素个数，而是一次scan，要遍历的槽的个数，既遍历数组的长度是多少。
• 之所以有时候返回的数据多，有的时候数据少，甚至有的时候，数据为空。这是因为并不是数组的每个槽都存放有数据的。如果有多个冲突数据，这会存在这个槽的链表中。

代码实践

---

scan命令

import redis"""
验证scan命令
"""
client = redis.StrictRedis(host='127.0.0.1', port=6379)
key = "test:"def set_data():"""(1) 插入1000个string类型key"""for i in range(1000):client.set(key + str(i), i)def scan_data():"""(2)  通过scan遍历这1000个“test:”前缀的数据"""cursor = 0  # 游标起始为0sum_number = 0  # 元素总量，验证数量while True:data = client.scan(cursor, key + '*', 100)cursor = data[0]sum_number += len(data[1])if cursor == 0:  # 只要游标变回0，代表遍历结束breakprint(len(data[1]), list(map(lambda key: key.decode('utf-8'), data[1])))print(str(sum_number))def del_data():"""(3)  通过scan删除这1000个“test:”前缀开头的数据"""cursor = 0  # 游标起始为0while True:data = client.scan(cursor, key + '*', 100)cursor = data[0]keys = list(map(lambda key: key.decode('utf-8'), data[1]))client.delete(*keys)if cursor == 0:  # 只要游标变回0，代表遍历结束breakif __name__ == '__main__':"""1. 插入1000个数据2. 通过scan遍历这1000个数据3. 通过scan分批删这个1000个数据，每批扫描100个数据槽，大致10批4. 再次通过scan查询这1000个数据，看是否删除成功"""set_data()scan_data()del_data()scan_data()

---

hscan命令

import redis"""
验证hscan命令
"""
client = redis.StrictRedis(host='127.0.0.1', port=6379)
outer_key = "hash"
hash_key = "test:"def hset_data():"""(1) 对"hash"的键插入1000个哈希子数据"""for i in range(1000):client.hset(outer_key, hash_key + str(i), i)def hscan_data():"""(2)  通过hscan遍历这1000个“test:”前缀的子数据"""cursor = 0  # 游标起始为0sum_number = 0  # 元素总量，验证数量while True:data = client.hscan(outer_key, cursor, hash_key + '*', 100)cursor = data[0]sum_number += len(data[1])if cursor == 0:  # 只要游标变回0，代表遍历结束breakprint(len(data[1]), list(map(lambda key: key.decode('utf-8'), data[1])))print(str(sum_number))def hdel_data():"""(3)  通过hscan删除这1000个“test:”前缀开头的子数据"""cursor = 0  # 游标起始为0while True:data = client.hscan(outer_key, cursor, hash_key + '*', 100)cursor = data[0]keys = list(map(lambda key: key.decode('utf-8'), data[1]))client.hdel(outer_key, *keys)if cursor == 0:  # 只要游标变回0，代表遍历结束breakif __name__ == '__main__':"""1. 向hash类型的"hash"键插入1000个子数据2. 通过hscan遍历"hash"键的1000个子数据3. 通过hscan分批删这个1000个子数据，每批扫描100个数据槽，大致10批4. 再次通过hscan查询这1000个数据，看是否删除成功"""hset_data()hscan_data()hdel_data()hscan_data()

---

sscan命令

import redis"""
验证sscan命令
"""
client = redis.StrictRedis(host='127.0.0.1', port=6379)
outer_key = "set"
data_prefix = "set:"def sadd_data():"""(1) 对"set"的键插入1000个集合子数据,所有集合内容皆以“set:”开头"""for i in range(1000):client.sadd(outer_key, data_prefix + str(i))def sscan_data():"""(2)  通过sscan遍历set键集合的1000个“set:”前缀的子数据"""cursor = 0  # 游标起始为0sum_number = 0  # 元素总量，验证数量while True:data = client.sscan(outer_key, cursor, data_prefix + '*', 100)cursor = data[0]sum_number += len(data[1])if cursor == 0:  # 只要游标变回0，代表遍历结束breakprint(len(data[1]), list(map(lambda set_data: set_data.decode('utf-8'), data[1])))print(str(sum_number))def srem_data():"""(3)  通过sscan分批删除这1000个“set:”前缀开头的集合数据"""cursor = 0  # 游标起始为0while True:data = client.sscan(outer_key, cursor, data_prefix + '*', 100)cursor = data[0]datas = list(map(lambda set_data: set_data.decode('utf-8'), data[1]))client.srem(outer_key, *datas)if cursor == 0:  # 只要游标变回0，代表遍历结束breakif __name__ == '__main__':"""1. 向set类型的"set"键插入1000个子数据2. 通过sscan遍历"set"键的1000个子数据3. 通过sscan分批删这个1000个子数据，每批扫描100个数据槽，大致10批4. 再次通过sscan查询这1000个数据，看是否删除成功"""sadd_data()sscan_data()srem_data()sscan_data()

---

zscan

import redis"""
验证sscan命令
"""
client = redis.StrictRedis(host='127.0.0.1', port=6379)
outer_key = "zset"
data_prefix = "zset:"def zadd_data():"""(1) 对"zset"的键插入1000个有序集合子数据,所有集合内容皆以“zset:”开头"""for i in range(1000):item = {data_prefix + str(i): i}client.zadd(outer_key, item)def zscan_data():"""(2)  通过zscan遍历zset键有序集合的1000个“zset:”前缀的子数据"""cursor = 0  # 游标起始为0sum_number = 0  # 元素总量，验证数量while True:data = client.zscan(outer_key, cursor, data_prefix + '*', 100)cursor = data[0]sum_number += len(data[1])if cursor == 0:  # 只要游标变回0，代表遍历结束breakzset_tuple = data[1]print(len(data[1]), list(map(lambda zset_data: zset_data[0].decode('utf-8'), zset_tuple)))print(str(sum_number))def zrem_data():"""(3)  通过zscan分批删除这1000个“zset:”前缀开头的有序集合数据"""cursor = 0  # 游标起始为0while True:data = client.zscan(outer_key, cursor, data_prefix + '*', 100)cursor = data[0]zset_tuple = data[1]datas = list(map(lambda zset_data: zset_data[0].decode('utf-8'), zset_tuple))client.zrem(outer_key, *datas)if cursor == 0:  # 只要游标变回0，代表遍历结束breakif __name__ == '__main__':"""1. 向zset类型的"zset"键插入1000个子数据2. 通过zscan遍历"zset"键的1000个子数据3. 通过zscan分批删这个1000个子数据，每批扫描100个数据槽，大致10批4. 再次通过zscan查询这1000个数据，看是否删除成功"""zadd_data()zscan_data()zrem_data()zscan_data()

相关知识点

---

如何应对大key的操作

大key数据，每次的set, get, del都是需要花费大量的时间。所以我们需要对这些大key的数据进行分批操作

• 对于是string类型的大key，那只能杜绝这类key的出现

针对容器类型的大key , 比如hash, list, set, zset等，我们都可以考虑使用分批操作，比如删除操作：

• Large Hash Key 可使用hscan命令，每次获取500个字段，再用hdel命令，每次500个内部元素。
• Large Set Key 可使用sscan命令，每次扫描集合中500个元素，再用srem命令每次删除500个元素。
• Large List Key 可通过ltrim命令每次删除部分元素，直到全部删除
• Large Sorted Set Key 使用zset自带的zremrangebyrank命令,每次删除前500个元素
  
  

参考资料

---

• 《Redis深度历险》

• redis过期键删除策略以及大key删除方法 - @作者：konami

• 如果觉得对你有帮助，能否点个赞或关个注，以示鼓励笔者呢？！

这篇关于【Redis笔记】一起学习Redis | 大海捞针，了解scan命令的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---