【Redis】获取没有设置ttl的key脚本

本文主要是介绍【Redis】获取没有设置ttl的key脚本，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一 前言
在运维Redis的时候，总会遇到使用不规范的业务设计，比如没有对key设置ttl，进而导致内存空间吃紧，通常的解决方法是在slave上dump 出来所有的key ，然后对文件进行遍历再分析。遇到几十G的Redis实例，dump + 分析 会是一个比较耗时的操作，为此，我开发了一个小脚本直接连接Redis 进行scan 遍历所有的key，然后在检查key的ttl，将没有ttl的key输出到指定的文件里面。

二 代码实现

# encoding: utf-8
"""
author: yangyi@youzan.com
time: 2018/4/26 下午4:34
func: 获取数据库中没有设置ttl的 key
"""
import redis
import argparse
import time
import sysclass ShowProcess:"""显示处理进度的类调用该类相关函数即可实现处理进度的显示"""i = 0 # 当前的处理进度max_steps = 0 # 总共需要处理的次数max_arrow = 50 # 进度条的长度# 初始化函数，需要知道总共的处理次数def __init__(self, max_steps):self.max_steps = max_stepsself.i = 0# 显示函数，根据当前的处理进度i显示进度# 效果为[>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>]100.00%def show_process(self, i = None):if i is not None:self.i = ielse:self.i += 1num_arrow = int(self.i * self.max_arrow / self.max_steps) # 计算显示多少个'>'num_line = self.max_arrow - num_arrow # 计算显示多少个'-'percent = self.i * 100.0 / self.max_steps # 计算完成进度，格式为xx.xx%process_bar = '[' + '>' * num_arrow + ' ' * num_line + ']'\+ '%.2f' % percent + '%' + '\r' # 带输出的字符串，'\r'表示不换行回到最左边sys.stdout.write(process_bar) # 这两句打印字符到终端sys.stdout.flush()def close(self, words='done'):print ''print wordsself.i = 0def check_ttl(redis_conn, no_ttl_file, dbindex):start_time = time.time()no_ttl_num = 0keys_num = redis_conn.dbsize()print "there are {num} keys in db {index} ".format(num=keys_num, index=dbindex)process_bar = ShowProcess(keys_num)with open(no_ttl_file, 'a') as f:for key in redis_conn.scan_iter(count=1000):process_bar.show_process()if redis_conn.ttl(key) == -1:no_ttl_num += 1if no_ttl_num < 1000:f.write(key+'\n')else:continueprocess_bar.close()print "cost time(s):", time.time() - start_timeprint "no ttl keys number:", no_ttl_numprint "we write keys with no ttl to the file: %s" % no_ttl_filedef main():parser = argparse.ArgumentParser()parser.add_argument('-p', type=int, dest='port', action='store', help='port of redis ')parser.add_argument('-d', type=str, dest='db_list', action='store', default=0,help='ex : -d all / -d 1,2,3,4 ')args = parser.parse_args()port = args.portif args.db_list == 'all':db_list = [i for i in xrange(0, 16)]else:db_list = [int(i) for i in args.db_list.split(',')]for index in db_list:try:pool = redis.ConnectionPool(host='127.0.0.1', port=port, db=index)r = redis.StrictRedis(connection_pool=pool)except redis.exceptions.ConnectionError as e:print eelse:no_ttl_keys_file = "/tmp/{port}_{db}_no_ttl_keys.txt".format(port=port, db=index)check_ttl(r, no_ttl_keys_file, index)if __name__ == '__main__':main()

注意:
代码里面对没有ttl的key的输出做了限制，大家使用的时候可以调整阈值 或者去掉 全部输出到指定的文件里面。欢迎大家使用，并给出功能或者算法上的改进措施。

这篇关于【Redis】获取没有设置ttl的key脚本的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---