一次Redis TTL 为0的问题排查

2024-05-14 02:18
文章标签 问题 redis 排查 一次 ttl

本文主要是介绍一次Redis TTL 为0的问题排查,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一次Redis TTL 为0的问题排查

 


事情是这样的,今天中午业务突然RTX上找我,说一个新建的Twemproxy集群数据查询的时候出了问题,Redis的TTL返回为0,让我帮忙看一看:

 当时听完就觉得问题很诡异,按照之前的经验来说,Redis的TTL怎么也不可能为0啊,见:http://redis.io/commands/ttl

一次Redis <wbr>TTL <wbr>为0的问题排查

 Redis的key,通过TTL命令返回key的过期时间,一般来说有3中:

1.   当前key没有设置过期时间,所以会返回-1.

2.   当前key有设置过期时间,而且key已经过期,所以会返回-2.

3.   当前key有设置过期时间,且key还没有过期,故会返回key的正常剩余时间.

所以,十分疑惑为何会出现key的TTL为0的情况,当时第一感觉问题会不会出现在Twemproxy里面,于是让复杂源码开发的同事查一下twemproxy中是否有对ttl命令的二次处理,于此同时登录到那台twemproxy上,ttl查看相关key,确认结果确实为0,如下图所示:

一次Redis <wbr>TTL <wbr>为0的问题排查

遇到这种问题,首选怀疑是否是个例,于是自行插入key测试:

一次Redis <wbr>TTL <wbr>为0的问题排查

 

 测试过程如上图所示:

1.   setex a 10 1;设置一个key a,过期时间10s,值为1.

2.   通过TTL命令查看a的剩余过期时间,结果为6s.

3.   等待一会儿,再次TTL查看,key的过期时间竟然为0。

果然不是个别现象。同时源码的同事反馈,twemproxy本身并未对ttl命令做过任何处理,故我们通过内部的find_key工具,获取该key所在的hash环上的real server(一致性hash算法),到所在的redis再确认一下:

一次Redis <wbr>TTL <wbr>为0的问题排查

        看来确实是redis本事的问题,我们开始怀疑是Redis的内部出现的bug,于是在其他版本上进行了测试,返回的结果都是正确的,看来版本bug的可能性很高,但是并不能确定。

   我们又在其他的同版本实例上, 进行了同样的测试,但是却并未发现TTL返回0的情况。看来只能去查看源码了。

   于是我们查看了redis对于ttl这个命令的源代码,代码如下:

一次Redis <wbr>TTL <wbr>为0的问题排查

    代码中确实出现了TTL = 0 的情况,理论上对于存在过期时间的key,应该返回-2才对,而这个代码中,第一个if语句(应该返回-2)并没有执行,才导致调入了第二个循环里,而理论上当前的key的过期时间一定小于当前时间戳(且不为-1),所以TTL应该是小于0,而在代码里,作者将TTL<0的情况处理成TTL=0,那问题就在为什么第一个个if没有生效上了,既该条件的主要判断函数lookupKeyRead并没有返回NULL,再查看该函数的代码:

一次Redis <wbr>TTL <wbr>为0的问题排查

从这开始终于看出点端倪了,该函数之所以没有返回NULL,也是由于第一个if语句并没有return NULL,从代码的评论中可以看出,当redis作为slave的时候,是可能不返回NULL的。

一次Redis <wbr>TTL <wbr>为0的问题排查

从expireIfNeeded函数的注释中可以看到,当当前的Redis为Slave时,为了保证主从数据的一致性,是并不会将当前key删除的,触发这一句:if (server.masterhost != NULL) return now > when;当前的时间now一定是大于key存储的过期时间的,故该函数还是返回了1,这样又回到lookupKeyRead,函数中。下面的这段函数起到决定性作用:

一次Redis <wbr>TTL <wbr>为0的问题排查

以下几个条件满足的时候,该函数才会Return NULL。

1.   当前链接存在

2.   当前链接不是master

3.   当前链接的命令存在

4.   当前链接的命令flags于REDIS_CMD_READONLY的与为True

前三个比较在测试过程中,一定是为True的,问题在第四个条件上,这里又引出了Redis Command的flags,在客户端,通过client list,可以查看到当前链接的flags:

一次Redis <wbr>TTL <wbr>为0的问题排查

可以看到,执行ttl命令的flags为N,而在下面的代码中可以看出flags=N时,表示flags=0,所以在上面的代码中,flags & REDIS_CMD_READONLY = 0 &2(REDIS_CMD_READONLY = 2,redis.h中定义),故这个if语句也没有进入,所以并没有返回NULL,因此导致ttlGenericCommand命令返回了TTL=0的结果。(至于redis使用这些flags的原理以及上面的if语句的原理,还需要更加深入的分析,这里就不再阐述了)

 

所以,这种情况下,我们才知道,如果一个redis作为slave,且将slave-read-only设置为off,并写入了一个带有TTL的key时,当key过期后,该key是不会被Redis删除的,且TTL在过期后永远为0。

带着这样的判断,我们在该redis上执行info命令确认了一下,果然该redis是slave,咨询了相关部署的同事得知,该业务在进行数据迁移过程中,存在多级复制和双写的情况,所以才将redis slave设置为可写状态,此时将slave的slaveof 设置成no one,既断开同步,再次排查所有过期key的TTL都返回-2了。

所以,使用Redis的童鞋们,注意一下,在进行服务迁移等情况所构成多级复制链的时候,在relay上进行过期key的读写处理的时候需要注意TTL带来的问题,若以后遇到TTL返回等于0的时候也可以第一时间确定问题所在了。

这篇关于一次Redis TTL 为0的问题排查的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/987475

相关文章

Flask解决指定端口无法生效问题

《Flask解决指定端口无法生效问题》文章讲述了在使用PyCharm开发Flask应用时,启动地址与手动指定的IP端口不一致的问题,通过修改PyCharm的运行配置,将Flask项目的运行模式从Fla... 目录android问题重现解决方案问题重现手动指定的IP端口是app.run(host='0.0.

Seata之分布式事务问题及解决方案

《Seata之分布式事务问题及解决方案》:本文主要介绍Seata之分布式事务问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Seata–分布式事务解决方案简介同类产品对比环境搭建1.微服务2.SQL3.seata-server4.微服务配置事务模式1

mysql关联查询速度慢的问题及解决

《mysql关联查询速度慢的问题及解决》:本文主要介绍mysql关联查询速度慢的问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql关联查询速度慢1. 记录原因1.1 在一次线上的服务中1.2 最终发现2. 解决方案3. 具体操作总结mysql

一文教你解决Python不支持中文路径的问题

《一文教你解决Python不支持中文路径的问题》Python是一种广泛使用的高级编程语言,然而在处理包含中文字符的文件路径时,Python有时会表现出一些不友好的行为,下面小编就来为大家介绍一下具体的... 目录问题背景解决方案1. 设置正确的文件编码2. 使用pathlib模块3. 转换路径为Unicod

Spring MVC跨域问题及解决

《SpringMVC跨域问题及解决》:本文主要介绍SpringMVC跨域问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录跨域问题不同的域同源策略解决方法1.CORS2.jsONP3.局部解决方案4.全局解决方法总结跨域问题不同的域协议、域名、端口

Redis客户端工具之RedisInsight的下载方式

《Redis客户端工具之RedisInsight的下载方式》RedisInsight是Redis官方提供的图形化客户端工具,下载步骤包括访问Redis官网、选择RedisInsight、下载链接、注册... 目录Redis客户端工具RedisInsight的下载一、点击进入Redis官网二、点击RedisI

Redis实现RBAC权限管理

《Redis实现RBAC权限管理》本文主要介绍了Redis实现RBAC权限管理,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1. 什么是 RBAC?2. 为什么使用 Redis 实现 RBAC?3. 设计 RBAC 数据结构

SpringBoot自定义注解如何解决公共字段填充问题

《SpringBoot自定义注解如何解决公共字段填充问题》本文介绍了在系统开发中,如何使用AOP切面编程实现公共字段自动填充的功能,从而简化代码,通过自定义注解和切面类,可以统一处理创建时间和修改时间... 目录1.1 问题分析1.2 实现思路1.3 代码开发1.3.1 步骤一1.3.2 步骤二1.3.3

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

基于.NET编写工具类解决JSON乱码问题

《基于.NET编写工具类解决JSON乱码问题》在开发过程中,我们经常会遇到JSON数据处理的问题,尤其是在数据传输和解析过程中,很容易出现编码错误导致的乱码问题,下面我们就来编写一个.NET工具类来解... 目录问题背景核心原理工具类实现使用示例总结在开发过程中,我们经常会遇到jsON数据处理的问题,尤其是