RocketMq遇到过的线上问题-消息积压

2023-10-08 12:52

本文主要是介绍RocketMq遇到过的线上问题-消息积压,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在这里插入图片描述

在顺序消费消息的场景中,消息落后量(积压量)在上午8点后慢慢增加,最终在饭点达到了报警阈值…

为什么消息会积压?

当然是消费消息的速度赶不上消息生产的速度了啊,这里面又包含了三层信息,生产者太快、消费者太慢、生产者即太快消费者又太慢。于是乎开启“胡思乱想”模式得到了以下三个猜想

猜想一: 频繁的数据改动导致生产者短时间内生产消息过多,消费者来不及消费

猜想二: 生产者正常,但消费者消费消息出了点问题,导致消费过慢。如消费线程夯住,或者消费逻辑抛异常了,导致消费线程卡住,或逻辑不断的重试。新的消息需要继续消费,老的消息还要不断重试,消费者表示它比较累,它鸭梨山大,它觉得就像我们这届年轻人一样,承担了过多……

猜想三: 约等于猜想一加猜想二同时存在

问题发生后,需要先了解下这个生产者和消费者的相关信息

生产者是商品价格、状态等信息发生变更时即发MQ

消费者是统计商品的最大价格和最小价格等数据,因此需要顺序消费消息

简单聊聊顺序消息啊,顺序消息,即先发的消息先消费,后发的消息后消费,因此这里可以拆成三个维度的顺序性:

消息发送的顺序性
消息存储的顺序性
消息消费的顺序性

在这里插入图片描述
RocketMq的顺序消息采用的方案是分区有序,即保证单个队列的消费是顺序的,举个例子:

张三的订单-3经历了创建订单,支付订单、订单发货三个流程,李四的订单-4也是如此,现在要对它们顺序消费(不然先收到订单发货的消息,过一段时间才收到订单创建的消息你懵不懵啊)

1、从消息发送的角度来看
RcoketMq要保证订单-3的消息是顺序的,订单4的消息是顺序的,而订单3和订单4之间并不要求有序,如下图,RocketMq采用的方案是将订单3的消息都放在了队列1,订单4的消息都放在了队列2

在这里插入图片描述
2、从消息存储的角度来看
RocketMq采用了队列文件来存储消息,即先进先出,这里不做过多说明

3、 从消息消费的角度来看
对于顺序消息,RocketMq采用单线程来消费一个队列的消息,在上图中只有两个队列的情况下,顺序消息消费的最大并发度就只有2了,如下图:
在这里插入图片描述
总结一下,对于顺序消息,rocketMq的做法是:

消息发送的时候,对于需要保持顺序的消息需要发送到一个队列中

消息消费的时候,用单线程来消费一个队列中的消息

OK,下面就到了精彩的猜想验证环节~

1、猜想一验证
生产者是否发送了过多的消息,从MQ的监控就可得知,如下图:
在这里插入图片描述
可以发现,发送的消息量确实增加了,而且是这种锯齿状,明显是某种JOB任务

(此时已经开始意淫揪到某个小伙伴,把锅盖到他的头上,问他为什么发这么多消息)

但仔细一看,最高QPS也才105左右,而且从服务监控可以看到,消费逻辑耗时30ms左右,这样的话单线程每秒大概可以消费30个消息(因为顺序消息就是单线程消费),16个队列的话每秒大概可以同时消费480个消息(共4台消费者机器),完全没压力啊(此时感觉锅又到了我的头上,沉重无比)

因此猜想一PASS

2、 猜想二验证
猜想二指的是生产者消息发送正常,消费慢是由消费者引起的。根据猜想一可知,生产者发送的消息和平时相比已经增加了不少,因此猜想二PASS

3、 猜想三验证
生产者发送消息变多依然是事实,现在的关注点是:为什么消费者消费这么慢?

消费者消费慢有可能是因为消费逻辑出异常,消费不断重试导致的,这个很好验证,去看下消费者的错误日志即可,一片风平浪静。。

还有可能是消费线程夯住?这个可以通过消费者消费进度来验证,如果进度Consumer offset一直不变化的话,可以证明消费线程有卡住的可能性,然鹅,这里的消费进度也一直在变化,所以也不是此原因导致的。(下图是我随便找的一个例子的数据,和案例无关,案例发生较久远,下图的数据当时没保存。。)

Consumer offset指的是消费进度,消费越多,此值越大,Diff可以理解为消息积压数
在这里插入图片描述
所以现在的问题很明确了,就是消费慢,咋滴吧?

正在一筹莫展时,关注到一个震惊的数据!

队列0的数据比其他队列高了几个数量级,如下图

在这里插入图片描述
这就有意思了,敢情所有的消息基本都路由到队列0去了,而顺序消息是单线程消费,QPS也就30左右,所以就不断的积压呗

上面说顺序消息的时候,聊了下发送的顺序性,rocketmq会将要保证顺序的消息路由到一个队列,这个路由的算法是我们自定义的,如下:

int queueIndex = infoId%queueSize;

其中infoId是商品ID,采用雪花算法生成

queueSize为队列数量,这里为16

雪花算法在分库分表流量倾斜问题的排查与解决 已经详细介绍过,这里不再赘述,只列举雪花算法的二进制位组成,如下:

64ID = (42(毫秒)+8(业务编码)+5(机器ID)+9(重复累加))

需要注意的是后9位为毫秒内重复累加位,举个例子,在1毫秒内如果创建两个商品,那后9位分别是0和1。而创建商品是个相对低频的操作,毫秒内创建多个商品更是少之又少,因此大部分商品ID后9位基本是0

而路由算法是infoId % queueSize,在queueSize为2的幂次方的情况下,其算法等同于infoId &(queueSize-1),也就是infoId & 15,其二进制位运算如下图:

这里可以参考HashMap的桶定位算法,因为与运算的性能高于取余运算,
因此Hashmap将容量定义为2的n次幂,这样取余运算就可以转换为与运算,
即:hash%length==hash&(length-1)

在这里插入图片描述
可见二进制15的末四位为1,其余均为0,在只有后四位参与运算的情况下,商品ID末9位基本均为0,这也就导致了大部分数据路由到了0队列上

至此,真相大白

解决方案
将infoId再Hash一次,打破雪花算法的后9位规律,然后再做取余运算

int hash = hash(infoId);
int queueIndex = hash % queueSize;

极端情况下是有的,因为改变了队列的路由算法,在上线前后可能会导致同一个ID路由到不同的队列中,从而破坏了其顺序性

七、改造效果
下图可见消费QPS完全跟得上发送QPS

在这里插入图片描述
下图显示消费积压量也正常了

在这里插入图片描述

知识扩展
本部分内容属于扩展内容,可看可不看

  1. RocketMQ基础
    本部分不会大而全的讲述RocketMq的所有知识,而是有侧重的只关注和该问题相关的部分内容 在没有知识背景或问题背景关联的情况下,大而全的知识看完只会让你,额 ,很虚

  2. Rocketmq的架构
    在这里插入图片描述

RocketMQ 是一个分布式消息中间件,其整体架构可以分为以下几个部分:Producer:消息生产者,将消息发送到 RocketMQ 中。NameServer:命名服务,提供轻量级的服务发现和路由,维护 Broker 的状态信息。Broker:消息中转角色,存储、接收和转发消息,每个 Broker 可以存储多个 Topic 的消息。Consumer:消息消费者,从 Broker 消费消息。

举一个例子将上述的架构串一下:

比如有一个电商网站,需要使用 RocketMQ 来处理订单消息。订单消息由订单服务产生并发送到 RocketMQ 中,短信服务通过订阅 RocketMQ 中的订单主题,实现对订单消息的处理。如下图

在这里插入图片描述
具体的流程如下:

订单服务向NameServer获取订单主题所在的Broker的信息订单服务向该Broker发送订单消息。Broker(消息代理)将消息存储在自己的磁盘上,并返回确认消息给订单服务。短信服务向NameServer获取订单主题所在的Broker信息,并在初始化时订阅了订单主题当有新的订单消息产生时,Broker 会将消息推送给短信服务短信服务收到消息并进行处理。处理完成后,向 Broker 发送确认消息。
  1. Rocketmq的顺序消息
    顺序消息需要保证消息的全链路有序,在RocketMq中,即消息顺序发送,顺序存储,以及顺序消费
    在这里插入图片描述
    在顺序消息中,有两种常见的排序方式:全局有序和分区有序。

全局有序是指在整个消息系统中,所有的消息都按照特定的顺序进行排序。也就是说,对于所有的消息,无论它们来自哪个生产者,都按照同一种排序规则进行排序。

分区有序是指在消息系统中,将消息划分为多个分区,每个分区内的消息都按照特定的顺序进行排序,但不同分区之间的消息不保证有序。

举个例子来说,假设有一个电商系统,需要处理用户下单的消息。每个用户都有一个唯一的ID,为了保证处理订单的有序性,我们可以将消息系统中的订单消息按照用户ID进行分区,每个分区内的订单消息都按照订单创建时间进行排序,这样就能保证同一个用户的订单消息按照创建时间的先后顺序进行处理,而不同用户的订单消息则可能会以不同的顺序进行处理。这就是分区有序的例子。

另外,如果我们将整个消息系统中的所有订单消息都按照订单创建时间进行排序,这就是全局有序的例子。

总结时刻

首先明确消息积压的问题就是消息消费的速度赶不上消息生产的速度,但这里面依然有多种原因导致的,比如消费者线程消费线程夯住,producer消息路由不均衡,producer短时间内生产消息过多等等,对于不同的情况,有不同的判断方式。

RocketMq的顺序消息是分区有序,发送消息的时候采用路由算法将某个ID的消息路由到一个队列中,然后消费的时候采用单线程消费来保证单个队列消费的有序性

这篇关于RocketMq遇到过的线上问题-消息积压的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/165419

相关文章

字节面试 | 如何测试RocketMQ、RocketMQ?

字节面试:RocketMQ是怎么测试的呢? 答: 首先保证消息的消费正确、设计逆向用例,在验证消息内容为空等情况时的消费正确性; 推送大批量MQ,通过Admin控制台查看MQ消费的情况,是否出现消费假死、TPS是否正常等等问题。(上述都是临场发挥,但是RocketMQ真正的测试点,还真的需要探讨) 01 先了解RocketMQ 作为测试也是要简单了解RocketMQ。简单来说,就是一个分

好题——hdu2522(小数问题:求1/n的第一个循环节)

好喜欢这题,第一次做小数问题,一开始真心没思路,然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数,不能写作两整数之比*****************************(一开始没想到,小学没学好) 此题1/n肯定是一个有限循环小数,了解这些后就能做此题了。 按照除法的机制,用一个函数表示出来就可以了,代码如下

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时,您应该注意以下几个关键点: 平衡精度 平衡精度是衡量平衡机性能的核心指标,直接影响到不平衡量的检测与校准的准确性,从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声,提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮,适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监

缓存雪崩问题

缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库,瞬间耗尽数据库资源,导致数据库无法使用。 解决方案: 1、使用锁进行控制 2、对同一类型信息的key设置不同的过期时间 3、缓存预热 1. 什么是缓存雪崩 缓存雪崩是指在短时间内,大量缓存数据同时失效,导致所有请求直接涌向数据库,瞬间增加数据库的负载压力,可能导致数据库性能下降甚至崩溃。这种情况往往发生在缓存中大量 k

6.1.数据结构-c/c++堆详解下篇(堆排序,TopK问题)

上篇:6.1.数据结构-c/c++模拟实现堆上篇(向下,上调整算法,建堆,增删数据)-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小): 2.2 C语言代码(手写堆) 2.3 C++代码(使用优先级队列 priority_queue)

【VUE】跨域问题的概念,以及解决方法。

目录 1.跨域概念 2.解决方法 2.1 配置网络请求代理 2.2 使用@CrossOrigin 注解 2.3 通过配置文件实现跨域 2.4 添加 CorsWebFilter 来解决跨域问题 1.跨域概念 跨域问题是由于浏览器实施了同源策略,该策略要求请求的域名、协议和端口必须与提供资源的服务相同。如果不相同,则需要服务器显式地允许这种跨域请求。一般在springbo

题目1254:N皇后问题

题目1254:N皇后问题 时间限制:1 秒 内存限制:128 兆 特殊判题:否 题目描述: N皇后问题,即在N*N的方格棋盘内放置了N个皇后,使得它们不相互攻击(即任意2个皇后不允许处在同一排,同一列,也不允许处在同一斜线上。因为皇后可以直走,横走和斜走如下图)。 你的任务是,对于给定的N,求出有多少种合法的放置方法。输出N皇后问题所有不同的摆放情况个数。 输入

vscode中文乱码问题,注释,终端,调试乱码一劳永逸版

忘记咋回事突然出现了乱码问题,很多方法都试了,注释乱码解决了,终端又乱码,调试窗口也乱码,最后经过本人不懈努力,终于全部解决了,现在分享给大家我的方法。 乱码的原因是各个地方用的编码格式不统一,所以把他们设成统一的utf8. 1.电脑的编码格式 开始-设置-时间和语言-语言和区域 管理语言设置-更改系统区域设置-勾选Bata版:使用utf8-确定-然后按指示重启 2.vscode

Android Environment 获取的路径问题

1. 以获取 /System 路径为例 /*** Return root of the "system" partition holding the core Android OS.* Always present and mounted read-only.*/public static @NonNull File getRootDirectory() {return DIR_ANDR