消费幂等、消息堆积及其解决方案

2024-03-30 17:12

本文主要是介绍消费幂等、消息堆积及其解决方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 消费幂等:重复消费的结果与消费一次的结果是相同的,并且多次消费并未对业务产生任何负面影响,那么这个消费过程就是消费幂等。

  消费重复的常见情况:

   1、发送时重复:producer成功发送消息到broker并且完成了持久化,但在producer收到来自broker的成功消息之前的断开了,那么producer就会认为消息发送失败并尝试再次发送。这俩次发送消息的内容相同且messageId也相同。

  2、消费时重复:消息已投递给consumer且完成业务处理,但在broker收到来自consumer的成功信息之前连接断开了,broker就会认为发送失败并再次投递该已被消费的消息。

  3、rebalance时消息重复。

消息幂等解决方案:

   涉及俩个要素:

      幂等令牌:是生产者和消费者俩者中的既定协议,通常指具备唯一业务标识的字符串,一般由producer随着消息一同发送过来。

      唯一性处理:服务端通过采用一定的算法策略,保证同一个业务逻辑不会被重新执行多次。

   解决方案,有一下3步:

   1、首先通过缓存去重。在缓存中如果已经存在了某幂等令牌,则说明本次操作是重复性操作,若未命中则进入下一步。

   2、在唯一性处理前,先在数据库中查询幂等令牌作为索引的数据是否存在。存在,则说明本次操作为重复操作,若不存在,则进入下一步。

   3、唯一性处理后,将幂等令牌写入缓存,并将幂等缓存作为唯一索引的数据写入DB中。

消息堆积:消息处理过程中,如果consumer的消费速度跟不上producer的发送速度,MQ中未处理的消息就会越来越多,这部分消息就被称为堆积消息。消息堆积而会造成消费延迟。

consumer对消息的操作分为俩步:消息拉取和消息消费。那么消息堆积会发生在哪一步呢?

   消息拉取:consumer采用长轮询pull模式批量拉取获取消息,拉取式消费,在内网环境下会有很高的吞吐量,所以一般不会称为消息堆积的瓶颈。

   消息消费:consumer使用业务逻辑对消息进行处理,完毕后获取到一个结果。此时consumer的消费能力完全依赖于消息的消费耗时和消费并发度了。很可能导致消息堆积。

  消息堆积主要瓶颈在客户端的消费能力,消费能力有消费耗时和消费并发度决定。消费耗时优先级高于消费并发度。

   消费耗时:影响消息处理时长的主要因素是代码逻辑。而代码中可能影响处理时长的代码有俩种:cpu内部计算型外码和外部I/O操作性代码。

 通常情况下代码如果没有复杂的递归和循环的话,内部计算机耗时相对于外部I/O操作来说几乎是可以忽略的。所以外部I/O型代码是影响消息处理时长的主要症结所在: 

        1、读写外部数据库

        2、读写外部缓存系统

        3、下游系统调用

通常消息堆积是由于上下游系统出现了服务异常或达到了DBMS容量限制,导致消费耗时增加。

消息并发度:

  一般,消费者端的消费并发度由单节点线程数和节点数量共同决定,其值为单节点线程数(即单个consumer包含的线程数)*节点数量(即consumer group包含的consumer数量)。不过通常需要优先调整单节点的线程数,若单机硬件资源达到了上限,则需要通过横向扩展提高消费并发度。

    对于普通消息、延迟消息及事务消息,并发度都是单节点线程数*节点数量。但对于顺序消息是不同的,顺序消息并发度等于topic的queue分区数量(因为queue的处理不是并发的,而是queue处理完一个,才能处理下一个)。

这篇关于消费幂等、消息堆积及其解决方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/862086

相关文章

科研绘图系列:R语言扩展物种堆积图(Extended Stacked Barplot)

介绍 R语言的扩展物种堆积图是一种数据可视化工具,它不仅展示了物种的堆积结果,还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异,为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl

js异步提交form表单的解决方案

1.定义异步提交表单的方法 (通用方法) /*** 异步提交form表单* @param options {form:form表单元素,success:执行成功后处理函数}* <span style="color:#ff0000;"><strong>@注意 后台接收参数要解码否则中文会导致乱码 如:URLDecoder.decode(param,"UTF-8")</strong></span>

ActiveMQ—消息特性(延迟和定时消息投递)

ActiveMQ消息特性:延迟和定时消息投递(Delay and Schedule Message Delivery) 转自:http://blog.csdn.net/kimmking/article/details/8443872 有时候我们不希望消息马上被broker投递出去,而是想要消息60秒以后发给消费者,或者我们想让消息没隔一定时间投递一次,一共投递指定的次数。。。 类似

明明的随机数处理问题分析与解决方案

明明的随机数处理问题分析与解决方案 引言问题描述解决方案数据结构设计具体步骤伪代码C语言实现详细解释读取输入去重操作排序操作输出结果复杂度分析 引言 明明生成了N个1到500之间的随机整数,我们需要对这些整数进行处理,删去重复的数字,然后进行排序并输出结果。本文将详细讲解如何通过算法、数据结构以及C语言来解决这个问题。我们将会使用数组和哈希表来实现去重操作,再利用排序算法对结果

UE5 半透明阴影 快速解决方案

Step 1: 打开该选项 Step 2: 将半透明材质给到模型后,设置光照的Shadow Resolution Scale,越大,阴影的效果越好

MySQL主从同步延迟原理及解决方案

概述 MySQL的主从同步是一个很成熟的架构,优点为: ①在从服务器可以执行查询工作(即我们常说的读功能),降低主服务器压力; ②在从主服务器进行备份,避免备份期间影响主服务器服务; ③当主服务器出现问题时,可以切换到从服务器。 相信大家对于这些好处已经非常了解了,在项目的部署中也采用这种方案。但是MySQL的主从同步一直有从库延迟的问题,那么为什么会有这种问题。这种问题如何解决呢? MyS

安装SQL2005后SQL Server Management Studio 没有出来的解决方案

一种情况,在安装 sqlServer2005 时 居然出现两个警告: 1 Com+ 目录要求 2 Edition change check 郁闷!网上说出现两个警告,是肯定装不成功的!我抱着侥幸的态度试了下,成功了。 安装成功后,正准备 “ 仅工具、联机丛书和示例(T)” 但是安装不了,他提示我“工作站组件”安装过了对现有组件无法更新或升级。 解决办法: 1 打开“控

Java消息队列:RabbitMQ与Kafka的集成与应用

Java消息队列:RabbitMQ与Kafka的集成与应用 大家好,我是微赚淘客返利系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿! 在现代的分布式系统中,消息队列是实现系统间通信、解耦和提高可扩展性的重要组件。RabbitMQ和Kafka是两个广泛使用的消息队列系统,它们各有特点和优势。本文将介绍如何在Java应用中集成RabbitMQ和Kafka,并展示它们的应用场景。 消息队

AI和新基建赋能智慧工地超融合管理平台解决方案

1. 项目背景与需求 电力行业的工程管理正朝着智慧化发展,但目前仍处于起步阶段。为满足数字化、网络化、智能化的发展需求,需要构建一个高效综合监控平台,实现对电力项目全过程的精益化管控。 2. 综合管理平台的构建 该平台集成了超融合实景监控、安全智能监测、公共安全防范、技术管理、人员管控和绿色施工等多个方面,通过BIM协同优化设计,提升项目质量和进度管理。 3. 安全智能监测的重要性 安全

Kafka 分布式消息系统详细介绍

Kafka 分布式消息系统 一、Kafka 概述1.1 Kafka 定义1.2 Kafka 设计目标1.3 Kafka 特点 二、Kafka 架构设计2.1 基本架构2.2 Topic 和 Partition2.3 消费者和消费者组2.4 Replica 副本 三、Kafka 分布式集群搭建3.1 下载解压3.1.1 上传解压 3.2 修改 Kafka 配置文件3.2.1 修改zookeep