Web开发来一发(八)消息中间件MQ

2024-01-28 22:32

本文主要是介绍Web开发来一发(八)消息中间件MQ,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

蚂蚁金服典型一致性MQ实现:https://yq.aliyun.com/articles/596022

一、MQ介绍

1、MQ简介

消息队列MQ是支持在分布式系统中发送和接受消息的硬件或软件基础设施,是异步RPC的主要手段之一。

运用MQ可以实现异步、系统解耦,以此提高系统响应速度。

2、MQ的核心概念

MQ的核心概念包括Broker、Producer、Consumer、Topic、Message、Queue等。

  • Broker:消息服务器,作为server提供消息核心服务。
  • Producer:消息生产者,业务的发起方,负责生产消息传输给broker。
  • Consumer:消息消费者,业务的处理方,负责从broker获取消息并进行业务逻辑处理。
  • Topic:主题,发布/订阅模式下,生产者向topic发送消息,由MQ服务器分发到不同的订阅者,实现消息的广播。
  • Queue:队列,点对点模式下,特定生产者向特定queue发送消息,消费者订阅特定的queue完成指定消息的接收
  • Message:消息体,根据不同通信协议定义的固定格式进行编码的数据包,来封装业务数据,实现消息的传输。

3、MQ的模式

MQ主要有两种模式:点对点模式和发布/订阅模式。

点对点模式下,消息生产者生产消息发送到queue中,然后消息消费者从queue中取出并且消费消息。 消息被消费以后,queue中不再存储,所以消息消费者不可能消费到已经被消费的消息。 Queue支持存在多个消费者,但是对一个消息而言,只会有一个消费者可以消费。

发布/订阅模式,使用topic作为通信载体,消息生产者将消息发布到topic中,同时有多个消息消费者消费该消息。和点对点方式不同的是,发布到topic的消息会被所有订阅者消费。

二、MQ的几个核心问题

1、如何保证消息不被重复消费?

消息体内带可区分的唯一id,消费者做消费记录,消费时根据这个id确认是否是重复消息。

2、如何保证消息的可靠传输?

  • Producer通过Broker发回的反馈确认已发送消息。

  • Broker通过消息持久化确认队列不会丢消息。

  • Consumer通过主动commit确认接收和处理过消息。

3、如何保证消息的顺序性?

参考:https://segmentfault.com/a/1190000014512075?utm_source=tag-newest

常用MQ的方案:

ActiveMQ有两个方案,一个方案是独占消息,独占消息就是在有多个消费者同时消费一个queue时,可以保证只有一个消费者可以消费消息,这个方案效率较低。另一个方案是在消息中添加GroupId,每个消费者只能消费特定的GroupId,这样既可以使消费可以并行消费,又解决负载均衡的问题。

RocketMQ的方案中,一个topic有多个queue,消息会存储在多个queue中,而一个queue只会被一个consumer消费。需要被顺序消费的消息,都发往同一个队列下,而这些消息只会被一个消费者消费。严格来说,RocketMQ类似ActiveMQ的第一个方案,效率并不高。

4、如何保证高可用?

核心思路就是集群备份。

RocketMQ集群有单master模式、多master 模式、多master多slave异步复制模式、多 master多slave同步双写模式等。RocketMQ有个NameServer,Producer 与 NameServer集群中的其中一个节点(随机选择)建立长连接,定期从 NameServer 获取 Topic 路由信息,并向提供 Topic 服务的 Broker Master 建立长连接,且定时向 Broker 发送心跳。 Consumer 同时和提供 Topic 服务的Broker Master 和Broker Slave建立长连接,既可以从 Broker Master 订阅消息,也可以从 Broker Slave 订阅消息。

RabbitMQ除了基本队列以外,还有个miror队列,当基本队列异常时,miror队列工作。

Kafka的Broker支持主备模式。

三、常见MQ简介

Kafka是LinkedIn开源的分布式发布-订阅消息系统,追求高吞吐量,常用于日志收集和传输,对消息的重复、丢失、错误没有严格要求,适合产生大量数据的互联网服务的数据收集业务。 

ActiveMQ 是Apache出品,是JMS规范的一个具体实现,JMS即Java消息服务(Java Message Service的简称),是Java EE 的标准/规范之一。

RabbitMQ是基于AMQP协议来实现的,AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议应用在对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其次。 

RocketMQ是阿里开源的消息中间件,它是纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。

 

参考资料:

https://blog.csdn.net/leexide/article/details/80035462?utm_source=copy

这篇关于Web开发来一发(八)消息中间件MQ的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/654987

相关文章

使用DeepSeek API 结合VSCode提升开发效率

《使用DeepSeekAPI结合VSCode提升开发效率》:本文主要介绍DeepSeekAPI与VisualStudioCode(VSCode)结合使用,以提升软件开发效率,具有一定的参考价值... 目录引言准备工作安装必要的 VSCode 扩展配置 DeepSeek API1. 创建 API 请求文件2.

基于Python开发电脑定时关机工具

《基于Python开发电脑定时关机工具》这篇文章主要为大家详细介绍了如何基于Python开发一个电脑定时关机工具,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 简介2. 运行效果3. 相关源码1. 简介这个程序就像一个“忠实的管家”,帮你按时关掉电脑,而且全程不需要你多做

Spring常见错误之Web嵌套对象校验失效解决办法

《Spring常见错误之Web嵌套对象校验失效解决办法》:本文主要介绍Spring常见错误之Web嵌套对象校验失效解决的相关资料,通过在Phone对象上添加@Valid注解,问题得以解决,需要的朋... 目录问题复现案例解析问题修正总结  问题复现当开发一个学籍管理系统时,我们会提供了一个 API 接口去

Java中的Opencv简介与开发环境部署方法

《Java中的Opencv简介与开发环境部署方法》OpenCV是一个开源的计算机视觉和图像处理库,提供了丰富的图像处理算法和工具,它支持多种图像处理和计算机视觉算法,可以用于物体识别与跟踪、图像分割与... 目录1.Opencv简介Opencv的应用2.Java使用OpenCV进行图像操作opencv安装j

使用IntelliJ IDEA创建简单的Java Web项目完整步骤

《使用IntelliJIDEA创建简单的JavaWeb项目完整步骤》:本文主要介绍如何使用IntelliJIDEA创建一个简单的JavaWeb项目,实现登录、注册和查看用户列表功能,使用Se... 目录前置准备项目功能实现步骤1. 创建项目2. 配置 Tomcat3. 项目文件结构4. 创建数据库和表5.

基于Qt开发一个简单的OFD阅读器

《基于Qt开发一个简单的OFD阅读器》这篇文章主要为大家详细介绍了如何使用Qt框架开发一个功能强大且性能优异的OFD阅读器,文中的示例代码讲解详细,有需要的小伙伴可以参考一下... 目录摘要引言一、OFD文件格式解析二、文档结构解析三、页面渲染四、用户交互五、性能优化六、示例代码七、未来发展方向八、结论摘要

手把手教你idea中创建一个javaweb(webapp)项目详细图文教程

《手把手教你idea中创建一个javaweb(webapp)项目详细图文教程》:本文主要介绍如何使用IntelliJIDEA创建一个Maven项目,并配置Tomcat服务器进行运行,过程包括创建... 1.启动idea2.创建项目模板点击项目-新建项目-选择maven,显示如下页面输入项目名称,选择

在 VSCode 中配置 C++ 开发环境的详细教程

《在VSCode中配置C++开发环境的详细教程》本文详细介绍了如何在VisualStudioCode(VSCode)中配置C++开发环境,包括安装必要的工具、配置编译器、设置调试环境等步骤,通... 目录如何在 VSCode 中配置 C++ 开发环境:详细教程1. 什么是 VSCode?2. 安装 VSCo

C#图表开发之Chart详解

《C#图表开发之Chart详解》C#中的Chart控件用于开发图表功能,具有Series和ChartArea两个重要属性,Series属性是SeriesCollection类型,包含多个Series对... 目录OverviChina编程ewSeries类总结OverviewC#中,开发图表功能的控件是Char

鸿蒙开发搭建flutter适配的开发环境

《鸿蒙开发搭建flutter适配的开发环境》文章详细介绍了在Windows系统上如何创建和运行鸿蒙Flutter项目,包括使用flutterdoctor检测环境、创建项目、编译HAP包以及在真机上运... 目录环境搭建创建运行项目打包项目总结环境搭建1.安装 DevEco Studio NEXT IDE