消息队列的流派

2024-06-07 16:32
文章标签 队列 消息 流派

本文主要是介绍消息队列的流派,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

什么是MQ

Message Queue(MQ), 消息队列中间件, 很多人都说: MQ通过将消息的发送和接收分离来实现应用程序的异步和解耦, 这个给人的直觉是—MQ是异步的, 用来解耦的, 但是这个只是MQ的效果而不是目的, MQ真正的目的是为了通信, 屏蔽底层复杂的通讯协议, 定义了一套应用层的, 更加简单的通讯协议。一个分布式系统中两个模块之间通讯要么是HTTP, 要么是自己开发的TCP, 但是这两种协议其实都是原始的协议。HTTP协议很难实现两端通讯—模块A可以调用B, B也可以主动调用A, 如果要做到这个两端都要背上WebServer, 而且还不支持长连接。TCP就更加原始了, 粘包, 心跳, 私有的协议, 想一想头皮就发麻。MQ所要做的就是在这些协议之上构建一个简单的协议-生产者/消费者模型。MQ带给我的协议不是具体的通信协议, 而是更高层次通讯模型。它定义了两个对象—发送数据的叫生产者; 接收数据的叫消费者, 提供一个SDK让我们可以定义自己的生产者和消费者实现消息通讯而无视底层通讯协议

有Broker的MQ

这个流派通常有一台服务器作为Broker, 所有的消息都通过它中转。生产者把消息发送给它就结束自己的任务了, Broker则把消息主动推送给消费者(或者消费者主动轮询)

为什么需要消息队列(MQ)?

主要原因是由于在高并发环境下, Db永远是短板, 由于来不及同步处理, 请求往往会发生阻塞, 比如说, 大量的insert, update之类的请求同时到达MySQL, 直接导致无数的行锁表锁, 甚至最后请求线程会推积过多, 从而触发too many connections错误。一波一波雪崩效应。通过使用消息队列, 我们可以异步处理请求, 从而缓解系统的压力。说了这么多其实最核心的是: 解耦, 异步, 削峰

 

解耦

系统A有B, C, D三个系统对接, 此时D系统需要取消和A系统的对接, 同时一个新的E系统需要和A系统进行对接. 如果没有消息队列, A系统将需要修改代码将调用D系统的代码删除, 同时修改代码以调用E系统的接口。此时BCDE系统和A系统高度耦合

如果引入消息队列后

A系统只需要将关键数据发布到MQ, 之后如果D系统不需要和A系统对接, 仅仅只需要取消A系统的订阅, 新增的E系统只需要订阅A系统的消息即可, A系统自身并不需要进行修改。

消息队列的流派

重Topic

kafka, JMS(ActiveMQ)就属于这个流派, 生产者会发送key和数据到Broker, 由Broker比较key之后决定给哪个消费者. 这种模式就是我们最常用的模式, 是我们对MQ最多的印象。在这种模式下一个topic往往是一个比较大的概念, 甚至一个系统中就可能只有一个topic, topic某种意义上就是queue, 生产者发送key相当于说: hi, 把数据放到key的队列中

如上图所示, Broker定义了三个队列, key1, key2, key3, 生产者发送数据的时候会发送key1和data, Broker在推送数据的时候则推送data(也可能把key带上).

虽然架构一样但是kafka的性能要比jms的性能不知道高到多少倍, 所以基本这种类型的MQ只有kafka一种备选方案。如果你需要一条暴力的数据流(在乎性能而非灵活性)那么kafka是最好的选择

轻Topic

这种的代表是RabbitMQ(或者说是AMQP), 生产者发送key和数据, 消费者定义订阅的队列, Broker收到数据之后会通过一定的逻辑计算出key对应的队列, 然后把数据交给队列

 

这种模式下解耦了key和queue, 在这种架构中queue是非常轻量级的(在RabbitMQ)中它的上限取决于你的内存), 消费者关心的只是自己的queue; 生产者不必关心数据最终给谁只要指定key就行了, 中间的那层映射在AMQP中叫exchange(交换机)。

AMQP中有四种exchange.

Direct exchange: key就等于queue

Fanout exchange: 无视key, 给所有的queue都来一份

Topic exchange: key可以用宽字符模糊匹配queue

Headers exchange: 无视key, 通过查看消息的头部元数据来决定发给那个queue(AMQP头部元数据非常丰富而可以自定义)

这种结构的架构给通讯带来了很大的灵活性, 我们能想到的通讯方式都可以用这四种exchange表达出来。如果你需要一个企业数据总线(在乎灵活性)那么RabbitMQ绝对值得一用

无Broker的MQ

无Broker的MQ的代表是ZeroMQ, ZeroMQ被设计成了一个库而不是一个中间件, 这种实现也可以达到没有Broker的目的

可以把自己的程序想象成一个Actor, ZeroMQ就是提供邮箱功能的库; ZeroMQ可以实现同一台机器的RPC通讯也可以实现不同机器的TCP, UDP通讯.如果你需要一个强大的, 灵活, 野蛮的通讯能力, 别犹豫ZeroMQ

这篇关于消息队列的流派的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1039702

相关文章

SpringKafka消息发布之KafkaTemplate与事务支持功能

《SpringKafka消息发布之KafkaTemplate与事务支持功能》通过本文介绍的基本用法、序列化选项、事务支持、错误处理和性能优化技术,开发者可以构建高效可靠的Kafka消息发布系统,事务支... 目录引言一、KafkaTemplate基础二、消息序列化三、事务支持机制四、错误处理与重试五、性能优

SpringIntegration消息路由之Router的条件路由与过滤功能

《SpringIntegration消息路由之Router的条件路由与过滤功能》本文详细介绍了Router的基础概念、条件路由实现、基于消息头的路由、动态路由与路由表、消息过滤与选择性路由以及错误处理... 目录引言一、Router基础概念二、条件路由实现三、基于消息头的路由四、动态路由与路由表五、消息过滤

Spring Boot整合消息队列RabbitMQ的实现示例

《SpringBoot整合消息队列RabbitMQ的实现示例》本文主要介绍了SpringBoot整合消息队列RabbitMQ的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的... 目录RabbitMQ 简介与安装1. RabbitMQ 简介2. RabbitMQ 安装Spring

springboot rocketmq配置生产者和消息者的步骤

《springbootrocketmq配置生产者和消息者的步骤》本文介绍了如何在SpringBoot中集成RocketMQ,包括添加依赖、配置application.yml、创建生产者和消费者,并展... 目录1. 添加依赖2. 配置application.yml3. 创建生产者4. 创建消费者5. 使用在

如何通过Python实现一个消息队列

《如何通过Python实现一个消息队列》这篇文章主要为大家详细介绍了如何通过Python实现一个简单的消息队列,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录如何通过 python 实现消息队列如何把 http 请求放在队列中执行1. 使用 queue.Queue 和 reque

解读Redis秒杀优化方案(阻塞队列+基于Stream流的消息队列)

《解读Redis秒杀优化方案(阻塞队列+基于Stream流的消息队列)》该文章介绍了使用Redis的阻塞队列和Stream流的消息队列来优化秒杀系统的方案,通过将秒杀流程拆分为两条流水线,使用Redi... 目录Redis秒杀优化方案(阻塞队列+Stream流的消息队列)什么是消息队列?消费者组的工作方式每

使用C/C++调用libcurl调试消息的方式

《使用C/C++调用libcurl调试消息的方式》在使用C/C++调用libcurl进行HTTP请求时,有时我们需要查看请求的/应答消息的内容(包括请求头和请求体)以方便调试,libcurl提供了多种... 目录1. libcurl 调试工具简介2. 输出请求消息使用 CURLOPT_VERBOSE使用 C

Java中Springboot集成Kafka实现消息发送和接收功能

《Java中Springboot集成Kafka实现消息发送和接收功能》Kafka是一个高吞吐量的分布式发布-订阅消息系统,主要用于处理大规模数据流,它由生产者、消费者、主题、分区和代理等组件构成,Ka... 目录一、Kafka 简介二、Kafka 功能三、POM依赖四、配置文件五、生产者六、消费者一、Kaf

Redis延迟队列的实现示例

《Redis延迟队列的实现示例》Redis延迟队列是一种使用Redis实现的消息队列,本文主要介绍了Redis延迟队列的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习... 目录一、什么是 Redis 延迟队列二、实现原理三、Java 代码示例四、注意事项五、使用 Redi

SpringBoot 自定义消息转换器使用详解

《SpringBoot自定义消息转换器使用详解》本文详细介绍了SpringBoot消息转换器的知识,并通过案例操作演示了如何进行自定义消息转换器的定制开发和使用,感兴趣的朋友一起看看吧... 目录一、前言二、SpringBoot 内容协商介绍2.1 什么是内容协商2.2 内容协商机制深入理解2.2.1 内容