微服务架构师封神之路13-RabbitMQ集群与高可用|RabbitMQ clustering and HA

2024-02-23 09:44
文章标签 服务 集群 之路 可用 rabbitmq 13 ha 架构师 clustering 封神

本文主要是介绍微服务架构师封神之路13-RabbitMQ集群与高可用|RabbitMQ clustering and HA，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

几个关键技术点

节点间相互验证，.erlang.cookie

nodename的唯一性

port冲突与配置

Management UI plugin安装

Queue（message）replicas

Queue leader strategy

配置文件详细

Node 1

Installation path

.erlang.cookie

rabbitmq-env.conf

rabbitmq.conf

enabled_plugins

Node 2

 Installation path

.erlang.cookie

rabbitmq-env.conf

rabbitmq.conf

enabled_plugins

Node 3

 Installation path

.erlang.cookie

rabbitmq-env.conf

rabbitmq.conf

enabled_plugins

Springboot连接与编程

application.yml

Queue and AnonymousQueue

Queue

AnonymousQueue

本文利用一台Linux示范三节点RabbitMQ集群。RabbitMQ版本：3.12.11.

重点：

  1. 关键技术点
    1. 节点间相互验证，.erlang.cookie
    2. nodename的唯一性
    3. port冲突与配置
    4. Management UI plugin安装
    5. Queue replicas
    6. Queue leader strategy
  2. 配置文件详细
  3. Springboot连接与编程

几个关键技术点

节点间相互验证，.erlang.cookie

.erlang.cookie是erlang框架实现分布式的必要文件。三节点集群需要每个节点的.erlang.cookie文件相同。文件的位置：$home/.erlang.cookie.

erlang安装之后文件就已经存在，如果使用三台不同的机器，需要将其中一台的文件拷贝三份。用一台机器做示范，我们不需要再做额外的动作。

nodename的唯一性

RabbitMQ的nodename有固定的格式<prefix>@<hostname>。hostname可以通过操作系统的hostname命令获得。prefix可以自己决定。但是集群中的nodename必须是唯一的。

如果是部署在不同的机器上，所有的hostname需要明确配置在/etc/hosts文件中。

nodename配置在rabbitmq-env.conf文件中。

port冲突与配置

部署在同一台机器上，需要解决三个端口的冲突。

  1. amqp通信端口5672 - 相关配置文件rabbitmq.conf or rabbitmq-env.conf
  2. management UI端口15672 - 相关配置文件rabbitmq.conf
  3. 内部管理Command Line Interface端口25672 - 相关配置文件rabbitmq-env.conf

Management UI plugin安装

信息要放在enabled_plugin文件中。这个文件要手工添加，插件在RabbitMQ第一次启动的时候初始化。

Queue（message）replicas

高可用需要同一条消息要同时复制到三个节点上面，这样应用连接的当前节点下线后，还可以从其它另外两个节点读取还未消费完的消息。没有replica，虽然Rabbitmq依然可用，但会有消息丢失的情况。

要实现消息node间复制，需要创建Queue的时候, queue type设置成Quorum。

两种方式：

  • 通过管理界面创建Queue

  • Java应用在启动的时候配置Queue
        Map QUEUE_ARGS = new HashMap<String,Object>();    QUEUE_ARGS.put("x-queue-type", "quorum");new Queue("queue_name", true, false, false, QUEUE_ARGS);

对于匿名Queue不能配置这个属性，当一个node down以后，应用会在新的节点重新创建临时Queue。可能产生message丢失的情况。

Queue leader strategy

在rabbitmq.conf中配置，两种client-local（by default）和balanced.

配置文件详细

Download rabbitmq package, rabbitmq-server-generic-unix-3.12.11.tar.xz. 解压后拷贝三份，作为三个node。

下面的文件除了.erlang.cookie都需要手动添加。

Node 1

Installation path

/opt/rabbitmq/rabbitmq-node-1

.erlang.cookie

$home/.erlang.cookie

rabbitmq-env.conf

File path: /opt/rabbitmq/rabbitmq-node-1/etc/rabbitmq/rabbitmq-env.conf

# Example rabbitmq-env.conf file entries. Note that the variables
# do not have the RABBITMQ_ prefix.
#
# Overrides node name
RABBITMQ_NODENAME=rabbitmq-node-1@DESKTOP-B5WANG# Specifies new style config file location
RABBITMQ_CONFIG_FILE=/opt/rabbitmq/rabbitmq-node-1/etc/rabbitmq/rabbitmq.conf# Specifies advanced config file location
# RABBITMQ_ADVANCED_CONFIG_FILE=/etc/rabbitmq/advanced.config# CLI port
RABBITMQ_DIST_PORT=25672

rabbitmq.conf

File path: /opt/rabbitmq/rabbitmq-node-1/etc/rabbitmq/rabbitmq.conf

# port
listeners.tcp.default = 5672
# listeners.tcp.1 = 0.0.0.0:5672# default user
default_vhost = /
default_user = admin
default_pass = admin
default_permissions.configure = .*
default_permissions.read = .*
default_permissions.write = .*
default_user_tags.administrator = true
default_user_tags.management = true
default_user_tags.custom_tag = true# management plugin
management.tcp.port = 15672
management.tcp.ip   = 0.0.0.0# cluster
cluster_name = rabbitmq-cluster
cluster_keepalive_interval = 10000
cluster_formation.peer_discovery_backend = classic_config
cluster_formation.classic_config.nodes.1 = rabbitmq-node-1@DESKTOP-B5WANG
cluster_formation.classic_config.nodes.2 = rabbitmq-node-2@DESKTOP-B5WANG
cluster_formation.classic_config.nodes.3 = rabbitmq-node-3@DESKTOP-B5WANG# queue location strategy
queue_master_locator = client-local

enabled_plugins

File path: /opt/rabbitmq/rabbitmq-node-1/etc/rabbitmq/enabled_plugins

[rabbitmq_management].

Node 2

 Installation path

/opt/rabbitmq/rabbitmq-node-2

.erlang.cookie

$home/.erlang.cookie

rabbitmq-env.conf

File path: /opt/rabbitmq/rabbitmq-node-2/etc/rabbitmq/rabbitmq-env.conf

# Example rabbitmq-env.conf file entries. Note that the variables
# do not have the RABBITMQ_ prefix.
#
# Overrides node name
RABBITMQ_NODENAME=rabbitmq-node-2@DESKTOP-B5WANG# Specifies new style config file location
RABBITMQ_CONFIG_FILE=/opt/rabbitmq/rabbitmq-node-2/etc/rabbitmq/rabbitmq.conf# Specifies advanced config file location
# RABBITMQ_ADVANCED_CONFIG_FILE=/etc/rabbitmq/advanced.config# CLI port
RABBITMQ_DIST_PORT=25673

rabbitmq.conf

File path: /opt/rabbitmq/rabbitmq-node-2/etc/rabbitmq/rabbitmq.conf

# port
listeners.tcp.default = 5673
# listeners.tcp.1 = 0.0.0.0:5673# default user
default_vhost = /
default_user = admin
default_pass = admin
default_permissions.configure = .*
default_permissions.read = .*
default_permissions.write = .*
default_user_tags.administrator = true
default_user_tags.management = true
default_user_tags.custom_tag = true# management plugin
management.tcp.port = 15673
management.tcp.ip   = 0.0.0.0# cluster
cluster_name = rabbitmq-cluster
cluster_keepalive_interval = 10000
cluster_formation.peer_discovery_backend = classic_config
cluster_formation.classic_config.nodes.1 = rabbitmq-node-1@DESKTOP-B5WANG
cluster_formation.classic_config.nodes.2 = rabbitmq-node-2@DESKTOP-B5WANG
cluster_formation.classic_config.nodes.3 = rabbitmq-node-3@DESKTOP-B5WANG# queue location strategy
queue_master_locator = client-local

enabled_plugins

File path: /opt/rabbitmq/rabbitmq-node-2/etc/rabbitmq/enabled_plugins

[rabbitmq_management].

Node 3

 Installation path

/opt/rabbitmq/rabbitmq-node-3

.erlang.cookie

$home/.erlang.cookie

rabbitmq-env.conf

File path: /opt/rabbitmq/rabbitmq-node-3/etc/rabbitmq/rabbitmq-env.conf

# Example rabbitmq-env.conf file entries. Note that the variables
# do not have the RABBITMQ_ prefix.
#
# Overrides node name
RABBITMQ_NODENAME=rabbitmq-node-3@DESKTOP-B5WANG# Specifies new style config file location
RABBITMQ_CONFIG_FILE=/opt/rabbitmq/rabbitmq-node-3/etc/rabbitmq/rabbitmq.conf# Specifies advanced config file location
# RABBITMQ_ADVANCED_CONFIG_FILE=/etc/rabbitmq/advanced.config# CLI port
RABBITMQ_DIST_PORT=25674

rabbitmq.conf

File path: /opt/rabbitmq/rabbitmq-node-3/etc/rabbitmq/rabbitmq.conf

# port
listeners.tcp.default = 5674
# listeners.tcp.1 = 0.0.0.0:5674# default user
default_vhost = /
default_user = admin
default_pass = admin
default_permissions.configure = .*
default_permissions.read = .*
default_permissions.write = .*
default_user_tags.administrator = true
default_user_tags.management = true
default_user_tags.custom_tag = true# management plugin
management.tcp.port = 15674
management.tcp.ip   = 0.0.0.0# cluster
cluster_name = rabbitmq-cluster
cluster_keepalive_interval = 10000
cluster_formation.peer_discovery_backend = classic_config
cluster_formation.classic_config.nodes.1 = rabbitmq-node-1@DESKTOP-B5WANG
cluster_formation.classic_config.nodes.2 = rabbitmq-node-2@DESKTOP-B5WANG
cluster_formation.classic_config.nodes.3 = rabbitmq-node-3@DESKTOP-B5WANG# queue location strategy
queue_master_locator = client-local

enabled_plugins

File path: /opt/rabbitmq/rabbitmq-node-3/etc/rabbitmq/enabled_plugins

[rabbitmq_management].

Springboot连接与编程

application.yml

spring:rabbitmq:# Connect rabbitmq clusteraddresses: localhost:5672,localhost:5673,localhost:5674username: adminpassword: admin

Queue and AnonymousQueue

Queue

        Map arg = new HashMap<String,Object>();arg.put("x-queue-type", "quorum");arg.put("x-queue-leader-locator", "client-local");new Queue(QUEUE_NAME_TEXT_MESSAGE, true, false, false, arg);

AnonymousQueue

AnonymousQueue aq = new AnonymousQueue(new Base64UrlNamingStrategy("queue-prefix-"));

AnonymousQueue本质上还是Queue，只是属性不同。所以不需要配置quorum，否则应用会报错。

public class AnonymousQueue extends Queue {public AnonymousQueue() {this((Map)null);}public AnonymousQueue(Map<String, Object> arguments) {this(Base64UrlNamingStrategy.DEFAULT, arguments);}public AnonymousQueue(NamingStrategy namingStrategy) {this(namingStrategy, (Map)null);}public AnonymousQueue(NamingStrategy namingStrategy, Map<String, Object> arguments) {super(namingStrategy.generateName(), false, true, true, arguments);if (!this.getArguments().containsKey("x-queue-master-locator")) {this.setLeaderLocator("client-local");}}
}

这篇关于微服务架构师封神之路13-RabbitMQ集群与高可用|RabbitMQ clustering and HA的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/738222。

相关文章

Debian 13升级后网络转发等功能异常怎么办? 并非错误而是管理机制变更

Debian 13升级后网络转发等功能异常怎么办? 并非错误而是管理机制变更

《Debian13升级后网络转发等功能异常怎么办?并非错误而是管理机制变更》很多朋友反馈，更新到Debian13后网络转发等功能异常，这并非BUG而是Debian13Trixie调整... 日前 Debian 13 Trixie 发布后已经有众多网友升级到新版本，只不过升级后发现某些功能存在异常，例如网络转
阅读更多...
RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列？ 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队
阅读更多...
sysmain服务可以禁用吗? 电脑sysmain服务关闭后的影响与操作指南

sysmain服务可以禁用吗? 电脑sysmain服务关闭后的影响与操作指南

《sysmain服务可以禁用吗?电脑sysmain服务关闭后的影响与操作指南》在Windows系统中，SysMain服务（原名Superfetch）作为一个旨在提升系统性能的关键组件，一直备受用户关... 在使用 Windows 系统时，有时候真有点像在「开盲盒」。全新安装系统后的「默认设置」，往往并不尽编
阅读更多...
Python 基于http.server模块实现简单http服务的代码举例

Python 基于http.server模块实现简单http服务的代码举例

《Python基于http.server模块实现简单http服务的代码举例》Pythonhttp.server模块通过继承BaseHTTPRequestHandler处理HTTP请求,使用Threa... 目录测试环境代码实现相关介绍模块简介类及相关函数简介参考链接测试环境win11专业版python
阅读更多...
Nginx中配置使用非默认80端口进行服务的完整指南

Nginx中配置使用非默认80端口进行服务的完整指南

《Nginx中配置使用非默认80端口进行服务的完整指南》在实际生产环境中,我们经常需要将Nginx配置在其他端口上运行,本文将详细介绍如何在Nginx中配置使用非默认端口进行服务,希望对大家有所帮助... 目录一、为什么需要使用非默认端口二、配置Nginx使用非默认端口的基本方法2.1 修改listen指令
阅读更多...
Redis中哨兵机制和集群的区别及说明

Redis中哨兵机制和集群的区别及说明

《Redis中哨兵机制和集群的区别及说明》Redis哨兵通过主从复制实现高可用,适用于中小规模数据；集群采用分布式分片,支持动态扩展,适合大规模数据,哨兵管理简单但扩展性弱,集群性能更强但架构复杂,根... 目录一、架构设计与节点角色1. 哨兵机制（Sentinel）2. 集群（Cluster）二、数据分片
阅读更多...
SysMain服务可以关吗? 解决SysMain服务导致的高CPU使用率问题

SysMain服务可以关吗? 解决SysMain服务导致的高CPU使用率问题

《SysMain服务可以关吗?解决SysMain服务导致的高CPU使用率问题》SysMain服务是超级预读取,该服务会记录您打开应用程序的模式，并预先将它们加载到内存中以节省时间，但它可能占用大量... 在使用电脑的过程中，CPU使用率居高不下是许多用户都遇到过的问题，其中名为SysMain的服务往往是罪魁
阅读更多...
spring AMQP代码生成rabbitmq的exchange and queue教程

spring AMQP代码生成rabbitmq的exchange and queue教程

《springAMQP代码生成rabbitmq的exchangeandqueue教程》使用SpringAMQP代码直接创建RabbitMQexchange和queue,并确保绑定关系自动成立,简... 目录spring AMQP代码生成rabbitmq的exchange and 编程queue执行结果总结s
阅读更多...
解决若依微服务框架启动报错的问题

解决若依微服务框架启动报错的问题

《解决若依微服务框架启动报错的问题》Invalidboundstatement错误通常由MyBatis映射文件未正确加载或Nacos配置未读取导致,需检查XML的namespace与方法ID是否匹配,... 目录ruoyi-system模块报错报错详情nacos文件目录总结ruoyi-systnGLNYpe
阅读更多...
Nginx进行平滑升级的实战指南(不中断服务版本更新)

Nginx进行平滑升级的实战指南(不中断服务版本更新)

《Nginx进行平滑升级的实战指南(不中断服务版本更新)》Nginx的平滑升级（也称为热升级）是一种在不停止服务的情况下更新Nginx版本或添加模块的方法,这种升级方式确保了服务的高可用性,避免了因升... 目录一.下载并编译新版Nginx1.下载解压2.编译二.替换可执行文件，并平滑升级1.替换可执行文件
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2