微服务架构师封神之路13-RabbitMQ集群与高可用|RabbitMQ clustering and HA

2024-02-23 09:44
文章标签 服务 集群 之路 可用 rabbitmq 13 ha 架构师 clustering 封神

本文主要是介绍微服务架构师封神之路13-RabbitMQ集群与高可用|RabbitMQ clustering and HA，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

几个关键技术点

节点间相互验证，.erlang.cookie

nodename的唯一性

port冲突与配置

Management UI plugin安装

Queue（message）replicas

Queue leader strategy

配置文件详细

Node 1

Installation path

.erlang.cookie

rabbitmq-env.conf

rabbitmq.conf

enabled_plugins

Node 2

 Installation path

.erlang.cookie

rabbitmq-env.conf

rabbitmq.conf

enabled_plugins

Node 3

 Installation path

.erlang.cookie

rabbitmq-env.conf

rabbitmq.conf

enabled_plugins

Springboot连接与编程

application.yml

Queue and AnonymousQueue

Queue

AnonymousQueue

本文利用一台Linux示范三节点RabbitMQ集群。RabbitMQ版本：3.12.11.

重点：

  1. 关键技术点
    1. 节点间相互验证，.erlang.cookie
    2. nodename的唯一性
    3. port冲突与配置
    4. Management UI plugin安装
    5. Queue replicas
    6. Queue leader strategy
  2. 配置文件详细
  3. Springboot连接与编程

几个关键技术点

节点间相互验证，.erlang.cookie

.erlang.cookie是erlang框架实现分布式的必要文件。三节点集群需要每个节点的.erlang.cookie文件相同。文件的位置：$home/.erlang.cookie.

erlang安装之后文件就已经存在，如果使用三台不同的机器，需要将其中一台的文件拷贝三份。用一台机器做示范，我们不需要再做额外的动作。

nodename的唯一性

RabbitMQ的nodename有固定的格式<prefix>@<hostname>。hostname可以通过操作系统的hostname命令获得。prefix可以自己决定。但是集群中的nodename必须是唯一的。

如果是部署在不同的机器上，所有的hostname需要明确配置在/etc/hosts文件中。

nodename配置在rabbitmq-env.conf文件中。

port冲突与配置

部署在同一台机器上，需要解决三个端口的冲突。

  1. amqp通信端口5672 - 相关配置文件rabbitmq.conf or rabbitmq-env.conf
  2. management UI端口15672 - 相关配置文件rabbitmq.conf
  3. 内部管理Command Line Interface端口25672 - 相关配置文件rabbitmq-env.conf

Management UI plugin安装

信息要放在enabled_plugin文件中。这个文件要手工添加，插件在RabbitMQ第一次启动的时候初始化。

Queue（message）replicas

高可用需要同一条消息要同时复制到三个节点上面，这样应用连接的当前节点下线后，还可以从其它另外两个节点读取还未消费完的消息。没有replica，虽然Rabbitmq依然可用，但会有消息丢失的情况。

要实现消息node间复制，需要创建Queue的时候, queue type设置成Quorum。

两种方式：

  • 通过管理界面创建Queue

  • Java应用在启动的时候配置Queue
        Map QUEUE_ARGS = new HashMap<String,Object>();    QUEUE_ARGS.put("x-queue-type", "quorum");new Queue("queue_name", true, false, false, QUEUE_ARGS);

对于匿名Queue不能配置这个属性，当一个node down以后，应用会在新的节点重新创建临时Queue。可能产生message丢失的情况。

Queue leader strategy

在rabbitmq.conf中配置，两种client-local（by default）和balanced.

配置文件详细

Download rabbitmq package, rabbitmq-server-generic-unix-3.12.11.tar.xz. 解压后拷贝三份，作为三个node。

下面的文件除了.erlang.cookie都需要手动添加。

Node 1

Installation path

/opt/rabbitmq/rabbitmq-node-1

.erlang.cookie

$home/.erlang.cookie

rabbitmq-env.conf

File path: /opt/rabbitmq/rabbitmq-node-1/etc/rabbitmq/rabbitmq-env.conf

# Example rabbitmq-env.conf file entries. Note that the variables
# do not have the RABBITMQ_ prefix.
#
# Overrides node name
RABBITMQ_NODENAME=rabbitmq-node-1@DESKTOP-B5WANG# Specifies new style config file location
RABBITMQ_CONFIG_FILE=/opt/rabbitmq/rabbitmq-node-1/etc/rabbitmq/rabbitmq.conf# Specifies advanced config file location
# RABBITMQ_ADVANCED_CONFIG_FILE=/etc/rabbitmq/advanced.config# CLI port
RABBITMQ_DIST_PORT=25672

rabbitmq.conf

File path: /opt/rabbitmq/rabbitmq-node-1/etc/rabbitmq/rabbitmq.conf

# port
listeners.tcp.default = 5672
# listeners.tcp.1 = 0.0.0.0:5672# default user
default_vhost = /
default_user = admin
default_pass = admin
default_permissions.configure = .*
default_permissions.read = .*
default_permissions.write = .*
default_user_tags.administrator = true
default_user_tags.management = true
default_user_tags.custom_tag = true# management plugin
management.tcp.port = 15672
management.tcp.ip   = 0.0.0.0# cluster
cluster_name = rabbitmq-cluster
cluster_keepalive_interval = 10000
cluster_formation.peer_discovery_backend = classic_config
cluster_formation.classic_config.nodes.1 = rabbitmq-node-1@DESKTOP-B5WANG
cluster_formation.classic_config.nodes.2 = rabbitmq-node-2@DESKTOP-B5WANG
cluster_formation.classic_config.nodes.3 = rabbitmq-node-3@DESKTOP-B5WANG# queue location strategy
queue_master_locator = client-local

enabled_plugins

File path: /opt/rabbitmq/rabbitmq-node-1/etc/rabbitmq/enabled_plugins

[rabbitmq_management].

Node 2

 Installation path

/opt/rabbitmq/rabbitmq-node-2

.erlang.cookie

$home/.erlang.cookie

rabbitmq-env.conf

File path: /opt/rabbitmq/rabbitmq-node-2/etc/rabbitmq/rabbitmq-env.conf

# Example rabbitmq-env.conf file entries. Note that the variables
# do not have the RABBITMQ_ prefix.
#
# Overrides node name
RABBITMQ_NODENAME=rabbitmq-node-2@DESKTOP-B5WANG# Specifies new style config file location
RABBITMQ_CONFIG_FILE=/opt/rabbitmq/rabbitmq-node-2/etc/rabbitmq/rabbitmq.conf# Specifies advanced config file location
# RABBITMQ_ADVANCED_CONFIG_FILE=/etc/rabbitmq/advanced.config# CLI port
RABBITMQ_DIST_PORT=25673

rabbitmq.conf

File path: /opt/rabbitmq/rabbitmq-node-2/etc/rabbitmq/rabbitmq.conf

# port
listeners.tcp.default = 5673
# listeners.tcp.1 = 0.0.0.0:5673# default user
default_vhost = /
default_user = admin
default_pass = admin
default_permissions.configure = .*
default_permissions.read = .*
default_permissions.write = .*
default_user_tags.administrator = true
default_user_tags.management = true
default_user_tags.custom_tag = true# management plugin
management.tcp.port = 15673
management.tcp.ip   = 0.0.0.0# cluster
cluster_name = rabbitmq-cluster
cluster_keepalive_interval = 10000
cluster_formation.peer_discovery_backend = classic_config
cluster_formation.classic_config.nodes.1 = rabbitmq-node-1@DESKTOP-B5WANG
cluster_formation.classic_config.nodes.2 = rabbitmq-node-2@DESKTOP-B5WANG
cluster_formation.classic_config.nodes.3 = rabbitmq-node-3@DESKTOP-B5WANG# queue location strategy
queue_master_locator = client-local

enabled_plugins

File path: /opt/rabbitmq/rabbitmq-node-2/etc/rabbitmq/enabled_plugins

[rabbitmq_management].

Node 3

 Installation path

/opt/rabbitmq/rabbitmq-node-3

.erlang.cookie

$home/.erlang.cookie

rabbitmq-env.conf

File path: /opt/rabbitmq/rabbitmq-node-3/etc/rabbitmq/rabbitmq-env.conf

# Example rabbitmq-env.conf file entries. Note that the variables
# do not have the RABBITMQ_ prefix.
#
# Overrides node name
RABBITMQ_NODENAME=rabbitmq-node-3@DESKTOP-B5WANG# Specifies new style config file location
RABBITMQ_CONFIG_FILE=/opt/rabbitmq/rabbitmq-node-3/etc/rabbitmq/rabbitmq.conf# Specifies advanced config file location
# RABBITMQ_ADVANCED_CONFIG_FILE=/etc/rabbitmq/advanced.config# CLI port
RABBITMQ_DIST_PORT=25674

rabbitmq.conf

File path: /opt/rabbitmq/rabbitmq-node-3/etc/rabbitmq/rabbitmq.conf

# port
listeners.tcp.default = 5674
# listeners.tcp.1 = 0.0.0.0:5674# default user
default_vhost = /
default_user = admin
default_pass = admin
default_permissions.configure = .*
default_permissions.read = .*
default_permissions.write = .*
default_user_tags.administrator = true
default_user_tags.management = true
default_user_tags.custom_tag = true# management plugin
management.tcp.port = 15674
management.tcp.ip   = 0.0.0.0# cluster
cluster_name = rabbitmq-cluster
cluster_keepalive_interval = 10000
cluster_formation.peer_discovery_backend = classic_config
cluster_formation.classic_config.nodes.1 = rabbitmq-node-1@DESKTOP-B5WANG
cluster_formation.classic_config.nodes.2 = rabbitmq-node-2@DESKTOP-B5WANG
cluster_formation.classic_config.nodes.3 = rabbitmq-node-3@DESKTOP-B5WANG# queue location strategy
queue_master_locator = client-local

enabled_plugins

File path: /opt/rabbitmq/rabbitmq-node-3/etc/rabbitmq/enabled_plugins

[rabbitmq_management].

Springboot连接与编程

application.yml

spring:rabbitmq:# Connect rabbitmq clusteraddresses: localhost:5672,localhost:5673,localhost:5674username: adminpassword: admin

Queue and AnonymousQueue

Queue

        Map arg = new HashMap<String,Object>();arg.put("x-queue-type", "quorum");arg.put("x-queue-leader-locator", "client-local");new Queue(QUEUE_NAME_TEXT_MESSAGE, true, false, false, arg);

AnonymousQueue

AnonymousQueue aq = new AnonymousQueue(new Base64UrlNamingStrategy("queue-prefix-"));

AnonymousQueue本质上还是Queue，只是属性不同。所以不需要配置quorum，否则应用会报错。

public class AnonymousQueue extends Queue {public AnonymousQueue() {this((Map)null);}public AnonymousQueue(Map<String, Object> arguments) {this(Base64UrlNamingStrategy.DEFAULT, arguments);}public AnonymousQueue(NamingStrategy namingStrategy) {this(namingStrategy, (Map)null);}public AnonymousQueue(NamingStrategy namingStrategy, Map<String, Object> arguments) {super(namingStrategy.generateName(), false, true, true, arguments);if (!this.getArguments().containsKey("x-queue-master-locator")) {this.setLeaderLocator("client-local");}}
}

这篇关于微服务架构师封神之路13-RabbitMQ集群与高可用|RabbitMQ clustering and HA的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/738222。

相关文章

Java架构师知识体认识

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物
阅读更多...
服务器集群同步时间手记

服务器集群同步时间手记

1.时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [r
阅读更多...
HDFS—集群扩容及缩容

HDFS—集群扩容及缩容

白名单：表示在白名单的主机IP地址可以，用来存储数据。 配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 （1）创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称，假如集群正常工作的节
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
Java进阶13讲__第12讲_1/2

Java进阶13讲__第12讲_1/2

多线程、线程池 1.  线程概念 1.1  什么是线程 1.2  线程的好处 2.   创建线程的三种方式 注意事项 2.1  继承Thread类 2.1.1 认识  2.1.2  编码实现  package cn.hdc.oop10.Thread;import org.slf4j.Logger;import org.slf4j.LoggerFactory
阅读更多...
【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善，其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性， 将与教育相关的数据要素在区块链上进行存证确权，在确保数据可信的前提下，促进教育的公平、透明、开放，为教育教学质量提升赋能，实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护，支撑教育资源共享、教学质量评估、
阅读更多...
搭建Kafka+zookeeper集群调度

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3
阅读更多...
系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

本章知识考点：         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识
阅读更多...
【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展，越来越多的企业开始将其应用于实际业务中。然而，区块链技术的专业性使得其集成开发成为一项挑战。针对此，广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术，提供一套全面的区块链开发工具和开发环境，支持开发者快速开发和部署区块链应用。此外，该平台还可以提供一套全面的区块链开发教程和文档，帮助开发者快速上手区块链开发。
阅读更多...
RabbitMQ练习（AMQP 0-9-1 Overview）

RabbitMQ练习（AMQP 0-9-1 Overview）

1、What is AMQP 0-9-1 AMQP 0-9-1（高级消息队列协议）是一种网络协议，它允许遵从该协议的客户端（Publisher或者Consumer）应用程序与遵从该协议的消息中间件代理（Broker，如RabbitMQ）进行通信。 AMQP 0-9-1模型的核心概念包括消息发布者（producers/publisher）、消息（messages）、交换机（exchanges）、
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2