ActiveMQ高可用集群安装、配置（zookeeper + LevelDB）

2024-04-12 12:38
文章标签 配置 集群 安装 可用 zookeeper activemq leveldb

本文主要是介绍ActiveMQ高可用集群安装、配置（zookeeper + LevelDB），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

从ActiveMQ5.9开始，ActiveMQ的集群实现方式取消了传统的Master-Slave方式，增加了基于zookeeper + LevelDB的Master-Slave实现方式，其他两种方式“目录共享”和“数据库共享”依然存在。

三种集群方式的对比：

（1）基于共享文件系统（KahaDB，默认）

<persistenceAdapter>
    <kahaDB directory="${activemq.data}/kahadb"/>
</persistenceAdapter>

（2）基于JDBC

<bean id="mysql-ds" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
    <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
    <property name="url" value="jdbc:mysql://localhost:3306/amq?relaxAutoCommit=true"/>
    <property name="username" value="root"/>
    <property name="password" value="root"/>
    <property name="maxActive" value="20"/>
    <property name="poolPreparedStatements" value="true"/>
</bean>
<persistenceAdapter>
    <jdbcPersistenceAdapter dataDirectory="${activemq.data}" dataSource="#mysql-ds"
        createTablesOnStartup="false"/>
</persistenceAdapter>

（3）基于可复制的LevelDB

LevelDB是谷歌开发的一套用于持久化数据的功性能类库。LevelDB并不是一种服务，用户需要自行实现Server。是单进程的服务，能够实现十亿级别规模Key-Value型数据，占用内存小。

<persistenceAdapter>
    <replicatedLevelDB
    directory="${activemq.data}/leveldb"
    replicas="3"
    bind="tcp://0.0.0.0:62621"
    zkAddress="localhost:2181,localhost:2182,localhost:2183"
    hostname="localhost"
    zkPath="/activemq/leveldb-stores"
    />
</persistenceAdapter>

本文主要讲解基于zookeeper的LevelDB搭建ActiveMQ集群。

集群仅提供主备方式的高可用集群功能，避免单点故障，没有负载均衡功能。

原理如图：

高可用的原理：使用zookeeper集群注册所有的ActiveMQ Broker。至于其中的一个Broker可以提供服务，被视为Master，其他的Broker处于待机状态，被视为Slave。如果Master因故障不能提供服务，Zookeeper会从Slave中选举出一个Broker充当Master。

Slave连接Master并同步它们的存储状态，Slave不接受客户端连接。所有的存储操作都将被复制到连接至Master的Slave中。如果Master宕机了，得到了最新更新的Slave会成为Master。故障节点在恢复后会重新加入到集群中并连接Master进入Slave模式。

所有需要同步的disk的消息操作都将等待存储状态被复制到其他法定节点的操作完成才能完成。所以如果配置了replicas=3，那么法定大小是（3/2）+1=2。Master将会存储并更新然后等待（2-1）=1个Slave存储和更新完成，才汇报success。至于为什么是2-1，熟悉zookeeper的应该知道，有一个node要作为观察者存在。当一个新的Master被选中，需要保障至少一个法定node在线以能够找到拥有最新状态的node，这个node可以成为最新的Master，因此，推荐运行至少3个replica node，以防止一个node失败了，服务中断。（原理与zookeeper集群的高可用实现方式类似）

1.ActiveMQ集群部署规划

zookeeper集群环境：192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183

主机集群端口消息端口管控台端口节点安装目录
192.168.1.8162621515118161/home/wusc/activemq/node-01
192.168.1.8262622515128162/home/wusc/activemq/node-02
192.168.1.8362623515138163/home/wusc/activemq/node-03

2.防火墙中打开以上所有端口

3.分别在3台主机中创建/root/tengjs/activemq目录

$ mkdir /root/tengjs/activemq

上传apache-activemq-5.11.1-bin.tar.gz到/root/tengjs/activemq目录

4.解压并按节点命名

$ cd /root/tengjs/activemq

$ tar -xvf apache-activemq-5.11.1-bin.tar.gz

$ mv apache-activemq-5.11.1 node-0X #(X 代表节点号 1、 2、 3， 下同)

5.修改管理控制台端口（默认为8161），可在conf/jetty.xml中修改，如下：

node-01管控台端口

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
    <!-- the default port number for the web console -->
    <property name="host" value="0.0.0.0"/>
    <property name="port" value="8161"/>
</bean>

node-02管控台端口

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
    <!-- the default port number for the web console -->
    <property name="host" value="0.0.0.0"/>
    <property name="port" value="8162"/>
</bean>

node-03管控台端口

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
    <!-- the default port number for the web console -->
    <property name="host" value="0.0.0.0"/>
    <property name="port" value="8163"/>
</bean>

6.集群配置

在3个ActiveMQ节点中配置conf/activemq.xml中的持久化适配器。修改其中的bind、zkAddress、hostname、zkPath

注意每个ActiveMQ的BrokerName必须相同，否则不能加入集群。

node-01中的持久化配置

<broker xmlns="http://activemq.apache.org/schema/core" brokerName="DubboEdu" dataDirectory="${activemq.data}">
    <persistenceAdapter>
        <!-- kahaDB directory="${activemq.data}/kahadb"/ -->
        <replicatedLevelDB
        directory="${activemq.data}/leveldb"
        replicas="3"
        bind="tcp://0.0.0.0:62621"
        zkAddress="192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183"
        hostname="edu-zk-01"
        zkPath="/activemq/leveldb-stores"/>
    </persistenceAdapter>
</broker>

node-02中的持久化配置

<broker xmlns="http://activemq.apache.org/schema/core" brokerName="DubboEdu" dataDirectory="${activemq.data}">
    <persistenceAdapter>
        <!-- kahaDB directory="${activemq.data}/kahadb"/ -->
        <replicatedLevelDB
        directory="${activemq.data}/leveldb"
        replicas="3"
        bind="tcp://0.0.0.0:62622"
        zkAddress="192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183"
        hostname="edu-zk-02"
        zkPath="/activemq/leveldb-stores"/>
    </persistenceAdapter>
</broker>

node-03中的持久化配置

<broker xmlns="http://activemq.apache.org/schema/core" brokerName="DubboEdu" dataDirectory="${activemq.data}">
    <persistenceAdapter>
        <!-- kahaDB directory="${activemq.data}/kahadb"/ -->
        <replicatedLevelDB
        directory="${activemq.data}/leveldb"
        replicas="3"
        bind="tcp://0.0.0.0:62623"
        zkAddress="192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183"
        hostname="edu-zk-03"
        zkPath="/activemq/leveldb-stores"/>
    </persistenceAdapter>
</broker>

修改各节点的消息端口（注意避免端口冲突）

node-01中的消息端口配置

<transportConnectors>
<!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
<transportConnector name="openwire" uri="tcp://0.0.0.0:51511?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>

node-02中的消息端口配置

<transportConnectors>
<!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
<transportConnector name="openwire" uri="tcp://0.0.0.0:51512?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>

node-03中的消息端口配置

<transportConnectors>
<!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
<transportConnector name="openwire" uri="tcp://0.0.0.0:51513?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>

7.按顺序启动3个ActiveMQ节点

$ /home/wusc/activemq/node-01/bin/activemq start

$ /home/wusc/activemq/node-02/bin/activemq start

$ /home/wusc/activemq/node-03/bin/activemq start

监听日志

$ tail -f /home/wusc/activemq/node-01/data/activemq.log

$ tail -f /home/wusc/activemq/node-02/data/activemq.log

$ tail -f /home/wusc/activemq/node-03/data/activemq.log

8.集群的节点状态分析

集群启动后对zookeeper数据的抓图，可以看到ActiveMQ有3个节点，分别是00000000000，00000000001和00000000002。

以下第一张图展现了00000000000的值，可以看到elected的值是不为空，说明这个节点是Master，其他两个节点是Slave。

9.集群可用性测试ActiveMQ的客户端只能访问Master的Broker，其他处于Slave的Broker不能访问，所以客户端连接Broker应该使用failover协议

failover:(tcp://192.168.1.81:51511,tcp://192.168.1.82:51512,tcp://192.168.1.83:51513)?randomize=false

10.当一个ActiveMQ节点挂掉，或者一个zookeeper节点挂掉，ActiveMQ服务依然正常运转。如果仅剩一个ActiveMQ节点，因为不能选举Master，ActiveMQ不能正常运转；同样的，如果zookeeper仅剩一个节点活动，不管ActiveMQ是否存活，ActiveMQ也不能正常提供服务。

ActiveMQ集群的高可用，依赖于zookeeper集群的高可用。

11.设置开机启动

12.配置优化（可选）

updateURIsURL，通过URL（或者本地路径）获取重连的url，这样做具有良好的扩展性，因为客户端每次连接都是从RUL（或文件）中加载一次，所以可以随时从文件中更新url列表，做到动态添加MQ的备点。

failover:()?randomize=false&updateURIsURL=file:/home/wusc/activemq/urllist.txt

urllist.txt中的地址通过英文逗号分隔，示例：

tcp://192.168.1.81:51511,tcp://192.168.1.82:51512,tcp://192.168.1.83:51513

官方警告：

replicatedLevelDB不支持延迟或者计划任务消息。这些消息存储在另外的LevelDB文件中，如果使用延迟或者计划任务消息，将不会复制到slave Broker上，不能实现消息的高可用。

这篇关于ActiveMQ高可用集群安装、配置（zookeeper + LevelDB）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/897155。

相关文章

服务器集群同步时间手记

服务器集群同步时间手记

1.时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [r
阅读更多...
Zookeeper安装和配置说明

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种，单机模式和集群模式以及伪集群模式。 ■ 单机模式：Zookeeper只运行在一台服务器上，适合测试环境； ■ 伪集群模式：就是在一台物理机上运行多个Zookeeper 实例； ■ 集群模式：Zookeeper运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble） Zookeeper通过复制来实现
阅读更多...
CentOS7安装配置mysql5.7 tar免安装版

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7
阅读更多...
Centos7安装Mongodb4

Centos7安装Mongodb4

1、下载源码包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.1.tgz 2、解压 放到 /usr/local/ 目录下 tar -zxvf mongodb-linux-x86_64-rhel70-4.2.1.tgzmv mongodb-linux-x86_64-rhel70-4.2.1/
阅读更多...
HDFS—集群扩容及缩容

HDFS—集群扩容及缩容

白名单：表示在白名单的主机IP地址可以，用来存储数据。 配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 （1）创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称，假如集群正常工作的节
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
hadoop开启回收站配置

hadoop开启回收站配置

开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。 开启回收站功能参数说明 （1）默认值fs.trash.interval = 0，0表示禁用回收站；其他值表示设置文件的存活时间。 （2）默认值fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为0，则该值设置和fs.trash.interval的参数值相等。
阅读更多...
NameNode内存生产配置

NameNode内存生产配置

Hadoop2.x 系列，配置 NameNode 内存 NameNode 内存默认 2000m ，如果服务器内存 4G ， NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列，配置 Nam
阅读更多...
每天认识几个maven依赖（ActiveMQ+activemq-jaxb+activesoap+activespace+adarwin）

每天认识几个maven依赖（ActiveMQ+activemq-jaxb+activesoap+activespace+adarwin）

八、ActiveMQ 1、是什么？ ActiveMQ 是一个开源的消息中间件（Message Broker），由 Apache 软件基金会开发和维护。它实现了 Java 消息服务（Java Message Service, JMS）规范，并支持多种消息传递协议，包括 AMQP、MQTT 和 OpenWire 等。 2、有什么用？ 可靠性：ActiveMQ 提供了消息持久性和事务支持，确保消
阅读更多...
wolfSSL参数设置或配置项解释

wolfSSL参数设置或配置项解释

1. wolfCrypt Only 解释：wolfCrypt是一个开源的、轻量级的、可移植的加密库，支持多种加密算法和协议。选择“wolfCrypt Only”意味着系统或应用将仅使用wolfCrypt库进行加密操作，而不依赖其他加密库。 2. DTLS Support 解释：DTLS（Datagram Transport Layer Security）是一种基于UDP的安全协议，提供类似于
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2