ActiveMQ高可用集群安装、配置(zookeeper + LevelDB)

2024-04-12 12:38

本文主要是介绍ActiveMQ高可用集群安装、配置(zookeeper + LevelDB),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

从ActiveMQ5.9开始,ActiveMQ的集群实现方式取消了传统的Master-Slave方式,增加了基于zookeeper + LevelDB的Master-Slave实现方式,其他两种方式“目录共享”和“数据库共享”依然存在。

三种集群方式的对比:

(1)基于共享文件系统(KahaDB,默认)

<persistenceAdapter>
    <kahaDB directory="${activemq.data}/kahadb"/>
</persistenceAdapter>

(2)基于JDBC

<bean id="mysql-ds" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
    <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
    <property name="url" value="jdbc:mysql://localhost:3306/amq?relaxAutoCommit=true"/>
    <property name="username" value="root"/>
    <property name="password" value="root"/>
    <property name="maxActive" value="20"/>
    <property name="poolPreparedStatements" value="true"/>
</bean>
<persistenceAdapter>
    <jdbcPersistenceAdapter dataDirectory="${activemq.data}" dataSource="#mysql-ds"
        createTablesOnStartup="false"/>
</persistenceAdapter>

(3)基于可复制的LevelDB

LevelDB是谷歌开发的一套用于持久化数据的功性能类库。LevelDB并不是一种服务,用户需要自行实现Server。是单进程的服务,能够实现十亿级别规模Key-Value型数据,占用内存小。

<persistenceAdapter>
    <replicatedLevelDB
    directory="${activemq.data}/leveldb"
    replicas="3"
    bind="tcp://0.0.0.0:62621"
    zkAddress="localhost:2181,localhost:2182,localhost:2183"
    hostname="localhost"
    zkPath="/activemq/leveldb-stores"
    />
</persistenceAdapter>

本文主要讲解基于zookeeper的LevelDB搭建ActiveMQ集群。

集群仅提供主备方式的高可用集群功能,避免单点故障,没有负载均衡功能。

原理如图:

高可用的原理:使用zookeeper集群注册所有的ActiveMQ Broker。至于其中的一个Broker可以提供服务,被视为Master,其他的Broker处于待机状态,被视为Slave。如果Master因故障不能提供服务,Zookeeper会从Slave中选举出一个Broker充当Master。

Slave连接Master并同步它们的存储状态,Slave不接受客户端连接。所有的存储操作都将被复制到连接至Master的Slave中。如果Master宕机了,得到了最新更新的Slave会成为Master。故障节点在恢复后会重新加入到集群中并连接Master进入Slave模式。

所有需要同步的disk的消息操作都将等待存储状态被复制到其他法定节点的操作完成才能完成。所以如果配置了replicas=3,那么法定大小是(3/2)+1=2。Master将会存储并更新然后等待(2-1)=1个Slave存储和更新完成,才汇报success。至于为什么是2-1,熟悉zookeeper的应该知道,有一个node要作为观察者存在。当一个新的Master被选中,需要保障至少一个法定node在线以能够找到拥有最新状态的node,这个node可以成为最新的Master,因此,推荐运行至少3个replica node,以防止一个node失败了,服务中断。(原理与zookeeper集群的高可用实现方式类似)

1.ActiveMQ集群部署规划

zookeeper集群环境:192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183

主机集群端口消息端口管控台端口节点安装目录
192.168.1.8162621515118161/home/wusc/activemq/node-01
192.168.1.8262622515128162/home/wusc/activemq/node-02
192.168.1.8362623515138163/home/wusc/activemq/node-03

2.防火墙中打开以上所有端口

3.分别在3台主机中创建/root/tengjs/activemq目录

$ mkdir /root/tengjs/activemq

上传apache-activemq-5.11.1-bin.tar.gz到/root/tengjs/activemq目录

4.解压并按节点命名

$ cd /root/tengjs/activemq

$ tar -xvf apache-activemq-5.11.1-bin.tar.gz

$ mv apache-activemq-5.11.1 node-0X #(X 代表节点号 1、 2、 3, 下同)

5.修改管理控制台端口(默认为8161),可在conf/jetty.xml中修改,如下:

node-01管控台端口

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
    <!-- the default port number for the web console -->
    <property name="host" value="0.0.0.0"/>
    <property name="port" value="8161"/>
</bean>

node-02管控台端口

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
    <!-- the default port number for the web console -->
    <property name="host" value="0.0.0.0"/>
    <property name="port" value="8162"/>
</bean>

node-03管控台端口

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
    <!-- the default port number for the web console -->
    <property name="host" value="0.0.0.0"/>
    <property name="port" value="8163"/>
</bean>

6.集群配置

在3个ActiveMQ节点中配置conf/activemq.xml中的持久化适配器。修改其中的bind、zkAddress、hostname、zkPath

注意每个ActiveMQ的BrokerName必须相同,否则不能加入集群。

node-01中的持久化配置

<broker xmlns="http://activemq.apache.org/schema/core" brokerName="DubboEdu" dataDirectory="${activemq.data}">
    <persistenceAdapter>
        <!-- kahaDB directory="${activemq.data}/kahadb"/ -->
        <replicatedLevelDB
        directory="${activemq.data}/leveldb"
        replicas="3"
        bind="tcp://0.0.0.0:62621"
        zkAddress="192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183"
        hostname="edu-zk-01"
        zkPath="/activemq/leveldb-stores"/>
    </persistenceAdapter>
</broker>

node-02中的持久化配置

<broker xmlns="http://activemq.apache.org/schema/core" brokerName="DubboEdu" dataDirectory="${activemq.data}">
    <persistenceAdapter>
        <!-- kahaDB directory="${activemq.data}/kahadb"/ -->
        <replicatedLevelDB
        directory="${activemq.data}/leveldb"
        replicas="3"
        bind="tcp://0.0.0.0:62622"
        zkAddress="192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183"
        hostname="edu-zk-02"
        zkPath="/activemq/leveldb-stores"/>
    </persistenceAdapter>
</broker>

node-03中的持久化配置

<broker xmlns="http://activemq.apache.org/schema/core" brokerName="DubboEdu" dataDirectory="${activemq.data}">
    <persistenceAdapter>
        <!-- kahaDB directory="${activemq.data}/kahadb"/ -->
        <replicatedLevelDB
        directory="${activemq.data}/leveldb"
        replicas="3"
        bind="tcp://0.0.0.0:62623"
        zkAddress="192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183"
        hostname="edu-zk-03"
        zkPath="/activemq/leveldb-stores"/>
    </persistenceAdapter>
</broker>

修改各节点的消息端口(注意避免端口冲突)

node-01中的消息端口配置

<transportConnectors>
<!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
<transportConnector name="openwire" uri="tcp://0.0.0.0:51511?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>

node-02中的消息端口配置

<transportConnectors>
<!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
<transportConnector name="openwire" uri="tcp://0.0.0.0:51512?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>

node-03中的消息端口配置

<transportConnectors>
<!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
<transportConnector name="openwire" uri="tcp://0.0.0.0:51513?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>

7.按顺序启动3个ActiveMQ节点

$ /home/wusc/activemq/node-01/bin/activemq start

$ /home/wusc/activemq/node-02/bin/activemq start

$ /home/wusc/activemq/node-03/bin/activemq start

监听日志

$ tail -f /home/wusc/activemq/node-01/data/activemq.log

$ tail -f /home/wusc/activemq/node-02/data/activemq.log

$ tail -f /home/wusc/activemq/node-03/data/activemq.log

8.集群的节点状态分析

集群启动后对zookeeper数据的抓图,可以看到ActiveMQ有3个节点,分别是00000000000,00000000001和00000000002。

以下第一张图展现了00000000000的值,可以看到elected的值是不为空,说明这个节点是Master,其他两个节点是Slave。

9.集群可用性测试ActiveMQ的客户端只能访问Master的Broker,其他处于Slave的Broker不能访问,所以客户端连接Broker应该使用failover协议

failover:(tcp://192.168.1.81:51511,tcp://192.168.1.82:51512,tcp://192.168.1.83:51513)?randomize=false

10.当一个ActiveMQ节点挂掉,或者一个zookeeper节点挂掉,ActiveMQ服务依然正常运转。如果仅剩一个ActiveMQ节点,因为不能选举Master,ActiveMQ不能正常运转;同样的,如果zookeeper仅剩一个节点活动,不管ActiveMQ是否存活,ActiveMQ也不能正常提供服务。

ActiveMQ集群的高可用,依赖于zookeeper集群的高可用。

11.设置开机启动

12.配置优化(可选)

updateURIsURL,通过URL(或者本地路径)获取重连的url,这样做具有良好的扩展性,因为客户端每次连接都是从RUL(或文件)中加载一次,所以可以随时从文件中更新url列表,做到动态添加MQ的备点。

failover:()?randomize=false&updateURIsURL=file:/home/wusc/activemq/urllist.txt

urllist.txt中的地址通过英文逗号分隔,示例:

tcp://192.168.1.81:51511,tcp://192.168.1.82:51512,tcp://192.168.1.83:51513

官方警告:

replicatedLevelDB不支持延迟或者计划任务消息。这些消息存储在另外的LevelDB文件中,如果使用延迟或者计划任务消息,将不会复制到slave Broker上,不能实现消息的高可用。

这篇关于ActiveMQ高可用集群安装、配置(zookeeper + LevelDB)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/897155

相关文章

Linux内核参数配置与验证详细指南

《Linux内核参数配置与验证详细指南》在Linux系统运维和性能优化中,内核参数(sysctl)的配置至关重要,本文主要来聊聊如何配置与验证这些Linux内核参数,希望对大家有一定的帮助... 目录1. 引言2. 内核参数的作用3. 如何设置内核参数3.1 临时设置(重启失效)3.2 永久设置(重启仍生效

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

如何在Mac上安装并配置JDK环境变量详细步骤

《如何在Mac上安装并配置JDK环境变量详细步骤》:本文主要介绍如何在Mac上安装并配置JDK环境变量详细步骤,包括下载JDK、安装JDK、配置环境变量、验证JDK配置以及可选地设置PowerSh... 目录步骤 1:下载JDK步骤 2:安装JDK步骤 3:配置环境变量1. 编辑~/.zshrc(对于zsh

售价599元起! 华为路由器X1/Pro发布 配置与区别一览

《售价599元起!华为路由器X1/Pro发布配置与区别一览》华为路由器X1/Pro发布,有朋友留言问华为路由X1和X1Pro怎么选择,关于这个问题,本期图文将对这二款路由器做了期参数对比,大家看... 华为路由 X1 系列已经正式发布并开启预售,将在 4 月 25 日 10:08 正式开售,两款产品分别为华

SQL server配置管理器找不到如何打开它

《SQLserver配置管理器找不到如何打开它》最近遇到了SQLserver配置管理器打不开的问题,尝试在开始菜单栏搜SQLServerManager无果,于是将自己找到的方法总结分享给大家,对SQ... 目录方法一:桌面图标进入方法二:运行窗口进入方法三:查找文件路径方法四:检查 SQL Server 安

如何在pycharm安装torch包

《如何在pycharm安装torch包》:本文主要介绍如何在pycharm安装torch包方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录在pycharm安装torch包适http://www.chinasem.cn配于我电脑的指令为适用的torch包为总结在p

在PyCharm中安装PyTorch、torchvision和OpenCV详解

《在PyCharm中安装PyTorch、torchvision和OpenCV详解》:本文主要介绍在PyCharm中安装PyTorch、torchvision和OpenCV方式,具有很好的参考价值,... 目录PyCharm安装PyTorch、torchvision和OpenCV安装python安装PyTor

Python Transformer 库安装配置及使用方法

《PythonTransformer库安装配置及使用方法》HuggingFaceTransformers是自然语言处理(NLP)领域最流行的开源库之一,支持基于Transformer架构的预训练模... 目录python 中的 Transformer 库及使用方法一、库的概述二、安装与配置三、基础使用:Pi

SpringQuartz定时任务核心组件JobDetail与Trigger配置

《SpringQuartz定时任务核心组件JobDetail与Trigger配置》Spring框架与Quartz调度器的集成提供了强大而灵活的定时任务解决方案,本文主要介绍了SpringQuartz定... 目录引言一、Spring Quartz基础架构1.1 核心组件概述1.2 Spring集成优势二、J

Android Studio 配置国内镜像源的实现步骤

《AndroidStudio配置国内镜像源的实现步骤》本文主要介绍了AndroidStudio配置国内镜像源的实现步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、修改 hosts,解决 SDK 下载失败的问题二、修改 gradle 地址,解决 gradle