rocketmq双主双从部署+dashbord

2024-01-19 23:04
文章标签 部署 rocketmq 双主双 dashbord

本文主要是介绍rocketmq双主双从部署+dashbord，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1、主机规划

主机节点地址
主机Anamesrv192.168.2.228:9876
主机Abroker-a192.168.2.228:10911
主机Abroker-b192.168.2.228:11911
主机Bnamesrv192.168.2.229:9876
主机Bbroker-c192.168.2.229:10911
主机Bbroker-d192.168.2.229:11911

2、两台主机都需要执行，创建mq需要的文件

mkdir -p /mydata/rocketmq/data/namesrv/logs
sudo chmod 777  /mydata/rocketmq/data/namesrv/logs
mkdir -p /mydata/rocketmq/data/namesrv/store
chmod 777  /mydata/rocketmq/data/namesrv/store
mkdir -p /mydata/rocketmq/data/broker-a/logs
mkdir -p /mydata/rocketmq/data/broker-a/store
mkdir -p /mydata/rocketmq/etc/broker-a
chmod 777 /mydata/rocketmq/data/broker-a/logs
chmod 777 /mydata/rocketmq/data/broker-a/store
chmod 777 /mydata/rocketmq/etc/broker-a
mkdir -p /mydata/rocketmq/data/broker-b/logs
mkdir -p /mydata/rocketmq/data/broker-b/store
mkdir -p /mydata/rocketmq/etc/broker-b
chmod 777 /mydata/rocketmq/data/broker-b/logs
chmod 777 /mydata/rocketmq/data/broker-b/store
chmod 777 /mydata/rocketmq/etc/broker-b

3、部署broker-a

cd  /mydata/rocketmq/data
vi broker-a.conf
#输入以下内容brokerClusterName = rocketmq-cluster
brokerName = broker-a# 0表示broker master 非0表示 broker slaver
brokerId = 0# brokerIP1 当前broker监听的IP
brokerIP1 = 192.168.2.228# brokerIP2 存在broker主从时，在broker主节点上配置了brokerIP2的话,broker从节点会连接主节点配置的brokerIP2来同步
brokerIP2 = 192.168.2.228deleteWhen = 04
fileReservedTime = 48namesrvAddr = 192.168.2.228:9876;192.168.2.229:9876# 是否能够自动创建topic
autoCreateTopicEnable = true#Broker 对外服务的监听端口, 默认10911
# listenPort = 10911#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

4、部署broker-b

cd  /mydata/rocketmq/data
vi broker-b-s.conf
#输入以下内容brokerClusterName = rocketmq-cluster
brokerName = broker-bbrokerId = 1brokerIP1 = 192.168.2.228deleteWhen = 04
fileReservedTime = 48namesrvAddr = 192.168.2.228:9876;192.168.2.229:9876listenPort = 11911#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

5、主机B部署broker-c

cd  /mydata/rocketmq/data
vi broker-a.conf
#输入以下内容brokerClusterName = rocketmq-cluster
brokerName = broker-c# 0表示broker master 非0表示 broker slaver
brokerId = 0# brokerIP1 当前broker监听的IP
brokerIP1 = 192.168.2.229# brokerIP2 存在broker主从时，在broker主节点上配置了brokerIP2的话,broker从节点会连接主节点配置的brokerIP2来同步
brokerIP2 = 192.168.2.229deleteWhen = 04
fileReservedTime = 48namesrvAddr = 192.168.2.228:9876;192.168.2.229:9876# 是否能够自动创建topic
autoCreateTopicEnable = true#Broker 对外服务的监听端口, 默认10911
# listenPort = 10911#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

6、主机B部署broker-d

cd  /mydata/rocketmq/data
vi broker-b-s.conf
#输入以下内容brokerClusterName = rocketmq-cluster
brokerName = broker-dbrokerId = 1brokerIP1 = 192.168.2.229deleteWhen = 04
fileReservedTime = 48namesrvAddr = 192.168.2.228:9876;192.168.2.229:9876listenPort = 11911#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

7、下载dockercompose文件

#下载到/usr/local/bin目录
curl -SL https://github.com/docker/compose/releases/download/v2.7.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose

8、两台主机都编辑docker-compose.yml

cd /usr/local/bin
vi docker-compose.yml
#输入以下内容
version: '4.7'
services:rmqnamesrv-a:image: apache/rocketmq:4.7.1restart: alwayscontainer_name: rmqnamesrv-aports:- 9876:9876volumes:- /mydata/rocketmq/data/namesrv/logs:/opt/logs/rocketmqlogs- /mydata/rocketmq/data/namesrv/store:/opt/storeenvironment:- JAVA_OPT_EXT=-Duser.home=/opt -Xms512m -Xmx512m -Xmn300mcommand: sh mqnamesrvrmqbroker-a:image: apache/rocketmq:4.7.1container_name: rmqbroker-aports:- 10911:10911- 10909:10909- 10912:10912volumes:- /mydata/rocketmq/data/broker-a/logs:/home/rocketmq/logs- /mydata/rocketmq/data/broker-a/store:/home/rocketmq/store- /mydata/rocketmq/data/broker-a.conf:/home/rocketmq/rocketmq-4.7.1/conf/broker.confenvironment:- TZ=Asia/Shanghai- NAMESRV_ADDR=rmqnamesrv-a:9876- JAVA_OPTS=-Duser.home=/opt- JAVA_OPT_EXT=-server -Xms2048m -Xmx4096m -Xmn2048mcommand: sh mqbroker -c /home/rocketmq/rocketmq-4.7.1/conf/broker.conf autoCreateTopicEnable=true &links:- rmqnamesrv-a:rmqnamesrv-armqbroker-b-s:image: apache/rocketmq:4.7.1container_name: rmqbroker-b-sports:- 11911:11911- 11909:11909- 11912:11912volumes:- /mydata/rocketmq/data/broker-b/logs:/home/rocketmq/logs- /mydata/rocketmq/data/broker-b/store:/home/rocketmq/store- /mydata/rocketmq/data/broker-b-s.conf:/home/rocketmq/rocketmq-4.7.1/conf/broker.confenvironment:- TZ=Asia/Shanghai- NAMESRV_ADDR=rmqnamesrv-a:9876- JAVA_OPTS=-Duser.home=/opt- JAVA_OPT_EXT=-server -Xms2048m -Xmx4096m -Xmn2048mcommand: sh mqbroker -c /home/rocketmq/rocketmq-4.7.1/conf/broker.conf autoCreateTopicEnable=true &links:- rmqnamesrv-a:rmqnamesrv-a

9、启动部署

#部署启动
docker compose up -d
#卸载命令，不要执行
docker compose down

10、自定义dashbord密码

#部署启动
mkdir -p /apps/rocketmq-dashboard/data
vi users.properties
#输入以下内容
#超级管理员
admin=admin,1
#普通用户
xkc=xkc

11、dashbord启动

docker run -d -it --name dashboard -p 18081:8080 -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.2.228:9876;192.168.2.229:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false  -Drocketmq.config.loginRequired=true" -v /apps/rocketmq-dashboard/data:/tmp/rocketmq-console/data  apacherocketmq/rocketmq-dashboard:latest /bin/bash

12、自定义的nginx负载均衡配置，需要配置nginx.conf文件，网上有很多坑说配置http模块，实际上配置http模块没法对mq负载均衡，正确需要在stream模块追加以下配置，如下：

stream {upstream mqserver {server 192.168.2.227:9876;server 192.168.2.228:9876;}server {listen 888;proxy_connect_timeout 1s;proxy_timeout 3s;proxy_pass mqserver;}
}

13、一键式部署的脚本，我有，但暂时不提供，有需要的可以联系博主

这篇关于rocketmq双主双从部署+dashbord的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/623996。

相关文章

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

《ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法》本文介绍了Elasticsearch的基本概念,包括文档和字段、索引和映射,还详细描述了如何通过Docker... 目录1、ElasticSearch概念2、ElasticSearch、Kibana和IK分词器部署
阅读更多...
部署Vue项目到服务器后404错误的原因及解决方案

部署Vue项目到服务器后404错误的原因及解决方案

《部署Vue项目到服务器后404错误的原因及解决方案》文章介绍了Vue项目部署步骤以及404错误的解决方案,部署步骤包括构建项目、上传文件、配置Web服务器、重启Nginx和访问域名,404错误通常是... 目录一、vue项目部署步骤二、404错误原因及解决方案错误场景原因分析解决方案一、Vue项目部署步骤
阅读更多...
Linux流媒体服务器部署流程

Linux流媒体服务器部署流程

《Linux流媒体服务器部署流程》文章详细介绍了流媒体服务器的部署步骤,包括更新系统、安装依赖组件、编译安装Nginx和RTMP模块、配置Nginx和FFmpeg,以及测试流媒体服务器的搭建... 目录流媒体服务器部署部署安装1.更新系统2.安装依赖组件3.解压4.编译安装（添加RTMP和openssl模块
阅读更多...
0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型，3步搞定一个应
阅读更多...
redis群集简单部署过程

redis群集简单部署过程

《redis群集简单部署过程》文章介绍了Redis,一个高性能的键值存储系统,其支持多种数据结构和命令,它还讨论了Redis的服务器端架构、数据存储和获取、协议和命令、高可用性方案、缓存机制以及监控和... 目录Redis介绍1. 基本概念2. 服务器端3. 存储和获取数据4. 协议和命令5. 高可用性6.
阅读更多...
Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll
阅读更多...
nginx部署https网站的实现步骤(亲测)

nginx部署https网站的实现步骤(亲测)

《nginx部署https网站的实现步骤(亲测)》本文详细介绍了使用Nginx在保持与http服务兼容的情况下部署HTTPS,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值... 目录步骤 1：安装 Nginx步骤 2：获取 SSL 证书步骤 3：手动配置 Nginx步骤 4：测
阅读更多...
Tomcat高效部署与性能优化方式

Tomcat高效部署与性能优化方式

《Tomcat高效部署与性能优化方式》本文介绍了如何高效部署Tomcat并进行性能优化,以确保Web应用的稳定运行和高效响应,高效部署包括环境准备、安装Tomcat、配置Tomcat、部署应用和启动T... 目录Tomcat高效部署与性能优化一、引言二、Tomcat高效部署三、Tomcat性能优化总结Tom
阅读更多...
如何在本地部署 DeepSeek Janus Pro 文生图大模型

如何在本地部署 DeepSeek Janus Pro 文生图大模型

《如何在本地部署DeepSeekJanusPro文生图大模型》DeepSeekJanusPro模型在本地成功部署,支持图片理解和文生图功能,通过Gradio界面进行交互,展示了其强大的多模态处... 目录什么是 Janus Pro1. 安装 conda2. 创建 python 虚拟环境3. 克隆 janus
阅读更多...
本地私有化部署DeepSeek模型的详细教程

本地私有化部署DeepSeek模型的详细教程

《本地私有化部署DeepSeek模型的详细教程》DeepSeek模型是一种强大的语言模型,本地私有化部署可以让用户在自己的环境中安全、高效地使用该模型,避免数据传输到外部带来的安全风险,同时也能根据自... 目录一、引言二、环境准备（一）硬件要求（二）软件要求（三）创建虚拟环境三、安装依赖库四、获取 Dee
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2