docker-compose单机部署rocketmq集群(双主双从，同步双写)

2024-08-27 14:12
文章标签 部署 集群 docker compose rocketmq 同步 单机 双写 双主双

本文主要是介绍docker-compose单机部署rocketmq集群(双主双从，同步双写)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.本文以RocketMQ 5.3.0 版本的镜像为例。

2.首先先更新docker，之前旧版docker，导致rocketmq一直起不来，一直报错。

3.安装docker-compose。


服务器环境（目前只用192.168.25.135后期改ip地址即可）
| 1    | 192.168.25.135 | nameserver、brokerserver | Master1、Slave2 |
| ---- | -------------- | ------------------------ | --------------- |
| 2    | 192.168.25.138 | nameserver、brokerserver | Master2、Slave1 |Host添加信息
vim /etc/hosts配置如下:
# nameserver
192.168.25.135 rocketmq-nameserver1
192.168.25.138 rocketmq-nameserver2
# broker
192.168.25.135 rocketmq-master1
192.168.25.135 rocketmq-slave2
192.168.25.138 rocketmq-master2
192.168.25.138 rocketmq-slave1配置完成后, 重启网卡
systemctl restart network开放端口号
* `nameserver` 默认使用 9876 端口
* `master` 默认使用 10911 端口
* `slave` 默认使用11011 端口

4.拉取镜像

docker pull apache/rocketmq:5.3.0


5.创建消息存储路径

mkdir -p /usr/local/rocketmq/broker-1-m/conf
touch    /usr/local/rocketmq/broker-1-m/conf/broker.conf
mkdir -p /usr/local/rocketmq/broker-1-m/logs
mkdir -p /usr/local/rocketmq/broker-1-m/storemkdir -p /usr/local/rocketmq/broker-1-s/conf
touch    /usr/local/rocketmq/broker-1-s/conf/broker.conf
mkdir -p /usr/local/rocketmq/broker-1-s/logs
mkdir -p /usr/local/rocketmq/broker-1-s/storemkdir -p /usr/local/rocketmq/broker-2-m/conf
touch    /usr/local/rocketmq/broker-2-m/conf/broker.conf
mkdir -p /usr/local/rocketmq/broker-2-m/logs
mkdir -p /usr/local/rocketmq/broker-2-m/storemkdir -p /usr/local/rocketmq/broker-2-s/conf
touch    /usr/local/rocketmq/broker-2-s/conf/broker.conf
mkdir -p /usr/local/rocketmq/broker-2-s/logs
mkdir -p /usr/local/rocketmq/broker-2-s/store

6.授权

chmod 777 -R /usr/local/rocketmq

7.修改/usr/local/rocketmq/broker-1-m/conf/broker.conf配置文件

vim /usr/local/rocketmq/broker-1-m/conf/broker.conf
#集群名称
brokerClusterName=rocketmq-cluster
#broker名称
brokerName=broker1
#brokerId master用0 slave用其他
brokerId=0
#清理时机
deleteWhen=4
#文件保留时长 48小时
fileReservedTime=48
#broker角色 -ASYNC_MASTER异步复制 -SYNC_MASTER同步双写 -SLAVE
brokerRole=SYNC_MASTER
#刷盘策略 - ASYNC_FLUSH 异步刷盘 - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#主机ip
brokerIP1=192.168.25.135
#从节点ip(目前是本机ip)
brokerIP2=192.168.25.135
#对外服务的监听接口，同一台机器上部署多个broker,端口号要不相同
listenPort=10911
#是否能够自动创建topic
autoCreateTopicEnable=true

8.修改/usr/local/rocketmq/broker-2-s/conf/broker.conf配置文件

#集群名称
brokerClusterName=rocketmq-cluster
#broker名称
brokerName=broker2
#brokerId master用0 slave用其他
brokerId=1
#清理时机
deleteWhen=4
#文件保留时长 48小时
fileReservedTime=48
#broker角色 -ASYNC_MASTER异步复制 -SYNC_MASTER同步双写 -SLAVE
brokerRole=SLAVE
#刷盘策略 - ASYNC_FLUSH 异步刷盘 - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#主机ip
brokerIP1=192.168.25.135
#对外服务的监听接口，同一台机器上部署多个broker,端口号要不相同
listenPort=11911
#是否能够自动创建topic
autoCreateTopicEnable=true

9.修改/usr/local/rocketmq/broker-2-m/conf/broker.conf配置文件

#集群名称
brokerClusterName=rocketmq-cluster
#broker名称
brokerName=broker2
#brokerId master用0 slave用其他
brokerId=0
#清理时机
deleteWhen=4
#文件保留时长 48小时
fileReservedTime=48
#broker角色 -ASYNC_MASTER异步复制 -SYNC_MASTER同步双写 -SLAVE
brokerRole=SYNC_MASTER
#刷盘策略 - ASYNC_FLUSH 异步刷盘 - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#主机ip
brokerIP1=192.168.171.134
#从节点ip(目前是本机ip)
brokerIP2=192.168.25.135
#对外服务的监听接口，同一台机器上部署多个broker,端口号要不相同
listenPort=12911
#是否能够自动创建topic
autoCreateTopicEnable=true

10.修改/usr/local/rocketmq/broker-1-s/conf/broker.conf配置文件

#集群名称
brokerClusterName=rocketmq-cluster
#broker名称
brokerName=broker1
#brokerId master用0 slave用其他
brokerId=1
#清理时机
deleteWhen=4
#文件保留时长 48小时
fileReservedTime=48
#broker角色 -ASYNC_MASTER异步复制 -SYNC_MASTER同步双写 -SLAVE
brokerRole=SLAVE
#刷盘策略 - ASYNC_FLUSH 异步刷盘 - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#主机ip
brokerIP1=192.168.25.135
#对外服务的监听接口，同一台机器上部署多个broker,端口号要不相同
listenPort=13911
#是否能够自动创建topic
autoCreateTopicEnable=true

11.新建docker-compose文件

touch /usr/local/rocketmq/docker-compose.yml
vim /usr/local/rocketmq/docker-compose.yml

12.粘贴以下内容到docker-compose.yml

version: "3"
services:mqnamesrv:image: apache/rocketmq:5.3.0container_name: mqnamesrvports:- 9876:9876environment:JAVA_OPT_EXT: "-Duser.home=/opt -Xms512m -Xmx512m -Xmn150m"command: sh mqnamesrvmqbroker-1-m:image: apache/rocketmq:5.3.0container_name: mqbroker-1-mports:- 10911:10911- 10909:10909- 10912:10912volumes:- /usr/local/rocketmq/broker-1-m/conf/broker.conf:/home/rocketmq/conf/broker.conf- /usr/local/rocketmq/broker-1-m/logs:/home/rocketmq/logs- /usr/local/rocketmq/broker-1-m/store:/home/rocketmq/storeenvironment:NAMESRV_ADDR: "mqnamesrv:9876"JAVA_OPTS: " -Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m"command: sh mqbroker -c /home/rocketmq/conf/broker.confdepends_on:- mqnamesrvmqbroker-2-s:image: apache/rocketmq:5.3.0container_name: mqbroker-2-sports:- 11911:11911- 11909:11909- 11912:11912volumes:- /usr/local/rocketmq/broker-2-s/conf/broker.conf:/home/rocketmq/conf/broker.conf- /usr/local/rocketmq/broker-2-s/logs:/home/rocketmq/logs- /usr/local/rocketmq/broker-2-s/store:/home/rocketmq/storeenvironment:NAMESRV_ADDR: "mqnamesrv:9876"JAVA_OPTS: " -Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m"command: sh mqbroker -c /home/rocketmq/conf/broker.confdepends_on:- mqnamesrvmqbroker-2-m:image: apache/rocketmq:5.3.0container_name: mqbroker-2-mports:- 12911:12911- 12909:12909- 12912:12912volumes:- /usr/local/rocketmq/broker-2-m/conf/broker.conf:/home/rocketmq/conf/broker.conf- /usr/local/rocketmq/broker-2-m/logs:/home/rocketmq/logs- /usr/local/rocketmq/broker-2-m/store:/home/rocketmq/storeenvironment:NAMESRV_ADDR: "mqnamesrv:9876"JAVA_OPTS: " -Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m"command: sh mqbroker -c /home/rocketmq/conf/broker.confdepends_on:- mqnamesrvmqbroker-1-s:image: apache/rocketmq:5.3.0container_name: mqbroker-1-sports:- 13911:13911- 13909:13909- 13912:13912volumes:- /usr/local/rocketmq/broker-1-s/conf/broker.conf:/home/rocketmq/conf/broker.conf- /usr/local/rocketmq/broker-1-s/logs:/home/rocketmq/logs- /usr/local/rocketmq/broker-1-s/store:/home/rocketmq/storeenvironment:NAMESRV_ADDR: "mqnamesrv:9876"JAVA_OPTS: " -Duser.home=/opt"JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m"command: sh mqbroker -c /home/rocketmq/conf/broker.confdepends_on:- mqnamesrvmqconsole:image: styletang/rocketmq-console-ng:1.0.0container_name: mqconsoleports:- 19876:8080environment:JAVA_OPTS: -Drocketmq.namesrv.addr=mqnamesrv:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=falsesdepends_on:- mqnamesrv

13.在docker-compose.yml文件所在目录运行docker-compose.yml

docker-compose up -d

14.查看容器是否启动成功

docker ps
docker logs -f (容器id)

15.显示成功，就是成功了。

16.打开ip:19876

16.注意，记得把以上ip地址换成自己的。如果是云服务器，则需要把以上的端口都打开。注意路径不要错了。

这篇关于docker-compose单机部署rocketmq集群(双主双从，同步双写)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1111897。

相关文章

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
服务器集群同步时间手记

服务器集群同步时间手记

1.时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [r
阅读更多...
HDFS—集群扩容及缩容

HDFS—集群扩容及缩容

白名单：表示在白名单的主机IP地址可以，用来存储数据。 配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 （1）创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称，假如集群正常工作的节
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
如何用Docker运行Django项目

如何用Docker运行Django项目

本章教程，介绍如何用Docker创建一个Django，并运行能够访问。 一、拉取镜像 这里我们使用python3.11版本的docker镜像 docker pull python:3.11 二、运行容器 这里我们将容器内部的8080端口，映射到宿主机的80端口上。 docker run -itd --name python311 -p
阅读更多...
字节面试 | 如何测试RocketMQ、RocketMQ？

字节面试 | 如何测试RocketMQ、RocketMQ？

字节面试：RocketMQ是怎么测试的呢？ 答： 首先保证消息的消费正确、设计逆向用例，在验证消息内容为空等情况时的消费正确性； 推送大批量MQ，通过Admin控制台查看MQ消费的情况，是否出现消费假死、TPS是否正常等等问题。（上述都是临场发挥，但是RocketMQ真正的测试点，还真的需要探讨） 01 先了解RocketMQ 作为测试也是要简单了解RocketMQ。简单来说，就是一个分
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
搭建Kafka+zookeeper集群调度

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3
阅读更多...
衡石分析平台使用手册-单机安装及启动

衡石分析平台使用手册-单机安装及启动

单机安装及启动​ 本文讲述如何在单机环境下进行 HENGSHI SENSE 安装的操作过程。 在安装前请确认网络环境，如果是隔离环境，无法连接互联网时，请先按照 离线环境安装依赖的指导进行依赖包的安装，然后按照本文的指导继续操作。如果网络环境可以连接互联网，请直接按照本文的指导进行安装。 准备工作​ 请参考安装环境文档准备安装环境。 配置用户与安装目录。 在操作前请检查您是否有 sud
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2