broker集群

2024-03-30 14:44
文章标签 集群 broker

本文主要是介绍broker集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为了增强broker性能和吞吐率,broker一般都是以集群形式出现的。为了某个broker宕机时,数据不丢失,会将每个broker集群点进行横向扩展。

 broker节点集群具有master和slave俩中角色。slave就是对master中数据的备份。master负责处理读写操作请求,而slave只在master挂了之后才会负责读写操作。一个master可以有多个slave,但一个slave只能有一个master。一个master和0个或多个slave为一个broker集群。

broker集群是主备集群,master和salve的对应关系是通过指定相同的brokerName,不同的brokerId指定的。0为master,非0为slave。

broker中master和slave之间的复制策略:

   同步复制:消息写入master后,master会等待slave同步数据成功后才会向producer发送成功ACK。

    异步复制:消息写入broker后,master会立即向producer返回ACK,无需等待slave同步数据成功。异步复制降低了系统的延迟,提高了系统吞吐率。

输盘策略:指broker中的消息的落盘方式,即消息发送到broker内存后消息持久化到磁盘的方式。

  同步刷盘:当消息持久化到broker磁盘后才算成功。

  异步刷盘:当消息写入broker内存后即表示消息写入成功,无需等待消息持久化到磁盘。消息写入到broker的内存,一般是写入到pagecache缓存,返回成功标识,当该缓存中数据达到一定量后,才会一次性写入磁盘。

broker集群模式:

   单master:只有一个master(本质上不能被称为集群),只能在测试中中使用。

   多master:broker集群仅有多个master构成,不存在slave,一个topic的多个queue会平均的分配到多个master节点上。优点:配置简单,在配置为RAID10的磁盘阵列情况下(这种磁盘很可靠,异步丢失少量消息,同步刷盘不丢失消息)时,即使宕机也几乎没有影响。缺点:单机宕机期间,宕机机器上未被消费的消息在该机器重启前不可被消费,即该机器可写入不可读取。

   多master多slave模式-异步模式:broker由多个master构成,每个master又配置了多个slave(配置了RAID磁盘阵列情况下,一个master配置一个slave即可)。master负责处理消息的读写请求,slave仅负责消息的备份和master宕机后及时接替master进行工作。                                                  优点:当master宕机后,slave能自动切换成master。不过由于slave切换为master会有短暂的延迟(毫秒级),所以当master宕机后,可能会存在少量的消息丢失问题。(这是在采用了RAID磁盘阵列的情况下,不然丢失的更多)。

  多master多salve模式-同步模式:同步双写,master和slave都写入成功后才会返回ACK。优点:消息安全性高,不存在消息丢失情况。缺点:master宕机后,slave不能自动切换为master。

这篇关于broker集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/861769

相关文章

centos7基于keepalived+nginx部署k8s1.26.0高可用集群

《centos7基于keepalived+nginx部署k8s1.26.0高可用集群》Kubernetes是一个开源的容器编排平台,用于自动化地部署、扩展和管理容器化应用程序,在生产环境中,为了确保集... 目录一、初始化(所有节点都执行)二、安装containerd(所有节点都执行)三、安装docker-

如何在一台服务器上使用docker运行kafka集群

《如何在一台服务器上使用docker运行kafka集群》文章详细介绍了如何在一台服务器上使用Docker运行Kafka集群,包括拉取镜像、创建网络、启动Kafka容器、检查运行状态、编写启动和关闭脚本... 目录1.拉取镜像2.创建集群之间通信的网络3.将zookeeper加入到网络中4.启动kafka集群

Nacos集群数据同步方式

《Nacos集群数据同步方式》文章主要介绍了Nacos集群中服务注册信息的同步机制,涉及到负责节点和非负责节点之间的数据同步过程,以及DistroProtocol协议在同步中的应用... 目录引言负责节点(发起同步)DistroProtocolDistroSyncChangeTask获取同步数据getDis

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

一种改进的red5集群方案的应用、基于Red5服务器集群负载均衡调度算法研究

转自: 一种改进的red5集群方案的应用: http://wenku.baidu.com/link?url=jYQ1wNwHVBqJ-5XCYq0PRligp6Y5q6BYXyISUsF56My8DP8dc9CZ4pZvpPz1abxJn8fojMrL0IyfmMHStpvkotqC1RWlRMGnzVL1X4IPOa_  基于Red5服务器集群负载均衡调度算法研究 http://ww

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群 华为云最近正在举办828 B2B企业节,Flexus X实例的促销力度非常大,特别适合那些对算力性能有高要求的小伙伴。如果你有自建MySQL、Redis、Nginx等服务的需求,一定不要错过这个机会。赶紧去看看吧! 什么是华为云Flexus X实例 华为云Flexus X实例云服务是新一代开箱即用、体

kubernetes集群部署Zabbix监控平台

一、zabbix介绍 1.zabbix简介 Zabbix是一个基于Web界面的分布式系统监控的企业级开源软件。可以监视各种系统与设备的参数,保障服务器及设备的安全运营。 2.zabbix特点 (1)安装与配置简单。 (2)可视化web管理界面。 (3)免费开源。 (4)支持中文。 (5)自动发现。 (6)分布式监控。 (7)实时绘图。 3.zabbix的主要功能