broker集群

2024-03-30 14:44
文章标签 集群 broker

本文主要是介绍broker集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为了增强broker性能和吞吐率,broker一般都是以集群形式出现的。为了某个broker宕机时,数据不丢失,会将每个broker集群点进行横向扩展。

 broker节点集群具有master和slave俩中角色。slave就是对master中数据的备份。master负责处理读写操作请求,而slave只在master挂了之后才会负责读写操作。一个master可以有多个slave,但一个slave只能有一个master。一个master和0个或多个slave为一个broker集群。

broker集群是主备集群,master和salve的对应关系是通过指定相同的brokerName,不同的brokerId指定的。0为master,非0为slave。

broker中master和slave之间的复制策略:

   同步复制:消息写入master后,master会等待slave同步数据成功后才会向producer发送成功ACK。

    异步复制:消息写入broker后,master会立即向producer返回ACK,无需等待slave同步数据成功。异步复制降低了系统的延迟,提高了系统吞吐率。

输盘策略:指broker中的消息的落盘方式,即消息发送到broker内存后消息持久化到磁盘的方式。

  同步刷盘:当消息持久化到broker磁盘后才算成功。

  异步刷盘:当消息写入broker内存后即表示消息写入成功,无需等待消息持久化到磁盘。消息写入到broker的内存,一般是写入到pagecache缓存,返回成功标识,当该缓存中数据达到一定量后,才会一次性写入磁盘。

broker集群模式:

   单master:只有一个master(本质上不能被称为集群),只能在测试中中使用。

   多master:broker集群仅有多个master构成,不存在slave,一个topic的多个queue会平均的分配到多个master节点上。优点:配置简单,在配置为RAID10的磁盘阵列情况下(这种磁盘很可靠,异步丢失少量消息,同步刷盘不丢失消息)时,即使宕机也几乎没有影响。缺点:单机宕机期间,宕机机器上未被消费的消息在该机器重启前不可被消费,即该机器可写入不可读取。

   多master多slave模式-异步模式:broker由多个master构成,每个master又配置了多个slave(配置了RAID磁盘阵列情况下,一个master配置一个slave即可)。master负责处理消息的读写请求,slave仅负责消息的备份和master宕机后及时接替master进行工作。                                                  优点:当master宕机后,slave能自动切换成master。不过由于slave切换为master会有短暂的延迟(毫秒级),所以当master宕机后,可能会存在少量的消息丢失问题。(这是在采用了RAID磁盘阵列的情况下,不然丢失的更多)。

  多master多salve模式-同步模式:同步双写,master和slave都写入成功后才会返回ACK。优点:消息安全性高,不存在消息丢失情况。缺点:master宕机后,slave不能自动切换为master。

这篇关于broker集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/861769

相关文章

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

一种改进的red5集群方案的应用、基于Red5服务器集群负载均衡调度算法研究

转自: 一种改进的red5集群方案的应用: http://wenku.baidu.com/link?url=jYQ1wNwHVBqJ-5XCYq0PRligp6Y5q6BYXyISUsF56My8DP8dc9CZ4pZvpPz1abxJn8fojMrL0IyfmMHStpvkotqC1RWlRMGnzVL1X4IPOa_  基于Red5服务器集群负载均衡调度算法研究 http://ww

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群 华为云最近正在举办828 B2B企业节,Flexus X实例的促销力度非常大,特别适合那些对算力性能有高要求的小伙伴。如果你有自建MySQL、Redis、Nginx等服务的需求,一定不要错过这个机会。赶紧去看看吧! 什么是华为云Flexus X实例 华为云Flexus X实例云服务是新一代开箱即用、体

kubernetes集群部署Zabbix监控平台

一、zabbix介绍 1.zabbix简介 Zabbix是一个基于Web界面的分布式系统监控的企业级开源软件。可以监视各种系统与设备的参数,保障服务器及设备的安全运营。 2.zabbix特点 (1)安装与配置简单。 (2)可视化web管理界面。 (3)免费开源。 (4)支持中文。 (5)自动发现。 (6)分布式监控。 (7)实时绘图。 3.zabbix的主要功能

laravel框架实现redis分布式集群原理

在app/config/database.php中配置如下: 'redis' => array('cluster' => true,'default' => array('host' => '172.21.107.247','port' => 6379,),'redis1' => array('host' => '172.21.107.248','port' => 6379,),) 其中cl

VMware8实现高可用(HA)集群

陈科肇 =========== 操作系统:中标麒麟高级操作系统V6 x86-64 实现软件:中标麒麟高可用集群软件 ======================== 1.环境的规划与配置 硬件要求 服务器服务器至少需要 2 台,每台服务器至少需要 2 块网卡以做心跳与连接公网使用存储环境 建议使用一台 SAN/NAS/ISCSI 存储作为数据共享存储空间 软

用Cri-O,Sealos CLI,Kubeadm方式部署K8s高可用集群

3.6 Cri-O方式部署K8s集群 注意:基于Kubernetes基础环境 3.6.1 所有节点安装配置cri-o [root@k8s-all ~]# VERSION=1.28[root@k8s-all ~]# curl -L -o /etc/yum.repos.d/devel:kubic:libcontainers:stable.repo https://download.opensu