本文主要是介绍broker集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
为了增强broker性能和吞吐率,broker一般都是以集群形式出现的。为了某个broker宕机时,数据不丢失,会将每个broker集群点进行横向扩展。
broker节点集群具有master和slave俩中角色。slave就是对master中数据的备份。master负责处理读写操作请求,而slave只在master挂了之后才会负责读写操作。一个master可以有多个slave,但一个slave只能有一个master。一个master和0个或多个slave为一个broker集群。
broker集群是主备集群,master和salve的对应关系是通过指定相同的brokerName,不同的brokerId指定的。0为master,非0为slave。
broker中master和slave之间的复制策略:
同步复制:消息写入master后,master会等待slave同步数据成功后才会向producer发送成功ACK。
异步复制:消息写入broker后,master会立即向producer返回ACK,无需等待slave同步数据成功。异步复制降低了系统的延迟,提高了系统吞吐率。
输盘策略:指broker中的消息的落盘方式,即消息发送到broker内存后消息持久化到磁盘的方式。
同步刷盘:当消息持久化到broker磁盘后才算成功。
异步刷盘:当消息写入broker内存后即表示消息写入成功,无需等待消息持久化到磁盘。消息写入到broker的内存,一般是写入到pagecache缓存,返回成功标识,当该缓存中数据达到一定量后,才会一次性写入磁盘。
broker集群模式:
单master:只有一个master(本质上不能被称为集群),只能在测试中中使用。
多master:broker集群仅有多个master构成,不存在slave,一个topic的多个queue会平均的分配到多个master节点上。优点:配置简单,在配置为RAID10的磁盘阵列情况下(这种磁盘很可靠,异步丢失少量消息,同步刷盘不丢失消息)时,即使宕机也几乎没有影响。缺点:单机宕机期间,宕机机器上未被消费的消息在该机器重启前不可被消费,即该机器可写入不可读取。
多master多slave模式-异步模式:broker由多个master构成,每个master又配置了多个slave(配置了RAID磁盘阵列情况下,一个master配置一个slave即可)。master负责处理消息的读写请求,slave仅负责消息的备份和master宕机后及时接替master进行工作。 优点:当master宕机后,slave能自动切换成master。不过由于slave切换为master会有短暂的延迟(毫秒级),所以当master宕机后,可能会存在少量的消息丢失问题。(这是在采用了RAID磁盘阵列的情况下,不然丢失的更多)。
多master多salve模式-同步模式:同步双写,master和slave都写入成功后才会返回ACK。优点:消息安全性高,不存在消息丢失情况。缺点:master宕机后,slave不能自动切换为master。
这篇关于broker集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!