kaafka专题

kaafka的rebalance机制

Kafka的Rebalance机制是为了实现高可用和负载均衡而设计的。当Kafka集群中的消费者组发生变化时(例如有新的消费者加入或有消费者离开),Rebalance机制会自动重新分配分区给消费者,以确保每个消费者分配到大致相等的负载。 下面是Rebalance机制的工作流程: 消费者加入或离开:当一个消费者加入或离开消费者组时,触发Rebalance过程。 协调器选举:每个消费者组都有一

zookeeper集群+kaafka集群

kafka3.0之前依赖于zookeeper zookeeper开源,分布式的架构,提供协调服务(Apache项目) 基于观察者模式涉及的分布式服务管理架构 存储和管理数据,分布式节点上的服务接受观察者的注册,一旦分布式节点上的数据发生变化,由zookeeper负责通知分布式节点上的服务 zookeeper特点 1、分为领导者 追随者 leader follow组成的集群 2、只要