kafka之协调服务

2024-05-12 21:58
文章标签 服务 kafka 协调

本文主要是介绍kafka之协调服务,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

kafka中是使用zookeeper来构建集群的。

zookeeper相信大家都了解过,如果之前没接触过zookeeper的同学,可以参考学习下zookeeper的相关内容。知道zookeeper最核心的功能就是提供了一个分布式的存储系统,数据存储方式类似UNIX系统的文件树形结构。zookeeper保证了数据一致性。

学习zookeeper,我觉得zookeeper中最主要的是抓住两个特性:临时节点和watcher机制。

什么是临时节点?

在zookeeper文件树形存储结构中,每个节点被称为ZNode。zookeeper提供了一种特殊的ZNode类型,即为临时节点。临时节点有一个特性,如果创建临时节点的客户端与zookeeper集群失去了链接,那么这个临时节点也会消失。客户端和集群之前的链接也是通过心跳来维持的。

什么是Watcher机制?

一旦Znode或者它的子节点状态发生了变化,订阅的客户端就会立即收到通知。

kafka中有关zk的,是有个很大的版本差异,0.8.x版本之前,zk中是有存放消费者端消费位置等信息的,后面kafka的团队将这块的内容去zk化了。目前的版本中zk中只保存着kafka的两块信息,

 

左侧的树保存的是kafka的broker信息,红色的0,1代表的就是临时节点,每当有broker节点加入集群提供服务了,都会创建一个对应的临时节点,节点的名称默认就是BrokerID,节点内容包括了Broker的地址、版本号、启动时间等等一些Broker的基本信息。

右侧的树保存的就是主题和分区的信息,每个主题下都有一个固定的partitions节点,partitions节点下挂载着所有的分区0,1,...等多个分区,每个分区下都会有一个名为state的临时节点。这个临时节点保存着这个分区的leader和所有ISR的BrokerID信息。这个临时节点是由leader broker创建的,一旦leader broker宕机了,这些临时节点也会消失,直到下一个leader选举出来,由该leader来再次创建state临时节点。

有了上面的知识,我们就可以回答经常问的面试题,kafka客户端是如何找到对应的broker的?

客户端首先从有右侧的树开始查找对应的主题,对应的分区以及对应的state临时节点,临时节点中记录着leader的信息,拿到brokerid后再去左侧的树中查找。

当然客户端并不是每次都去zk上找对应的数据,kafka在每个broker中都维护了一份和zk中一样的元数据缓存在broker中,并不是每次客户端都去zk上请求数据,由于zk提供了watch的机制,所以当zk中的数据变化了,自然能够及时更新broker中的元数据信息。

 

这篇关于kafka之协调服务的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/983847

相关文章

windos server2022的配置故障转移服务的图文教程

《windosserver2022的配置故障转移服务的图文教程》本文主要介绍了windosserver2022的配置故障转移服务的图文教程,以确保服务和应用程序的连续性和可用性,文中通过图文介绍的非... 目录准备环境:步骤故障转移群集是 Windows Server 2022 中提供的一种功能,用于在多个

Kafka拦截器的神奇操作方法

《Kafka拦截器的神奇操作方法》Kafka拦截器是一种强大的机制,用于在消息发送和接收过程中插入自定义逻辑,它们可以用于消息定制、日志记录、监控、业务逻辑集成、性能统计和异常处理等,本文介绍Kafk... 目录前言拦截器的基本概念Kafka 拦截器的定义和基本原理:拦截器是 Kafka 消息传递的不可或缺

解决systemctl reload nginx重启Nginx服务报错:Job for nginx.service invalid问题

《解决systemctlreloadnginx重启Nginx服务报错:Jobfornginx.serviceinvalid问题》文章描述了通过`systemctlstatusnginx.se... 目录systemctl reload nginx重启Nginx服务报错:Job for nginx.javas

如何在一台服务器上使用docker运行kafka集群

《如何在一台服务器上使用docker运行kafka集群》文章详细介绍了如何在一台服务器上使用Docker运行Kafka集群,包括拉取镜像、创建网络、启动Kafka容器、检查运行状态、编写启动和关闭脚本... 目录1.拉取镜像2.创建集群之间通信的网络3.将zookeeper加入到网络中4.启动kafka集群

IDEA中的Kafka管理神器详解

《IDEA中的Kafka管理神器详解》这款基于IDEA插件实现的Kafka管理工具,能够在本地IDE环境中直接运行,简化了设置流程,为开发者提供了更加紧密集成、高效且直观的Kafka操作体验... 目录免安装:IDEA中的Kafka管理神器!简介安装必要的插件创建 Kafka 连接第一步:创建连接第二步:选

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展,越来越多的企业开始将其应用于实际业务中。然而,区块链技术的专业性使得其集成开发成为一项挑战。针对此,广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术,提供一套全面的区块链开发工具和开发环境,支持开发者快速开发和部署区块链应用。此外,该平台还可以提供一套全面的区块链开发教程和文档,帮助开发者快速上手区块链开发。

基于SpringBoot的宠物服务系统+uniapp小程序+LW参考示例

系列文章目录 1.基于SSM的洗衣房管理系统+原生微信小程序+LW参考示例 2.基于SpringBoot的宠物摄影网站管理系统+LW参考示例 3.基于SpringBoot+Vue的企业人事管理系统+LW参考示例 4.基于SSM的高校实验室管理系统+LW参考示例 5.基于SpringBoot的二手数码回收系统+原生微信小程序+LW参考示例 6.基于SSM的民宿预订管理系统+LW参考示例 7.基于

Golang支持平滑升级的HTTP服务

前段时间用Golang在做一个HTTP的接口,因编译型语言的特性,修改了代码需要重新编译可执行文件,关闭正在运行的老程序,并启动新程序。对于访问量较大的面向用户的产品,关闭、重启的过程中势必会出现无法访问的情况,从而影响用户体验。 使用Golang的系统包开发HTTP服务,是无法支持平滑升级(优雅重启)的,本文将探讨如何解决该问题。 一、平滑升级(优雅重启)的一般思路 一般情况下,要实现平滑