分布式应用,ZooKeeper做了什么?

2023-11-30 14:08
文章标签 zookeeper 分布式应用

本文主要是介绍分布式应用,ZooKeeper做了什么?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一个分布式应用,数据包在节点之间传递,一旦网络故障,发送方不知道接收方是否接收到了数据,处理起来会非常麻烦。

新增加一层协调者,来管理子任务是一种常见的解决方案,而ZooKeeper就经常承担协调者的角色。

ZK核心功能是什么?

简单来说,客户端连接ZK,监听ZK上的数据。如果有人修改了ZK中被监听的数据,ZK反过来会告诉客户端数据的变更。

举个栗子:

在Kafka的设计中,Kafka的一个节点在ZK中创建了一个数据,谁先创建成功谁就是集群的主节点,其余的节点都会去监听这个数据。

如果主节点宕机了,ZK对应的数据就会发生变更,既而监听这个数据的其余节点就会感知到主节点宕机了,然后Kafka就需要进行选举。

画外音:ZK协调Kafka集群状态。

ZK的内核,是怎么设计的呢?

在 zookeeper 集群中, 节点的角色有三种:

(1)leader,为客户端提供读写功能。在选举中负责投票的发起和决议;

(2)follower,为客户单提供读服务,写请求转发给leader。在选举中进行投票;

(3)observer,为客户端提供读服务,写请求转发leader。不参与一致性协议过半写入和选举机制,只为提高读性能;

三者关系如下:

分布式架构中,数据一致性很关键,ZK是怎么保证数据一致性的呢?

ZK采用的ZAB(Zookeeper Atomic BroadCast)协议实现数据一致性,主要有数据写入故障恢复(选举)模式。

数据写入-过半写机制流程

(1)ZooKeeper写数据都是leader节点,leader节点会把数据通过proposal请求发送到所有节点;

(2)所有节点收到数据以后都会写到自己到本地磁盘上面,成功后发送一个ack请求给leader;

(3)leader只要接受到过半的节点ack响应,就会发送commit消息给各个节点,各个节点就会把消息放入到内存中;

(4)返回客户端写入成功;

故障恢复-选主模式流程

ZAB的选举发生在服务启动和leader节点异常时。

用服务启动举个例子,假设有三台服务器组成的ZK集群,它们的serverid从1-3,假设这些服务器依序启动,来看看会发生什么:

(1)1启动,此时只有它一台服务器启动了,它发出去的报没有任何响应,所以它的选举状态一直是LOOKING状态;

(2)2启动,它与服务器1进行通信,互相交换自己的选举结果,由于两者都没有历史数据,所以id值较大的服务器2胜出;

(3)此时二台服务器(超过半数)选举了服务器2,所以它成为了这次选举的leader;

(4)3启动,根据前面的分析,理论上服务器3应该是服务器1,2,3中最大的,但是由于前面已经有半数以上的服务器选举了服务器2,所以它只能接收当小弟的命了;

总结

(1)ZooKeeper是应用很广的协调服务;

(2)Zookeeper常用于主动通知客户端数据的变更;

(3)数据一致性是协调者很重要的特点;

福利来了!!!

免费直播,三天搞定源码级ZooKeeper。

事件:ZooKeeper企业实战&原理剖析

人物:腾讯云全球第一位认证金牌讲师,马中华

时间:7.21-7.23(三天)20:00

分享提纲是什么?

DAY1(7.21)

(1)抽屉原理、分布式事务、分布式一致性算法详解

(2)全网最详尽CAP理论剖析;

(3)ZooKeeper的架构设计实现和核心工作机制;

(4)ZooKeeper的监听机制详解;

(5)ZooKeeper的数据读写和数据同步深度剖析;

DAY2(7.22)

(1)基于ZooKeeper实现服务发布订阅;

(2)基于ZooKeeper实现服务器动态上下线感知;

(3)基于ZooKeeper实现分布式锁;

(4)基于ZooKeeper实现选举算法;

(5)基于典型常见应用场景的实现思路详解;

DAY3(7.23)

(1)ZooKeeper序列化和网络通信协议源码详解;

(2)ZooKeeper集群启动过程源码分析;

(3)ZooKeeper集群的Leader Election算法源码详解;

(4)ZooKeeper服务端是如何处理一次客户端请求的源码详尽剖析;

(5)ZooKeeper如何保证各节点数据一致性源码分析;

(6)ZAB协议:崩溃恢复和消息广播源码详解;

有技术资料么(以下所有课程,免费)?

奈学教育,价值千元的在线视频,免费送!

画外音:这福利,老板也真是拼了。

如何参加免费训练营,领取千元课程资料?

扫码获取直播地址,免费领资料

祝大家在P8之路上前行,阅读原文,福利等你。

阅读原文,3天搞定zookeeper源码。

这篇关于分布式应用,ZooKeeper做了什么?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/437313

相关文章

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

ZooKeeper 中的 Curator 框架解析

Apache ZooKeeper 是一个为分布式应用提供一致性服务的软件。它提供了诸如配置管理、分布式同步、组服务等功能。在使用 ZooKeeper 时,Curator 是一个非常流行的客户端库,它简化了 ZooKeeper 的使用,提供了高级的抽象和丰富的工具。本文将详细介绍 Curator 框架,包括它的设计哲学、核心组件以及如何使用 Curator 来简化 ZooKeeper 的操作。 1

zookeeper相关面试题

zk的数据同步原理?zk的集群会出现脑裂的问题吗?zk的watch机制实现原理?zk是如何保证一致性的?zk的快速选举leader原理?zk的典型应用场景zk中一个客户端修改了数据之后,其他客户端能够马上获取到最新的数据吗?zk对事物的支持? 1. zk的数据同步原理? zk的数据同步过程中,通过以下三个参数来选择对应的数据同步方式 peerLastZxid:Learner服务器(Follo

设置zookeeper开机自启动/服务化

设置启动zk的用户为zookeeper 设置启动zk的用户为zookeeper用户,而非root用户,这样比较安全。 可以使用root用户进行zookeeper的管理(启动、停止…),但对于追求卓越和安全的的人来说,采用新非root用户管理zookeeper更好。 步骤: 1. 创建用户和用户组 2. 相关目录设置用户和用户组属性 3. 采用zookeeper用户启动进程 设置z

Zookeeper集群是如何升级到新版本的

方案1:复用老数据方案 这是经过实践的升级方案,该方案是复用旧版本的数据,zk集群拓扑,配置文件都不变,只是启动的程序为最新的版本。 参考文章: Zookeeper集群是如何升级到新版本的 方案2:重新建立数据方案 该方案的思路是:先停掉一台follower的机器上的服务,然后加入一个新版本的zk(zk的数据目录是空的),然后启动新zk,之后新zk会把旧集群中的数据同步过来。之后再操作另

Zookeeper基本原理

1.什么是Zookeeper?         Zookeeper是一个开源的分布式协调服务器框架,由Apache软件基金会开发,专为分布式系统设计。它主要用于在分布式环境中管理和协调多个节点之间的配置信息、状态数据和元数据。         Zookeeper采用了观察者模式的设计理念,其核心职责是存储和管理集群中共享的数据,并为各个节点提供一致的数据视图。在Zookeeper中,客户端(如

一、什么是Zookeeper

原文: GitHub:https://github.com/wangzhiwubigdata/God-Of-BigData关注公众号,内推,面试,资源下载,关注更多大数据技术~大数据成神之路~预计更新500+篇文章,已经更新50+篇~ 张大胖所在的公司这几年发展得相当不错,业务激增,人员也迅速扩展,转眼之间,张大胖已经成为公司的“资深”员工了,更重要的是,经过这些年的不懈努力,他终于

三、Zookeeper典型应用场景及实践

因编辑原因图片不显示,请戳GitHub原文: https://github.com/wangzhiwubigdata/God-Of-BigData关注公众号,内推,面试,资源下载,关注更多大数据技术~大数据成神之路~预计更新500+篇文章,已经更新50+篇~ Zookeeper 从设计模式角度来看,是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受

ZooKeeper在HBase集群中的作用

点击上方蓝色字体,选择“设为星标” 回复”资源“获取更多资源 大数据技术与架构 点击右侧关注,大数据开发领域最强公众号! 暴走大数据 点击右侧关注,暴走大数据! ZooKeeper作为分布式协调组件,在大数据领域的其他分布式组件中往往扮演着重要的辅助角色,因此我们就算不单独去研究ZooKeeper,也短不了要接触它。本文就以最典型的HBase为例,简要介绍ZooKeeper为HBase