ZooKeeper_16_ZAB协议_很重要

2023-12-16 20:38
文章标签 16 协议 zookeeper 重要 zab

本文主要是介绍ZooKeeper_16_ZAB协议_很重要,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

ZooKeeper的ZAB一致性协议


别被这个"ZAB协议"的名字所迷惑,这玩意的实现作用其实是ZooKeeper的事务,对了解ZooKeeper蛮重要的..


本文理论性文字较多,但个人感觉很重要...需要静下心来,好好看看,或者去看原书


在《从PAXOS到ZOOKEEPER分布式一致性原理与实践》书中,ZAB协议是放在前面讲的,不过我个人觉得,放在后面看好一些,

因为一大段的理论内容,肯定会让不少人反感,而且在使用zk的时候肯定有不少疑问,会随着这一章,有所了解,带着问题看书..



一致性协议

我们先大致了解下什么是"一致性协议"

在对一个分布式系统进行架构设计的过程中,往往会在系统的可用性和数据一致性之间进行反复的权衡,于是产生了一系列的一致性协议。

其中最著名的是:二阶段提交协议、三阶段提交协议、Paxos算法

综上,"一致性协议"的作用就是用来解决系统可用性和数据一致性之间的问题




ZooKeeper的ZAB协议

ZooKeeper使用ZooKeeper Atomic Broadcast(ZAB,ZooKeeper原子消息广播协议)的协议作为其数据一致性的核心算法。


ZooKeeper中主要依赖ZAB协议来实现分布式数据一致性,基于该协议,ZooKeeper实现了一种主备模式的系统架构来保持集群中各副本之间数据的一致性。

讲的具体些:

ZooKeeper使用一个单一的主进程来接收并处理客户端的所有事务请求,并采用ZAB的原子广播协议,将服务器数据的状态变更以事务Proposal的形式广播到所有的副本进程上去。

ZAB协议的核心是定义了对于那些会改变ZooKeeper服务器数据状态的事务请求的处理,即:

所有事务请求必须由一个全局唯一的服务器来协调处理,这样的服务器被称作Leader服务器。余下的其他服务器则是Follower服务器。Leader服务器负责将一个客户端事务请求转换成一个事务Proposal(提议),并将该Proposal分发给集群中所有的Follower服务器。之后Leader服务器需要等待所有Follower服务器的反馈,一旦超过半数的Follower服务器进行了正确的反馈之后,
那么Leader就会再次向所有的Follower服务器分发Commit消息,要求它们将前一个Proposal进行提交。




协议介绍

ZAB协议包括两种基本模式:崩溃恢复消息广播

当整个服务框架再启动过程中,或是当Leader服务器出现网络中断、崩溃退出、重启等异常情况时,ZAB协议就会进入崩溃恢复模式,并选举新的Leader服务器


当选举产生了新的Leader服务器,同时集群中已经有过半的机器与该Leader服务器完成了状态同步之后,ZAB协议就会退出崩溃恢复模式

(所谓的状态同步是指数据同步,用来保证集群中存在过半的机器能和Leader服务器的数据状态保持一致)


当集群中已经有过半的Follower服务器完成和Leader服务器的状态同步,那么整个服务框架就可以进入消息广播模式了。


当一台同样遵守ZAB协议的服务器启动后加入到集群中时,如果此时集群中已经存在一个Leader服务器,并正在进行消息广播,

那么新加入的服务器就会自觉地进入到数据恢复模式:找到leader服务器,与其进行数据同步,然后一起参与到消息广播中去。


ZooKeeper设计成只允许唯一一个Leader服务器来进行事务请求的处理。


Leader服务器在接收到客户端的事务请求后,会生成对应的事务提案并发起一轮广播协议;

而如果集群中的其他机器接收到客户端的事务请求,那么这些非Leader服务器会首先将这个事务转发给Leader服务器




消息广播

ZAB协议的消息广播过程使用的是一个原子广播协议,类似于一个二阶段提交过程。

针对客户端的事务请求,Leader服务器会为其生成对应的事务Proposal,并将其发送给集群中其余的机器,然后再分别收集各自的选票,最后进行事务提交。


在ZAB协议的二阶段提交过程中,所有的Follower服务器要么正常反馈Leader提出的事务Proposal,要么就抛弃Leader服务器。


在整个消息广播过程中,Leader服务器会为每个事务请求生成对应的Proposal来进行广播,并且在广播事务Proposal之前,

Leader服务器会首先为这个事务Proposal分配一个全局单调递增的唯一ID,我们称之为事务ID(即ZXID)。

由于ZAB协议需要保证每一个消息严格的因果关系,因此必须将每一个事务Proposal按照其ZXID的先后顺序来进行排序与处理。


讲的具体一些:

a. 在消息广播过程中,Leader服务器会为每个一个Follower服务器都各分配一个单独的队列

b. 然后将需要广播的事务Proposal依次放入这些队列中去,并且根据FIFO策略进行消息发送。

c. 每一个Follower服务器在收到这个事务Proposal之后,都会首先将其以事务日志的形式写入到磁盘中去,并且在成功写入后反馈给Leader服务器一个ACK响应。

d. 当Leader服务器接收到超过半数Follower的ACK响应之后,就会广播一个Commit消息给所有的Follower服务器以通知其进行事务提交,同时Leader服务器自身也会完成对事

务的提交,而每一个Follower服务器在接收到Commit消息后,也会完成对事务的提交。




崩溃恢复

ZAB协议的这个机遇原子广播协议的消息广播过程,在正常情况下运行良好,但是一旦Leader服务器出现崩溃,

或者说由于网络原因导致Leader服务器与过半Follower服务器失去联系,那么就会进入崩溃恢复模式。


基本特性

ZAB协议规定了如果一个事务Proposal在一台机器上被处理成功,那么应该在所有的机器上都处理成功,哪怕机器出现故障崩溃。


a. ZAB协议需要确保那些已经在Leader服务器上提交的事务最终被所有服务器都提交

假如一个事务在Leader服务器上被提交了,并且已经得到过半Follower服务器的ACK反馈,

但是在他将Commit消息发送给所有Follower机器之前,Leader服务器挂了..╮(╯▽╰)╭

(借用书上的原图)


集群运行正常的某个时刻,Server1(leader)服务器,先后广播P1,P2,C1,P3,C2消息。

当leader服务器将C2消息发出后立即就奔溃退出了。

针对这种情况,ZAB协议就需要确保事务Proposal2最终能够在所有的服务器上都被提交成功,否则将会出现不一致


b. ZAB协议需要确保丢弃那些只在Leader服务器上被提出的事务

如果在崩溃恢复过程中出现一个需要被丢弃的提案,那么在崩溃恢复结束后需要跳过该事务Proposal。

(借用书上的原图)


Leaer服务器Server1提出一个事务P3,之后立马就挂,退出集群,从而导致集群中其他的机器都没有收到这个事务请求。

于是当Server1恢复过来,再次加入到集群中的时候,ZAB协议需要能确保丢弃P3这个事务。

综合上面两个崩溃恢复过程中需要处理的特殊情况,就决定了ZAB协议必须设计这样Leader选举算法:

能确保提交已经被Leader提交的事务Proposal,同时丢弃被跳过的事务Proposal


针对这个要求:

让Leader选举算法能够保证新选举出来的Leader服务器拥有集群中所有机器最高编号(ZXID最大)的事务Proposal,

就可以保证这个新选举出来的Leader一定具有所有已经提交的提案。

更为重要的是,如果让具有最高编号事务Proposal的机器来成为Leader,就可以省去Leader服务器检查Proposa的提交和丢弃工作这一步


--------------------------------------------------------------------------------------------------------------------------

之前还没看ZAB的时候,有下面这个疑问,现在看完ZAB之后,就明白了...筋骨也好了,爬六楼,都不带喘气的...

当时的疑问:

客户端连接zk集群中的任何一台服务器,发送创建节点请求;

假设这个服务器是follower,然后这个follower服务器将请求发送给leader服务器,由leader进行操作,然后同步给集群中的其他角色机器..

如果上面说的没问题,那么问题来了..

按照上面的说法,全部由leader同步给其他角色机器,那么也就是说,集群中所有机器的事务ID(ZXID)都是一样的...

好,既然ZXID事务ID都是一样的,那么leader选举的时候,为什么要用这个参数呢??


你现在是否明白了呢?

这篇关于ZooKeeper_16_ZAB协议_很重要的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/501815

相关文章

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

【Linux】应用层http协议

一、HTTP协议 1.1 简要介绍一下HTTP        我们在网络的应用层中可以自己定义协议,但是,已经有大佬定义了一些现成的,非常好用的应用层协议,供我们直接使用,HTTP(超文本传输协议)就是其中之一。        在互联网世界中,HTTP(超文本传输协议)是一个至关重要的协议,他定义了客户端(如浏览器)与服务器之间如何进行通信,以交换或者传输超文本(比如HTML文档)。

ZooKeeper 中的 Curator 框架解析

Apache ZooKeeper 是一个为分布式应用提供一致性服务的软件。它提供了诸如配置管理、分布式同步、组服务等功能。在使用 ZooKeeper 时,Curator 是一个非常流行的客户端库,它简化了 ZooKeeper 的使用,提供了高级的抽象和丰富的工具。本文将详细介绍 Curator 框架,包括它的设计哲学、核心组件以及如何使用 Curator 来简化 ZooKeeper 的操作。 1

zookeeper相关面试题

zk的数据同步原理?zk的集群会出现脑裂的问题吗?zk的watch机制实现原理?zk是如何保证一致性的?zk的快速选举leader原理?zk的典型应用场景zk中一个客户端修改了数据之后,其他客户端能够马上获取到最新的数据吗?zk对事物的支持? 1. zk的数据同步原理? zk的数据同步过程中,通过以下三个参数来选择对应的数据同步方式 peerLastZxid:Learner服务器(Follo

【Go】go连接clickhouse使用TCP协议

离开你是傻是对是错 是看破是软弱 这结果是爱是恨或者是什么 如果是种解脱 怎么会还有眷恋在我心窝 那么爱你为什么                      🎵 黄品源/莫文蔚《那么爱你为什么》 package mainimport ("context""fmt""log""time""github.com/ClickHouse/clickhouse-go/v2")func main(

【JavaScript】LeetCode:16-20

文章目录 16 无重复字符的最长字串17 找到字符串中所有字母异位词18 和为K的子数组19 滑动窗口最大值20 最小覆盖字串 16 无重复字符的最长字串 滑动窗口 + 哈希表这里用哈希集合Set()实现。左指针i,右指针j,从头遍历数组,若j指针指向的元素不在set中,则加入该元素,否则更新结果res,删除集合中i指针指向的元素,进入下一轮循环。 /*** @param

2024.9.8 TCP/IP协议学习笔记

1.所谓的层就是数据交换的深度,电脑点对点就是单层,物理层,加上集线器还是物理层,加上交换机就变成链路层了,有地址表,路由器就到了第三层网络层,每个端口都有一个mac地址 2.A 给 C 发数据包,怎么知道是否要通过路由器转发呢?答案:子网 3.将源 IP 与目的 IP 分别同这个子网掩码进行与运算****,相等则是在一个子网,不相等就是在不同子网 4.A 如何知道,哪个设备是路由器?答案:在 A

Modbus-RTU协议

一、协议概述 Modbus-RTU(Remote Terminal Unit)是一种基于主从架构的通信协议,采用二进制数据表示,消息中的每个8位字节含有两个4位十六进制字符。它主要通过RS-485、RS-232、RS-422等物理接口实现数据的传输,传输距离远、抗干扰能力强、通信效率高。 二、报文结构 一个标准的Modbus-RTU报文通常包含以下部分: 地址域:单个字节,表示从站设备

16 子组件和父组件之间传值

划重点 子组件 / 父组件 定义组件中:props 的使用组件中:data 的使用(有 return 返回值) ; 区别:Vue中的data (没有返回值);组件方法中 emit 的使用:emit:英文原意是:触发、发射 的意思components :直接在Vue的方法中声明和绑定要使用的组件 小炒肉:温馨可口 <!DOCTYPE html><html lang="en"><head><