本文主要是介绍分布式系统之中心副本控制协议(Primary-secondary协议),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
最近又把之前接触过一段时间的分布式系统及相关算法拾了起来,继续研究研究。大体将分布式涉及的一些基本原理及算法进行了理解掌握之后,又沿着从简到繁的次序依次记录了下来。
1. 副本协议
简单来讲,副本控制协议是按照指定的流程控制副本数据进行读写行为的协议,使副本满足一定的可用性和一致性要求的分布式协议。一般来说,副本协议需要满足:容错性、可用性和一致性(强一致性、会话一致性、最终一致性)。
按照副本协议是否含有中心节点,可将协议划分为两大类:“中心化副本控制协议”和“去中心化副本控制协议”。
2. 中心副本控制协议 (Primary-secondary协议)
基本思路:由一个中心节点协调副本数据的更新、维护副本之间的一致性。所有的副本相关的控制交由中心节点完成,将分布式并发控制问题转化为一个单机并发控制问题,需要解决“写写”、“读写”等并发冲突。总所周知,中心化的分布式系统存在单点故障问题,系统的可用性依赖于中性化节点,当中心节点异常,系统将整体不可用。
接下来,我们介绍一种常用的Primary-secondary中性化副本控制协议,在后面的关于Quorum的文章中,我们还会提及到该协议。
Primary-secondary协议中副本被分为两大类,其中仅有一个副本作为primary副本,其他为secondary副本。其协议需要解决四大问题:数据更新流程、数据读取方式、Primary副本的确定和切换、数据同步
。
2.1 数据更新流程
1. 数据更新由primary节点协调完成。
2. 外部节点将更新操作发给primary节点
3. primary节点进行并发控制(确定并发更新操作先后顺序)
4. primary节点将更新操作发送给secondary节点
5. primary根据secondary节点的执行情况决定是都更新成功并返回外部节点
在实践当中,primary节点将同时发送N个副本给secondary,出口带宽仅为总带宽1/N,primary节点成为了系统吞吐瓶颈。为了解决这个问题,在一些系统(GFS,HDFS)中,使用接力的方式同步数据,即primary将更新发送给第一个secondary副本,该secondary副本发送给下一个secondary副本,以此类推。(该处就是HDFS中数据分发模型的使用原因)
2.2 数据读取方式
针对最终一致性,系统读取任意副本都可以满足需求。
针对会话一致性,系统可以为副本设置版本号,每次更新对版本号进行递增操作,用户读取副本时验证版本号,从而保证用户读到的数据单调递增。
Primary-secondary较难实现强一致性,下面介绍几种解决方案:
1. 始终只读primary副本,secondary不提供读服务,可以实现强一致性。此处所说的primary实现中副本与机器并不绑定,而是将数据分段,以数据段为单位维护副本,将primary副本分散到集群中。
例: 数据分为数据段a,b,c,每个数据段有2个副本,仅有一个primary副本,有3台机器X、Y、Z。那么数据段分配可以为:X【a(primary),b】、Y【b(primary),c】、Z【c(primary)、a】
2. 由primary控制节点secondary节点的可用性。当primary更新secondary副本不成功时,primary将该secondary副本标记为不可用,从而用户不再读取该不可用副本。在一个确定的时间,某secondary副本要么更新到与primary一致的状态,要么被标记为不可用。这种方式依赖于一个中心元数据管理系统,记录副本的状态信息。
3. 基于Quorum机制选择primary,这部分内容将在另一篇文章中介绍。
2.3 Primary副本的确定和切换
切换副本的难点有两个方面:
1. 如何确定primary节点是一个异常节点
2. 切换primary如何不影响副本的一致性(保证新旧primary副本保持一致)
针对问题1,将在另一篇文章中介绍基于Lease机制的确定节点状态方法;针对问题2,同样也在另一篇文章中介绍基于Quorum机制确定新primary的方法。
分布式系统中发现节点异常需要一定的探测时间,该时间一般为10秒级别(利用Lease机制确定节点状态);因此,primary-backup类副本协议的最大缺点就是primary副本切换带来的停服务问题。
2.4 数据同步
primary-secondary协议一般都会遇到secondary副本与primary不一致的问题。
该问题可能由以下三种状况导致:
1. 由于网络分化异常,secondary上的数据落后于primary上的数据
2. secondary上的数据有可能是脏数据,需要被丢弃
3. secondary是新增加的副本,没有数据
针对第一种状况,可以通过回放primary操作日志进行实现,从而使节点状态达到一致;针对第二种情况,通常从设计阶段就尽量避免分布式协议产生脏数据,如果一定存在脏数据,可以直接丢弃脏数据副本,然后将问题转化为第三种情况;针对第三种情况,可以使用检查点或者快照方式较快速完成同步,然后通过日志方式与当前副本状态达成一致。
在这一篇文章中,我们大体介绍了Primary-secondary协议,并针对其四大问题进行了依次解决,部分问题的解决方案放到了后面的文章进行细致的讲述。
参考:
- 《分布式系统原理介绍》
这篇关于分布式系统之中心副本控制协议(Primary-secondary协议)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!