你了解过副本机制么?ISR是什么?

2024-04-10 03:12
文章标签 了解 机制 副本 isr

本文主要是介绍你了解过副本机制么?ISR是什么?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

💡副本机制

简单来说就进行数据的拷贝,比如由kafka中间件来说,我们一开始可能考虑不周到,所以将数据进行单节点存储。

单节点同步

一开始非常的开心,部署简单,使用简单,还满足了高峰期大流量对数据库的压力,小苏同学沾沾自喜,随之时间延长,系统出现了硬件故障,由于硬盘坏了,从而导致kafka服务不可用了,高峰期数据库一度处于宕机边缘。

怎么办呢?小苏同学一度陷入混乱中,那么我们应该怎么避免这种场景出现呢?


💡副本机制的作用

这时候, 为了避免这种问题,保证系统的高可用,当然是加多一个副本啦,并且kafka本来就支持多副本从而保证高可用的,这时候小苏同学就学聪明了,直接加多一个kafka机器作为备份用。

让主从节点进行数据同步,当出现了故障 直接进行数据迁移,将流量直接直接请求follower节点就好。

简单同步机制 (1)

就这样 小苏同学又开始沾沾自喜了, 但是好景不长, 这一次的宕机居然在高峰期, 在下单系统中, 好几个用户进行投诉,我钱都付了, 为什么看不到订单?

小苏同学一脸懵,不对啊, 我已经做了主从切换呀, 怎么会有这个问题呢???

我们来还原一下这种场景

高峰期主从同步弊端

由上图场景, 4比订单A B C D 进行正常业务写入, 这时候已经有三笔订单已经完成了复制,此时突然leader 突然宕机 但是此时D订单还没有进行同步呢,

这时候订单D就相当于丢了,这就是典型的主从复制出现的弊端,在高峰期会宕机会出现信息丢失的情况。 那么kafk中间件是怎么避免这种问题的呢?


💡ISR机制登场

ISR起始是副本同步的简称,是In-Sync Replicas(同步副本)的缩写。这里最重要的是in sync 意思在可控范围内的同步,还是上述的流程,我们来分析一下他的弊端吧

由图显而易见的是leader 并不知道follower的复制情况,所以follower落后了 leader也不知道,及时leader重新启动了,也没法告诉follower 缺失了 哪条记录,所以这时候我们需要进行优化一下

引入commit通知

这样我们就知道follower同步到哪里了,但这时候之前的leader已经成为follower ,我们该如何去告诉现任leader丢了这个数据呢?

pastedImage_4_9_2024__16_27_15_879


让我们来一步步剖析其中的奥秘吧。

由上图 这就出现了leader follower数据不一致的场景了。我们来看看LSR机制是怎么做的吧。


💡高水位 HW 下个写入标志LEO

HW:高水位 ,你可以理解成大多数人都统一,我举个简单的例子吧

HW故事初始化说明

假设有一个小镇,名叫消息镇(Town of Messages)。这个小镇有一个邮局,用于处理来自周围地区的信件。邮局有一个非常特别的规定:只有当邮递员将信件送到每户人家后,才会认为这些信件被成功投递。

现在,让我们来看看消息镇的邮局是如何运作的:

邮局的大门上挂着一块牌子,上面写着“邮局高水位线:已经成功投递的信件数”。当邮局开始运作时,高水位线是0,因为还没有投递过任何信件。如上图所示。

假设现在快递员小苏准备将邮件进行派送,当邮件派送给大妈完成后,邮局的高水位线被更新为1,表示有一封信件已经成功投递了。

HW故事说明成功派件

所以HW就很简单了 ,这就相当于信息传递的一个响应 证明某某人已经接收到邮件了,这样邮局才能确认用户已经收到邮件了。

那么LEO是什么呢?

LEO故事说明 (1)

假设每个人都有两封邮件需要签收,此时呢 大妈只收到一份邮件,那么这个时候邮局的高水位HW = 1 ,那么准备要把第二封邮件进行发送给大妈了, 需要进行标识下一封发送那个邮件

此时这就是LEO了,LEO就代表了下一个要发送的邮件。所以上述的流程中呢 邮局的HW = 1 LEO = 2 大家就明白了吧.

有了HW 和 LEO 就可以知道你收到了那个信息, 你下一个需要接受什么信息,通过这两个标识就可以简单的进行同步数据,并且互相确认。

🗣️后面HW 和 LEO 是如何运转的呢? 为什么有了这种机制还会导致数据丢失的是说明场景?

那么请留意后期的推文,或者关注我集中更新哦~

这篇关于你了解过副本机制么?ISR是什么?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/889930

相关文章

java中反射(Reflection)机制举例详解

《java中反射(Reflection)机制举例详解》Java中的反射机制是指Java程序在运行期间可以获取到一个对象的全部信息,:本文主要介绍java中反射(Reflection)机制的相关资料... 目录一、什么是反射?二、反射的用途三、获取Class对象四、Class类型的对象使用场景1五、Class

一文带你了解SpringBoot中启动参数的各种用法

《一文带你了解SpringBoot中启动参数的各种用法》在使用SpringBoot开发应用时,我们通常需要根据不同的环境或特定需求调整启动参数,那么,SpringBoot提供了哪些方式来配置这些启动参... 目录一、启动参数的常见传递方式二、通过命令行参数传递启动参数三、使用 application.pro

一文带你深入了解Python中的GeneratorExit异常处理

《一文带你深入了解Python中的GeneratorExit异常处理》GeneratorExit是Python内置的异常,当生成器或协程被强制关闭时,Python解释器会向其发送这个异常,下面我们来看... 目录GeneratorExit:协程世界的死亡通知书什么是GeneratorExit实际中的问题案例

Nginx之upstream被动式重试机制的实现

《Nginx之upstream被动式重试机制的实现》本文主要介绍了Nginx之upstream被动式重试机制的实现,可以通过proxy_next_upstream来自定义配置,具有一定的参考价值,感兴... 目录默认错误选择定义错误指令配置proxy_next_upstreamproxy_next_upst

Spring排序机制之接口与注解的使用方法

《Spring排序机制之接口与注解的使用方法》本文介绍了Spring中多种排序机制,包括Ordered接口、PriorityOrdered接口、@Order注解和@Priority注解,提供了详细示例... 目录一、Spring 排序的需求场景二、Spring 中的排序机制1、Ordered 接口2、Pri

MySQL 缓存机制与架构解析(最新推荐)

《MySQL缓存机制与架构解析(最新推荐)》本文详细介绍了MySQL的缓存机制和整体架构,包括一级缓存(InnoDBBufferPool)和二级缓存(QueryCache),文章还探讨了SQL... 目录一、mysql缓存机制概述二、MySQL整体架构三、SQL查询执行全流程四、MySQL 8.0为何移除查

一文详解Java Condition的await和signal等待通知机制

《一文详解JavaCondition的await和signal等待通知机制》这篇文章主要为大家详细介绍了JavaCondition的await和signal等待通知机制的相关知识,文中的示例代码讲... 目录1. Condition的核心方法2. 使用场景与优势3. 使用流程与规范基本模板生产者-消费者示例

一文带你理解Python中import机制与importlib的妙用

《一文带你理解Python中import机制与importlib的妙用》在Python编程的世界里,import语句是开发者最常用的工具之一,它就像一把钥匙,打开了通往各种功能和库的大门,下面就跟随小... 目录一、python import机制概述1.1 import语句的基本用法1.2 模块缓存机制1.

Redis主从/哨兵机制原理分析

《Redis主从/哨兵机制原理分析》本文介绍了Redis的主从复制和哨兵机制,主从复制实现了数据的热备份和负载均衡,而哨兵机制可以监控Redis集群,实现自动故障转移,哨兵机制通过监控、下线、选举和故... 目录一、主从复制1.1 什么是主从复制1.2 主从复制的作用1.3 主从复制原理1.3.1 全量复制

Redis缓存问题与缓存更新机制详解

《Redis缓存问题与缓存更新机制详解》本文主要介绍了缓存问题及其解决方案,包括缓存穿透、缓存击穿、缓存雪崩等问题的成因以及相应的预防和解决方法,同时,还详细探讨了缓存更新机制,包括不同情况下的缓存更... 目录一、缓存问题1.1 缓存穿透1.1.1 问题来源1.1.2 解决方案1.2 缓存击穿1.2.1