你了解过副本机制么?ISR是什么?

2024-04-10 03:12
文章标签 了解 机制 副本 isr

本文主要是介绍你了解过副本机制么?ISR是什么?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

💡副本机制

简单来说就进行数据的拷贝,比如由kafka中间件来说,我们一开始可能考虑不周到,所以将数据进行单节点存储。

单节点同步

一开始非常的开心,部署简单,使用简单,还满足了高峰期大流量对数据库的压力,小苏同学沾沾自喜,随之时间延长,系统出现了硬件故障,由于硬盘坏了,从而导致kafka服务不可用了,高峰期数据库一度处于宕机边缘。

怎么办呢?小苏同学一度陷入混乱中,那么我们应该怎么避免这种场景出现呢?


💡副本机制的作用

这时候, 为了避免这种问题,保证系统的高可用,当然是加多一个副本啦,并且kafka本来就支持多副本从而保证高可用的,这时候小苏同学就学聪明了,直接加多一个kafka机器作为备份用。

让主从节点进行数据同步,当出现了故障 直接进行数据迁移,将流量直接直接请求follower节点就好。

简单同步机制 (1)

就这样 小苏同学又开始沾沾自喜了, 但是好景不长, 这一次的宕机居然在高峰期, 在下单系统中, 好几个用户进行投诉,我钱都付了, 为什么看不到订单?

小苏同学一脸懵,不对啊, 我已经做了主从切换呀, 怎么会有这个问题呢???

我们来还原一下这种场景

高峰期主从同步弊端

由上图场景, 4比订单A B C D 进行正常业务写入, 这时候已经有三笔订单已经完成了复制,此时突然leader 突然宕机 但是此时D订单还没有进行同步呢,

这时候订单D就相当于丢了,这就是典型的主从复制出现的弊端,在高峰期会宕机会出现信息丢失的情况。 那么kafk中间件是怎么避免这种问题的呢?


💡ISR机制登场

ISR起始是副本同步的简称,是In-Sync Replicas(同步副本)的缩写。这里最重要的是in sync 意思在可控范围内的同步,还是上述的流程,我们来分析一下他的弊端吧

由图显而易见的是leader 并不知道follower的复制情况,所以follower落后了 leader也不知道,及时leader重新启动了,也没法告诉follower 缺失了 哪条记录,所以这时候我们需要进行优化一下

引入commit通知

这样我们就知道follower同步到哪里了,但这时候之前的leader已经成为follower ,我们该如何去告诉现任leader丢了这个数据呢?

pastedImage_4_9_2024__16_27_15_879


让我们来一步步剖析其中的奥秘吧。

由上图 这就出现了leader follower数据不一致的场景了。我们来看看LSR机制是怎么做的吧。


💡高水位 HW 下个写入标志LEO

HW:高水位 ,你可以理解成大多数人都统一,我举个简单的例子吧

HW故事初始化说明

假设有一个小镇,名叫消息镇(Town of Messages)。这个小镇有一个邮局,用于处理来自周围地区的信件。邮局有一个非常特别的规定:只有当邮递员将信件送到每户人家后,才会认为这些信件被成功投递。

现在,让我们来看看消息镇的邮局是如何运作的:

邮局的大门上挂着一块牌子,上面写着“邮局高水位线:已经成功投递的信件数”。当邮局开始运作时,高水位线是0,因为还没有投递过任何信件。如上图所示。

假设现在快递员小苏准备将邮件进行派送,当邮件派送给大妈完成后,邮局的高水位线被更新为1,表示有一封信件已经成功投递了。

HW故事说明成功派件

所以HW就很简单了 ,这就相当于信息传递的一个响应 证明某某人已经接收到邮件了,这样邮局才能确认用户已经收到邮件了。

那么LEO是什么呢?

LEO故事说明 (1)

假设每个人都有两封邮件需要签收,此时呢 大妈只收到一份邮件,那么这个时候邮局的高水位HW = 1 ,那么准备要把第二封邮件进行发送给大妈了, 需要进行标识下一封发送那个邮件

此时这就是LEO了,LEO就代表了下一个要发送的邮件。所以上述的流程中呢 邮局的HW = 1 LEO = 2 大家就明白了吧.

有了HW 和 LEO 就可以知道你收到了那个信息, 你下一个需要接受什么信息,通过这两个标识就可以简单的进行同步数据,并且互相确认。

🗣️后面HW 和 LEO 是如何运转的呢? 为什么有了这种机制还会导致数据丢失的是说明场景?

那么请留意后期的推文,或者关注我集中更新哦~

这篇关于你了解过副本机制么?ISR是什么?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/889930

相关文章

一文详解Java异常处理你都了解哪些知识

《一文详解Java异常处理你都了解哪些知识》:本文主要介绍Java异常处理的相关资料,包括异常的分类、捕获和处理异常的语法、常见的异常类型以及自定义异常的实现,文中通过代码介绍的非常详细,需要的朋... 目录前言一、什么是异常二、异常的分类2.1 受检异常2.2 非受检异常三、异常处理的语法3.1 try-

C++如何通过Qt反射机制实现数据类序列化

《C++如何通过Qt反射机制实现数据类序列化》在C++工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作,所以本文就来聊聊C++如何通过Qt反射机制实现数据类序列化吧... 目录设计预期设计思路代码实现使用方法在 C++ 工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作。由于数据类

SpringRetry重试机制之@Retryable注解与重试策略详解

《SpringRetry重试机制之@Retryable注解与重试策略详解》本文将详细介绍SpringRetry的重试机制,特别是@Retryable注解的使用及各种重试策略的配置,帮助开发者构建更加健... 目录引言一、SpringRetry基础知识二、启用SpringRetry三、@Retryable注解

SpringKafka错误处理(重试机制与死信队列)

《SpringKafka错误处理(重试机制与死信队列)》SpringKafka提供了全面的错误处理机制,通过灵活的重试策略和死信队列处理,下面就来介绍一下,具有一定的参考价值,感兴趣的可以了解一下... 目录引言一、Spring Kafka错误处理基础二、配置重试机制三、死信队列实现四、特定异常的处理策略五

java中反射(Reflection)机制举例详解

《java中反射(Reflection)机制举例详解》Java中的反射机制是指Java程序在运行期间可以获取到一个对象的全部信息,:本文主要介绍java中反射(Reflection)机制的相关资料... 目录一、什么是反射?二、反射的用途三、获取Class对象四、Class类型的对象使用场景1五、Class

一文带你了解SpringBoot中启动参数的各种用法

《一文带你了解SpringBoot中启动参数的各种用法》在使用SpringBoot开发应用时,我们通常需要根据不同的环境或特定需求调整启动参数,那么,SpringBoot提供了哪些方式来配置这些启动参... 目录一、启动参数的常见传递方式二、通过命令行参数传递启动参数三、使用 application.pro

一文带你深入了解Python中的GeneratorExit异常处理

《一文带你深入了解Python中的GeneratorExit异常处理》GeneratorExit是Python内置的异常,当生成器或协程被强制关闭时,Python解释器会向其发送这个异常,下面我们来看... 目录GeneratorExit:协程世界的死亡通知书什么是GeneratorExit实际中的问题案例

Nginx之upstream被动式重试机制的实现

《Nginx之upstream被动式重试机制的实现》本文主要介绍了Nginx之upstream被动式重试机制的实现,可以通过proxy_next_upstream来自定义配置,具有一定的参考价值,感兴... 目录默认错误选择定义错误指令配置proxy_next_upstreamproxy_next_upst

Spring排序机制之接口与注解的使用方法

《Spring排序机制之接口与注解的使用方法》本文介绍了Spring中多种排序机制,包括Ordered接口、PriorityOrdered接口、@Order注解和@Priority注解,提供了详细示例... 目录一、Spring 排序的需求场景二、Spring 中的排序机制1、Ordered 接口2、Pri

MySQL 缓存机制与架构解析(最新推荐)

《MySQL缓存机制与架构解析(最新推荐)》本文详细介绍了MySQL的缓存机制和整体架构,包括一级缓存(InnoDBBufferPool)和二级缓存(QueryCache),文章还探讨了SQL... 目录一、mysql缓存机制概述二、MySQL整体架构三、SQL查询执行全流程四、MySQL 8.0为何移除查