你了解过副本机制么?ISR是什么?

2024-04-10 03:12
文章标签 了解 机制 副本 isr

本文主要是介绍你了解过副本机制么?ISR是什么?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

💡副本机制

简单来说就进行数据的拷贝,比如由kafka中间件来说,我们一开始可能考虑不周到,所以将数据进行单节点存储。

单节点同步

一开始非常的开心,部署简单,使用简单,还满足了高峰期大流量对数据库的压力,小苏同学沾沾自喜,随之时间延长,系统出现了硬件故障,由于硬盘坏了,从而导致kafka服务不可用了,高峰期数据库一度处于宕机边缘。

怎么办呢?小苏同学一度陷入混乱中,那么我们应该怎么避免这种场景出现呢?


💡副本机制的作用

这时候, 为了避免这种问题,保证系统的高可用,当然是加多一个副本啦,并且kafka本来就支持多副本从而保证高可用的,这时候小苏同学就学聪明了,直接加多一个kafka机器作为备份用。

让主从节点进行数据同步,当出现了故障 直接进行数据迁移,将流量直接直接请求follower节点就好。

简单同步机制 (1)

就这样 小苏同学又开始沾沾自喜了, 但是好景不长, 这一次的宕机居然在高峰期, 在下单系统中, 好几个用户进行投诉,我钱都付了, 为什么看不到订单?

小苏同学一脸懵,不对啊, 我已经做了主从切换呀, 怎么会有这个问题呢???

我们来还原一下这种场景

高峰期主从同步弊端

由上图场景, 4比订单A B C D 进行正常业务写入, 这时候已经有三笔订单已经完成了复制,此时突然leader 突然宕机 但是此时D订单还没有进行同步呢,

这时候订单D就相当于丢了,这就是典型的主从复制出现的弊端,在高峰期会宕机会出现信息丢失的情况。 那么kafk中间件是怎么避免这种问题的呢?


💡ISR机制登场

ISR起始是副本同步的简称,是In-Sync Replicas(同步副本)的缩写。这里最重要的是in sync 意思在可控范围内的同步,还是上述的流程,我们来分析一下他的弊端吧

由图显而易见的是leader 并不知道follower的复制情况,所以follower落后了 leader也不知道,及时leader重新启动了,也没法告诉follower 缺失了 哪条记录,所以这时候我们需要进行优化一下

引入commit通知

这样我们就知道follower同步到哪里了,但这时候之前的leader已经成为follower ,我们该如何去告诉现任leader丢了这个数据呢?

pastedImage_4_9_2024__16_27_15_879


让我们来一步步剖析其中的奥秘吧。

由上图 这就出现了leader follower数据不一致的场景了。我们来看看LSR机制是怎么做的吧。


💡高水位 HW 下个写入标志LEO

HW:高水位 ,你可以理解成大多数人都统一,我举个简单的例子吧

HW故事初始化说明

假设有一个小镇,名叫消息镇(Town of Messages)。这个小镇有一个邮局,用于处理来自周围地区的信件。邮局有一个非常特别的规定:只有当邮递员将信件送到每户人家后,才会认为这些信件被成功投递。

现在,让我们来看看消息镇的邮局是如何运作的:

邮局的大门上挂着一块牌子,上面写着“邮局高水位线:已经成功投递的信件数”。当邮局开始运作时,高水位线是0,因为还没有投递过任何信件。如上图所示。

假设现在快递员小苏准备将邮件进行派送,当邮件派送给大妈完成后,邮局的高水位线被更新为1,表示有一封信件已经成功投递了。

HW故事说明成功派件

所以HW就很简单了 ,这就相当于信息传递的一个响应 证明某某人已经接收到邮件了,这样邮局才能确认用户已经收到邮件了。

那么LEO是什么呢?

LEO故事说明 (1)

假设每个人都有两封邮件需要签收,此时呢 大妈只收到一份邮件,那么这个时候邮局的高水位HW = 1 ,那么准备要把第二封邮件进行发送给大妈了, 需要进行标识下一封发送那个邮件

此时这就是LEO了,LEO就代表了下一个要发送的邮件。所以上述的流程中呢 邮局的HW = 1 LEO = 2 大家就明白了吧.

有了HW 和 LEO 就可以知道你收到了那个信息, 你下一个需要接受什么信息,通过这两个标识就可以简单的进行同步数据,并且互相确认。

🗣️后面HW 和 LEO 是如何运转的呢? 为什么有了这种机制还会导致数据丢失的是说明场景?

那么请留意后期的推文,或者关注我集中更新哦~

这篇关于你了解过副本机制么?ISR是什么?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/889930

相关文章

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时,有没有考虑过 JVM 是如何把静态的字节码(byte code)转化为运行时对象的呢,这个问题看似简单,但清楚的同学相信也不会太多,这篇文章首先介绍 JVM 类初始化的机制,然后给出几个易出错的实例来分析,帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段,分别是:loading 、Linking、initialization

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

Java ArrayList扩容机制 (源码解读)

结论:初始长度为10,若所需长度小于1.5倍原长度,则按照1.5倍扩容。若不够用则按照所需长度扩容。 一. 明确类内部重要变量含义         1:数组默认长度         2:这是一个共享的空数组实例,用于明确创建长度为0时的ArrayList ,比如通过 new ArrayList<>(0),ArrayList 内部的数组 elementData 会指向这个 EMPTY_EL

【编程底层思考】垃圾收集机制,GC算法,垃圾收集器类型概述

Java的垃圾收集(Garbage Collection,GC)机制是Java语言的一大特色,它负责自动管理内存的回收,释放不再使用的对象所占用的内存。以下是对Java垃圾收集机制的详细介绍: 一、垃圾收集机制概述: 对象存活判断:垃圾收集器定期检查堆内存中的对象,判断哪些对象是“垃圾”,即不再被任何引用链直接或间接引用的对象。内存回收:将判断为垃圾的对象占用的内存进行回收,以便重新使用。

【Tools】大模型中的自注意力机制

摇来摇去摇碎点点的金黄 伸手牵来一片梦的霞光 南方的小巷推开多情的门窗 年轻和我们歌唱 摇来摇去摇着温柔的阳光 轻轻托起一件梦的衣裳 古老的都市每天都改变模样                      🎵 方芳《摇太阳》 自注意力机制(Self-Attention)是一种在Transformer等大模型中经常使用的注意力机制。该机制通过对输入序列中的每个元素计算与其他元素之间的相似性,

如何通俗理解注意力机制?

1、注意力机制(Attention Mechanism)是机器学习和深度学习中一种模拟人类注意力的方法,用于提高模型在处理大量信息时的效率和效果。通俗地理解,它就像是在一堆信息中找到最重要的部分,把注意力集中在这些关键点上,从而更好地完成任务。以下是几个简单的比喻来帮助理解注意力机制: 2、寻找重点:想象一下,你在阅读一篇文章的时候,有些段落特别重要,你会特别注意这些段落,反复阅读,而对其他部分

速了解MySQL 数据库不同存储引擎

快速了解MySQL 数据库不同存储引擎 MySQL 提供了多种存储引擎,每种存储引擎都有其特定的特性和适用场景。了解这些存储引擎的特性,有助于在设计数据库时做出合理的选择。以下是 MySQL 中几种常用存储引擎的详细介绍。 1. InnoDB 特点: 事务支持:InnoDB 是一个支持 ACID(原子性、一致性、隔离性、持久性)事务的存储引擎。行级锁:使用行级锁来提高并发性,减少锁竞争

【Tools】大模型中的注意力机制

摇来摇去摇碎点点的金黄 伸手牵来一片梦的霞光 南方的小巷推开多情的门窗 年轻和我们歌唱 摇来摇去摇着温柔的阳光 轻轻托起一件梦的衣裳 古老的都市每天都改变模样                      🎵 方芳《摇太阳》 在大模型中,注意力机制是一种重要的技术,它被广泛应用于自然语言处理领域,特别是在机器翻译和语言模型中。 注意力机制的基本思想是通过计算输入序列中各个位置的权重,以确

FreeRTOS内部机制学习03(事件组内部机制)

文章目录 事件组使用的场景事件组的核心以及Set事件API做的事情事件组的特殊之处事件组为什么不关闭中断xEventGroupSetBitsFromISR内部是怎么做的? 事件组使用的场景 学校组织秋游,组长在等待: 张三:我到了 李四:我到了 王五:我到了 组长说:好,大家都到齐了,出发! 秋游回来第二天就要提交一篇心得报告,组长在焦急等待:张三、李四、王五谁先写好就交谁的

UVM:callback机制的意义和用法

1. 作用         Callback机制在UVM验证平台,最大用处就是为了提高验证平台的可重用性。在不创建复杂的OOP层次结构前提下,针对组件中的某些行为,在其之前后之后,内置一些函数,增加或者修改UVM组件的操作,增加新的功能,从而实现一个环境多个用例。此外还可以通过Callback机制构建异常的测试用例。 2. 使用步骤         (1)在UVM组件中内嵌callback函