Kafka之ISR机制的理解

2024-06-14 11:04
文章标签 理解 机制 kafka isr

本文主要是介绍Kafka之ISR机制的理解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • Kafka的基本概念
  • 什么是ISR
  • ISR的维护机制
  • ISR的作用
  • ISR相关配置参数
  • 同步过程
  • 示例代码
  • 总结

Kafka中的ISR(In-Sync Replicas同步副本)机制是确保数据高可用性和一致性的核心组件。

Kafka的基本概念

在Kafka中,数据被组织成主题(Topic),每个主题分为多个分区(Partition)。每个分区有多个副本(Replica),这些副本分布在不同的Broker上,以确保数据的冗余和高可用性。

  • Leader Replica:每个分区有一个领导副本,负责处理所有读写请求。
  • Follower Replica:其他副本作为追随者,从领导副本中复制数据。

什么是ISR

ISR(In-Sync Replicas)是一个分区副本集合,这些副本被认为是与领导副本保持同步的。具体来说,ISR中的副本是那些能够在一定时间内(由参数replica.lag.time.max.ms指定)将数据同步到与领导副本相同位置的副本。

Kafka根据副本同步的情况,分成了3个集合:

  • AR (Assigned Replicas) : 包括ISR和OSR
  • ISR (In-sync Replicas) : 和leader副本保持同步的副本集合,可以被认为是可靠的数据
  • OSR (Out-Sync Replicas) :和Leader副本同步失效的副本集合

AR=ISR+OSR。

ISR的维护机制

  • 领导副本更新ISR:
    领导副本会定期检查每个追随者副本的状态。如果某个追随者副本在指定时间内未能跟上领导副本的更新,领导副本会将其从ISR中移除。
  • 追随者副本重新加入ISR:
    当追随者副本追上了领导副本的日志进度(即达到了与领导副本相同的日志偏移量),领导副本会将其重新加入ISR。

ISR的作用

  • 数据一致性保证:
    生产者在写入数据时,可以通过设置acks参数来控制数据的一致性级别。设置acks=all(或acks=-1)时,领导副本会等待所有ISR中的副本都确认收到数据后,才向生产者发送确认。这保证了数据在写入时至少被写入到ISR中的所有副本。
  • 故障容错能力:
    如果领导副本发生故障,Kafka会从ISR中选取一个新的领导副本。由于ISR中的副本与之前的领导副本保持同步,新的领导副本能够继续提供服务,而不会丢失数据。

ISR相关配置参数

replica.lag.time.max.ms:

追随者副本与领导副本之间的最大允许同步延迟时间。如果追随者副本超过此时间没有同步到领导副本,会被移出ISR。

min.insync.replicas:

最少同步副本数。生产者在设置acks=all时,只有当ISR中的副本数不少于这个值,才会确认消息的写入。这个参数用于在保证数据可用性的同时,控制生产者的写入成功率。

同步过程

  • a. 数据写入
    客户端将数据写入主副本。
    主副本将数据写入本地日志并确认写入。
    主副本异步将数据推送给所有的从副本。
  • b. 副本同步
    从副本收到主副本的数据后,将其写入本地日志,并返回确认。
    当从副本确认写入数据后,主副本会更新其 ISR(In-Sync Replicas,即同步副本集合),表示这些副本已经同步到最新的数据。

示例代码

以下是一个简单的生产者示例代码,展示了如何使用acks参数来确保数据写入的高可用性:

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.RecordMetadata;
import org.apache.kafka.clients.producer.Callback;import java.util.Properties;public class KafkaProducerExample {public static void main(String[] args) {Properties props = new Properties();props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.ACKS_CONFIG, "all"); // 确保数据被所有ISR副本确认KafkaProducer<String, String> producer = new KafkaProducer<>(props);try {for (int i = 0; i < 10; i++) {ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key" + i, "value" + i);producer.send(record, new Callback() {@Overridepublic void onCompletion(RecordMetadata metadata, Exception exception) {if (exception == null) {System.out.println("Message sent successfully to partition " + metadata.partition() + " with offset " + metadata.offset());} else {exception.printStackTrace();}}});}} finally {producer.close();}}
}

总结

Kafka的ISR机制通过维护一个与领导副本同步的副本集合,确保了数据的一致性和高可用性。通过合理配置和使用ISR机制,Kafka能够在面对节点故障时,仍然保证数据的安全和系统的稳定。

这篇关于Kafka之ISR机制的理解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1060218

相关文章

java中反射(Reflection)机制举例详解

《java中反射(Reflection)机制举例详解》Java中的反射机制是指Java程序在运行期间可以获取到一个对象的全部信息,:本文主要介绍java中反射(Reflection)机制的相关资料... 目录一、什么是反射?二、反射的用途三、获取Class对象四、Class类型的对象使用场景1五、Class

一文详解kafka开启kerberos认证的完整步骤

《一文详解kafka开启kerberos认证的完整步骤》这篇文章主要为大家详细介绍了kafka开启kerberos认证的完整步骤,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、kerberos安装部署二、准备机器三、Kerberos Server 安装1、配置krb5.con

Nginx之upstream被动式重试机制的实现

《Nginx之upstream被动式重试机制的实现》本文主要介绍了Nginx之upstream被动式重试机制的实现,可以通过proxy_next_upstream来自定义配置,具有一定的参考价值,感兴... 目录默认错误选择定义错误指令配置proxy_next_upstreamproxy_next_upst

Debezium 与 Apache Kafka 的集成方式步骤详解

《Debezium与ApacheKafka的集成方式步骤详解》本文详细介绍了如何将Debezium与ApacheKafka集成,包括集成概述、步骤、注意事项等,通过KafkaConnect,D... 目录一、集成概述二、集成步骤1. 准备 Kafka 环境2. 配置 Kafka Connect3. 安装 D

Spring排序机制之接口与注解的使用方法

《Spring排序机制之接口与注解的使用方法》本文介绍了Spring中多种排序机制,包括Ordered接口、PriorityOrdered接口、@Order注解和@Priority注解,提供了详细示例... 目录一、Spring 排序的需求场景二、Spring 中的排序机制1、Ordered 接口2、Pri

MySQL 缓存机制与架构解析(最新推荐)

《MySQL缓存机制与架构解析(最新推荐)》本文详细介绍了MySQL的缓存机制和整体架构,包括一级缓存(InnoDBBufferPool)和二级缓存(QueryCache),文章还探讨了SQL... 目录一、mysql缓存机制概述二、MySQL整体架构三、SQL查询执行全流程四、MySQL 8.0为何移除查

一文详解Java Condition的await和signal等待通知机制

《一文详解JavaCondition的await和signal等待通知机制》这篇文章主要为大家详细介绍了JavaCondition的await和signal等待通知机制的相关知识,文中的示例代码讲... 目录1. Condition的核心方法2. 使用场景与优势3. 使用流程与规范基本模板生产者-消费者示例

深入理解Apache Airflow 调度器(最新推荐)

《深入理解ApacheAirflow调度器(最新推荐)》ApacheAirflow调度器是数据管道管理系统的关键组件,负责编排dag中任务的执行,通过理解调度器的角色和工作方式,正确配置调度器,并... 目录什么是Airflow 调度器?Airflow 调度器工作机制配置Airflow调度器调优及优化建议最

Java中Springboot集成Kafka实现消息发送和接收功能

《Java中Springboot集成Kafka实现消息发送和接收功能》Kafka是一个高吞吐量的分布式发布-订阅消息系统,主要用于处理大规模数据流,它由生产者、消费者、主题、分区和代理等组件构成,Ka... 目录一、Kafka 简介二、Kafka 功能三、POM依赖四、配置文件五、生产者六、消费者一、Kaf

Kafka拦截器的神奇操作方法

《Kafka拦截器的神奇操作方法》Kafka拦截器是一种强大的机制,用于在消息发送和接收过程中插入自定义逻辑,它们可以用于消息定制、日志记录、监控、业务逻辑集成、性能统计和异常处理等,本文介绍Kafk... 目录前言拦截器的基本概念Kafka 拦截器的定义和基本原理:拦截器是 Kafka 消息传递的不可或缺