使用场景： 设置并行度参数spark.streaming.concurrentJobs >1 时候，使用spark streaming消费kafka 异常信息： There may be two or more tasks in one executor will use the same kafka consumer at the same time, then it will throw

参考文章： flume kafka sparkstreaming整合后集群报错org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/ut https://blog.csdn.net/u010936936/article/details/77247075?locationNum=2&fps=1      最近在使用CD

在前面分析Rebalance操作的原理时介绍到，消费者定期向服务端的GroupCoordinator发送HeartbeatRequest来确定彼此在线。 下面就来详细分析KafkaConsumer中Heartbeat的相关实现。 首先了解一下心跳请求和响应的格式。HeartbeatRequest的消息体格式比较简单，依次包含group_id(String)、group_generation_i

前面介绍过NetworkClient的实现，它依赖于KSelector、InFlightRequests、Metadata等组件，负责管理客户端与Kafka集群中各个Node节点之间的连接，通过KSelector法实现了发送请求的功能，并通过一系列handle*方法处理请求响应、超时请求以及断线重连。 ConsumerNetworkClient在NetworkClient之上进行了封装，提供了更

在前面介绍了Kafka中Rebalance操作的相关方案和原理。 在KafkaConsumer中通过ConsumerCoordinator组件实现与服务端的GroupCoordinator的交互，ConsumerCoordinator继承了AbstractCoordinator抽象类。 下面我们先来介绍AbstractCoordinator的核心字段，如图所示。 - heartbeat:心跳

与KafkaProducer不同的是，KafkaConsumer不是一个线程安全的类。 为了便于分析，我们认为下面介绍的所有操作都是在同一线程中完成的，所以不需要考虑锁的问题。 这种设计将实现多线程处理消息的逻辑转移到了调用KafkaConsumer的代码中，可以根据业务逻辑使用不同的实现方式。 例如，可以使用“线程封闭”的方式，每个业务线程拥有一个KafkaConsumer对象，这种方式实

KafkaConsumer从Kafka拉取消息时发送的请求是FetchRequest(具体格式后面介绍),在其中需要指定消费者希望拉取的起始消息的offset。 为了消费者快速获取这个值，KafkaConsumer使用SubscriptionState来追踪TopicPartition与offset对应关系。 图展示了SubscriptionState依赖的类以及其核心字段。 Subscr

阅读之前假设您已经对kafka有了一定的了解 详情和API请参考http://kafka.apache.org/0100/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html KafkaConsumer类简介 public class KafkaConsumer<K,V>extends Object

版本：kafka-clients-2.0.1.jar 之前想写个插件修改 kafkaConsumer 消费者的逻辑，根据 header 过滤一些消息。于是需要了解一下 kafkaConsumer 具体是如何拉取消费消息的，确认在消费之前过滤掉消息是否会有影响。 下面是相关的源码，并通过注释的方式进行说明。 先结论：kafkaConsumer 拉取消息的 offset 是存本地的，根据 offs