报错现象 2021/05/31-14:17:26.488 [] [JdqConsumerThread_unique_device_identification_mapper_yf_0] ERROR org.apache.kafka.clients.consumer.internals.ConsumerCoordinator- [Consumer clientId=4670fce6, groupI

最近在一个项目中遇到kafka的current-offset丢失的问题。 问题现象是，服务程序在暂停kafka的一个topic消费后，过了一天多，运维人员发现这个topic的消费组的current-offset丢失，在服务程序继续消费这个topic，消费者只能从最新的offset开始消费，导致之前一天累积的数据没有被处理。 经过排查发现，是kafka的配置项offsets.retention.

删除Kafka自带Topic 一般情况下，你删除Kafka自带的__consumer_offsets topic，会报错提示不能删除。 倔强的你直接找到zookeeper删掉了它，list查看确实没有这个topic了，但是这会导致消费者和偏移量无法记录。 创建Kafka自带的Topic 如果尝试直接创建，不带参数，那么创建完成后，leader会显示none，ISR显示为空。

关于kafka 0.10.0.0 的默认参数 offsets.retention.minutes & log.retention.minutes 的默认值问题。 默认参数前者是7天，后者是24小时。会导致数据虽然保存但offset失效导致客户端数据重复消费的问题。 0.10.0.0官方的参数说明：http://kafka.apache.org/0100/documentation.html#l

写在前面        与数据盘和内存相比，其实Kafka对计算处理能力的要求是相对较低的，不过它在一定程度上还是会影响整体的性能。        随着整体业务数据量的提高(consumer端消费消息数量大致在500万-600万条/s)，我们观察到各broker的cpu使用率也在不断提升，这种情况下一般会考虑去优化线上业务关于消息的生产、消费机制或是横向扩充集群broker节点数量。

本文转载自：https://www.jianshu.com/p/ef3f15cf400d（点击下面 阅读原文 即可进入） 英文原文：http://blog.cloudera.com/blog/2017/06/offset-management-for-apache-kafka-with-apache-spark-streaming/ Offset管理概述 Spark Streaming集成了Ka