本文主要是介绍kafka的分区（partion）和消费者（consumer），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
分区（partion）
kafka中的topic可以细分为不同的partion，一个topic可以将消息存放在不同的partion中。
leader和follower
每个partion可以设置一个leader和多个follower。kafka的消息没有设置读写分离，每个消息发送时，都是发送至对应的partion的leader-paertion，follower-partion主要是为了备份数据而存在，当leader-partion出现故障时，数据已经完全同步的follower-partion也会切换成leader-partion。
AR和ISR
AR：分区中所有的副本统称为AR。
ISR：所有与leader节点保持同步的副本（包括leader节点）组成的节点，生产者首先将消息发送给leader副本，然后follower从leader中同步消息。
ISR是AR的子集。
数据的存储
在partion中，一个topic中的数据存放在不同的partion中，一个分区的内容会存储成一个log文件，为了防止log过大，引入了日志分段，根据一定规则将log切分为多个logSegment，相当于一个巨型文件被切分成了很多不同的文件。log和logSegment关系如下：
Log在物理上只以文件夹的形式存储,日志文件在磁盘的存储如下：
消费者（consumer）
分组（group）
消费者从partion中消费数据，consumer有group的概念，每个group可以消费完整的一份topic中的数据。
消费者分区分配
RangeAssignor 分配策略（kafka默认的分区策略）
kafka中，consumer消费数据时，consumer消费partion中的数据和consumer与partion的相对数量有关。
- partion大于consumer
当partion大于consumer时，一个consumer可能同时消费多个partion中的数据
- partion小于consumer
当partion小于consumer时，每个consumer会去消费一个partion中的数据。多出来的consumer则是处于空闲状态
- partion等于consume
当partion的数量等于consumer时，每个consumer消费一个partion中的数据。
除了这种分区分配策略之外，还有RoundRobinAssignor以及StickyAssignor分区分配策略，当然，也可以自定义分区分配策略。
这篇关于kafka的分区（partion）和消费者（consumer）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
