本文主要是介绍Kafka系统 - 硬件资源规划，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
参考：《Apache Kafaka 实战》
前言
主要包括以下几个方面
- 磁盘类型
- 磁盘容量
- CPU
- 内存
- 带宽
- 其他配置优化
1. 磁盘类型
1.1 机械硬盘 与 固态硬盘 选择？
机械硬盘，性价比高，完全可以满足集群的使用
固态硬盘，有钱就上
1.2 一堆普通磁盘（JBOD） 与 磁盘整列（RAID) 选择？
JBOD，性价比高，使用没有问题
RAID，有钱就上，提供冗余的数据存储空间，天然负载均衡
2. 磁盘容量规划
Kafka的每条消息都保存在实际的物理磁盘中，消息默认会被broker保存一段时间之后清除。
计算关键因素：每天消息数量，平均消息大小，消息留存时间，副本数，是否启用压缩，预留磁盘空间
2.1 场景计算
- （1） 每天1亿条信息 x 保存2份 x 平均一条消息大小1KB / 1000 / 1000 = 200GB 磁盘空间
- （2） 预留空间，其他数据文件存储约10%的磁盘空间，200GB + 20GB = 220GB
- （3） 保存一周的时间，220GB x 7 ~= 1.5TB
- （4） 开启压缩，平均压缩比假设0.5，1.5TB x 0.5 = 0.75TB
3. 内存规划
除了消息会存在磁盘来说，同时消息还会有缓存，具体就是操作系统的页缓存(page cache)
3.1 结论
- （1） 尽量分配跟多的内存给操作系统的page cache
- （2） 不要为broker设置过大的堆内存，最好不要超过6G
- （3） page chache大小至少要大于一个日志段的大小
4. CPU
Kafka 不是计算密集型的系统，追求多核而非高时钟频率。
但是如果client端启用了消息压缩，除了必要的CPU资源外，broker端也有可能需要大量的CPU资源。但是Kafka 0.10.0.0改进了broker端的消息处理，需要注意消息版本号匹配即可。
4.1 结论
- （1） 多核系统，CPU核数最好大于8
- （2） clients端核broker端消息版本一致，且版本高于0.10.0.0。否则需要多配置一些资源
5. 带宽规划
Kafka是在网络间传输大量数据的分布式数据管道，带宽资源很重要，并且容易成为瓶颈
5.1 场景计算
假设用户网络环境中的带宽是1Gb/s，用户的业务目标是每天1小时处理1TB的业务消息，那么需要多少台机器呢？
- 1GB x 分配70%宽带资源 ~= 710Mb/s (kafka单台broker的带宽)
- 710MB/s x 使用1/3的资源防止突发情况 ~= 240Mb/s (这个1/3，可以提高一点）
- 1TB 1h = 292MB 1s = 2336Mb / 240Mb ~= 10台 x 2个副本 = 20 台
5.2 结论
- （1） 尽量使用高速网络
- （2） 根据网络条件和业务情况评估集群数量
- （3） 避免使用跨机房网络
6. 其他优化配置
- 使用最新版本的Kafka，且支持Kafka Stream
- 推荐为每个broker配置多个日志路径，每个路径都独立挂载在不同的磁盘上，极大加速Kafka消息产生的速度
这篇关于Kafka系统 - 硬件资源规划的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
