DigitalOcean 托管 Kafka 新增横向扩展功能

本文主要是介绍DigitalOcean 托管 Kafka 新增横向扩展功能，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

自2023年9月推出以来，DigitalOcean托管的Kafka已经使初创公司、不断增长的数字业务以及独立软件供应商(ISV)能够改善实时数据处理和分析，从而做出更具洞察力的决策。在新的一年里，我们很高兴地宣布DigitalOcean托管Kafka的横向扩展功能，让我们的客户能够处理不断增长的数据量和流量，提高集群的可靠性，并优化资源。有了这个新功能，客户可以根据波动的工作负载需求正确配置节点/代理。

轻松调整您的Kafka存储

通过可伸缩存储，您现在可以通过一个简单的设置添加更多存储空间。每个节点以10 GB增量轻松添加磁盘存储，每增加一个增量的价格仅为每月2美元。可以将其视为逐个向您的Kafka集群添加数据桶，以实现完美匹配。

可伸缩存储的功能包括：

增加磁盘存储容量：所有Kafka计划现在都提供一系列磁盘存储选项，可用于启动新计划或升级现有计划。可用存储的最小量可以从起始量增加两倍至五倍。
Kafka集群现在具有更多存储：Kafka集群现在可扩展到1.5 TB的存储，使用户能够未雨绸缪地部署Kafka，并确保其能够处理大型生产工作负载。
在几分钟内快速启动一个集群：通过UI、CLI或API快速配置高可用性的Kafka集群，仅需几分钟即可完成。节省时间并减少设置和连接节点以及独立的ZooKeeper节点所需的操作开销。Apache ZooKeeper是一款开源软件，可以实现高度可靠的分布式协调。它通常用于分布式系统中管理配置信息、命名服务、分布式同步、仲裁和状态。分布式系统经常依赖于ZooKeeper来实现共识、领导者选举和群组管理。

横向扩展您的DigitalOcean Kafka集群，以实现最佳性能

随着数据量的增长以及应用程序对更多洞察力的需求，您的Kafka集群可能会不堪重负。这可能导致性能瓶颈、用户的沮丧以及资源的低利用率。在这种情况下，横向扩展成为一个强大的解决方案，可以将您的集群从一台努力运转的引擎转变为平稳运转的强大动力。

想象一下您的Kafka集群就像是一组数据处理管道网络。随着数据需求的激增，这些管道会变得拥挤，减慢信息流动的速度，阻碍您提取宝贵洞察力的能力。横向扩展就像是向这条数据高速公路添加更多车道，将工作负载分布到额外的节点上。横向扩展将使用户能够向现有的Kafka集群添加更多节点以处理更多请求，有助于确保工作负载的最佳性能。

横向扩展涉及向现有的Kafka集群添加更多节点以处理更多请求。

RockerBox是一家专注于简化多渠道营销的营销分析公司，他们利用额外的节点来满足服务需求的激增。

“我们的团队很容易设置了一个由15个节点组成的DigitalOcean托管Kafka集群，以处理黑色星期五期间的流量增加。” - Kevin Hsu，工程总监

这意味着：

提升性能：更多的节点意味着更多的处理能力、增加的吞吐量和降低的延迟。
按需扩展：避免一开始就在庞大的集群上花费过多。横向扩展使您可以根据需求逐渐添加节点，就像逐段扩展您的数据网络一样。这是一种成本效益高的增长方式！预测数据波动，添加节点，保持数据像润滑的机器一样流动。
增强的韧性：我们理解可用性的关键性。横向扩展有助于确保服务的连续性，提供冗余节点，在计划的维护或意外中断期间接管工作。您的用户会因为不间断的数据访问而感谢您！
容错能力：更多的节点通常会解锁先进的数据复制功能，即使在重大中断期间也有助于保护您的信息。可以将其视为拥有多个数据副本。
提高可靠性：通过可伸缩存储，客户可以通过添加额外的代理来提高其托管Kafka集群的可靠性。配置您的集群以拥有3、6、9或15个代理，以提高故障切换时的可靠性。

请记住，扩展并不是一种适合所有情况的解决方案。在添加节点之前，请仔细评估您的工作负载、预算和操作复杂性。然而，对于正在应对实时数据需求的云端业务来说，横向扩展可能是一个改变游戏规则的因素。它可以释放性能、容量、韧性和灵活性，让您充分挖掘Kafka集群的潜力。

DigitalOcean托管的Kafka集群包含3个节点（也称为“代理”），但专用计划的集群可以轻松升级为6、9或15个节点的配置。