本文主要是介绍我的架构梦:(八十五)消息中间件之Kafka核心概念与基本架构,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
一、Kafka介绍
Kafka
是最初由 Linkedin
公司开发,是一个 分布式
、分区的
、多副本的
、多生产者
、多订阅者
,基于zookeeper协调的分布式日志系统
(也可以当做MQ系统
)。常见可以用于web/nginx日志
、访问日志
,消息服务
等等。
Linkedin
于2010年贡献给了Apache
基金会并成为顶级开源项目。
1、主要应用场景
- 日志收集系统
- 消息系统
2、Kafka主要设计目标
- 以时间复杂度为
O(1)
的方式提供消息持久化能力,即使对TB
级以上数据也能保证常数时间的访问性能。 - 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒
100K
条消息的传输。 - 支持
Kafka Server
间的消息分区,及分布式消费,同时保证每个partition
传输。 - 同时支持离线数据处理和实时数据处理
- 支持在线水平扩展
3、Kafka架构图
有两种主要的消息传递模式:
点对
这篇关于我的架构梦:(八十五)消息中间件之Kafka核心概念与基本架构的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!