本文主要是介绍我的架构梦：（九十三）消息中间件之基于Kafka实现日志收集，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
一、前言
随着业务的扩展以及集群的扩大，越来越多的业务系统对日志收集面临了很大的挑战。我们急需一种收集日志的工具将散落在各个服务器节点上的日志收集起来，进行统一的查询及管理统计。我们之前的系统就是采用ELK来实现的。
鉴于有些小伙伴们对ELK还不是很了解，我这里就先提一些概念，方便大家理解。
1、ElasticSearch(简称ES)
Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速、实时地存储、搜索和分析大量数据。它通常用作底层引擎/技术，为具有复杂搜索特性和需求的应用程序提供动力。我们可以借助如ElasticSearch完成诸如搜索、日志收集、反向搜索、智能分析等功能。
ES设计的目标：
快速实时搜索
Elasticsearch是一个实时搜索平台。这意味着，从索引文档到可搜索文档，存在轻微的延迟(通常为一秒)。集群
集群是一个或多个节点(服务器)的集合，这些节点(服务器)一起保存整个数据，并提供跨所有节点的联合索引和搜索功能。集群由一个惟一的名称来标识，默认情况下该名称为“elasticsearch”。这个名称很重要，因为节点只能是集群的一部分，如果节点被设置为通过其名称加入集群的话。确保不要在不同的环境中重用相同的集群名称，否则可能会导致节点加入错误的集群。例如，您可以使用logging-dev、logging-test和logging-prod开发、测试和生产集群。节点
节点是单个服务器，它是集群的一部分，它用来存储数据，并参与集群的索引和搜索功能。与集群一样，节点的名称默认
这篇关于我的架构梦：（九十三）消息中间件之基于Kafka实现日志收集的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
