本文主要是介绍beats 与 logstash 的关系,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Beats 是一个轻量型数据采集器,能够方便的与 Logstash 和 ElasticSearch 配合使用。
beats 并不是替换logstash的,beats 是用来优化logstash 的,logstash 的消耗性能比较多,如果只是单纯为了收集日志,使用logstash 就有点大材小用了,另外也有点浪费资源,而beats 是轻量级的用来收集日志的。
logstash 更加关注一件事,那就是数据转换,格式化等处理工作。
比如:日志数据是一行一行的非格式化的数据,想要存在elasticsearch 就要一定的结构。logstash 就可以做这件事情。
beats 是可以直接对接elasticsearch 的,只不过数据不能适配,只能做一些简单的处理, logstash 对接es ,也可以对接其他。
比较完整的是: beats dui logstash 进行数据适配,然后堆到es 做检索。
开源的数据收集引擎、具有实时管道功能,可以动态的将来自不同数据源的数据统一起来,并将数据标准化到所选择的目的地。
开源的服务器端数据处理管道,可以同时从多个数据源中获取数据,并进行转化换,然后将其发送到规定位置进行存储。(一般规定的位置选择ElasticSearch)
Logstash 的关键点:
inputs: 必须,负责生产事件,负责收集数据,收集数据会存在多种数据类型
filters: 可选,负责数据处理与转换
outputs: 必须,负责数据输出
logstash 的内部结构:
数据流入、加工处理、数据流出。数据也可以不做处理,单纯的流入在流出,数据处理,格式化,数据丰富,数据删除等等。
这篇关于beats 与 logstash 的关系的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!