本文主要是介绍metricbeat对接kafka,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
在监控系统中经常用到kafka来处理数据,上层平台会从kafka直接取数据进行分析,今天分享下metricbeat监控的数据如何输出到kafka中,并对各配置项进行详细说明。
metricbeat环境搭建点这里
kafka环境搭建点这里
-在metricbeat配置文件中配置output为kafka
output.kafka:# initial brokers for reading cluster metadatahosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]# message topic selection + partitioningtopic: '%{[type]}'partition.round_robin:reachable_only: falserequired_acks: 1compression: gzipmax_message_bytes: 1000000
配置说明:
Username:连接kafka的用户名(如果kafka有设置)
Password:连接kafka的密码
Topic:kafka中的topic设置
Key:发送消息时可以指定 key,producer根据此key和partition策略来选择存入哪个partition(可用于hash计算消息发布到哪个分区)
Partition:kafka的分发策略,有random(随机),round_robin(轮询),hash(哈希),默认是hash
Random.group_events:分发消息时对每个partition发送event的数量,默认为1(partition主要是实现负载均衡,让消息均匀的发送到多个partition中,设置为1则表示对一个partition发送一个event后开始对下一个partition发送event)
Round_robin.group_events:同上
Hash.hash
这篇关于metricbeat对接kafka的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!