ELK系列之四---如何通过Filebeat和Logstash优化K8S集群的日志收集和展示

本文主要是介绍ELK系列之四---如何通过Filebeat和Logstash优化K8S集群的日志收集和展示,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前 言

上一篇文章《日志不再乱: 如何使用Logstash进行高效日志收集与存储》介绍了使用ELK收集通用应用的日志,在目前大多应用都已运行在K8S集群上的环境,需要考虑怎么收集K8S上的日志,本篇就介绍一下如何使用现有的ELK平台收集K8S集群上POD的日志。

K8S日志文件说明

一般情况下,容器中的日志在输出到标准输出(stdout)时,会以.log的命名方式保存在/var/log/pods/containerd_ID/目录中,例如:
在这里插入图片描述

K8S默认会在/var/log/containers/目录下创建软链接链接到/var/log/pods/containerd_id/目录下的具体日志文件,并规范化了软连接到文件名称,软链接的命名规范为

[podName]_[nameSpace]_[depoymentName]-[containerId].log

在这里插入图片描述

上面这个是deployment的命名方式,其他的会有些不同,例如:DaemonSet,StatefulSet等,不过所有的都有一个共同点,就是
每个软链接名称都是

*_[nameSpace]_*.log

所以根据这个日志特征我们可以很容易想到可以根据namespace来分别收集不同名称空间的日志。

一、日志收集架构

在ELK Stack组件中,有logstash和filebeat都可以实现日志收集,因为filebeat更轻量化,在K8S集群中通常使用filebeat来收集pod的日志,通过daemonSet控制器在每个K8S每个节点上运行一个filebeat来收集每个节点上的pod日志,filebeat官网图如下,filebeat输出支持对接Elasticsearch、Logstash、Kafka、Redis,本文选择对接Kafka,先缓存filebeat收集的日志,这样可以减少对ES的性能要求。
在这里插入图片描述

filebeat将收集的pod日志保存在K8S集群外的kafka集群,然后通过logstash再从kafka读取、过滤、整理之后再保存到elasticsearch集群中,然后通过kibana可视化管理日志,架构图如下
在这里插入图片描述

此架构中包含了K8S集群、Kafka集群、ElasticSearch集群,具体机器信息如下表

集群主机名IP地址应用
k8s-clusterk8s-master01172.16.1.65k8s-control
k8s-clusterk8s-node01172.16.1.66k8s-work
k8s-clusterk8s-node02172.16.1.67k8s-work
k8s-clusterk8s-node03172.16.1.68k8s-work
kafka-clusterkafka1172.16.1.11zookeeper/kafka/kibana
kafka-clusterkafka2172.16.1.12zookeeper/kafka
kafka-clusterkafka3172.16.1.13zookeeper/kafka
ES-clusteres1172.16.1.101elasticsearch
ES-clusteres2172.16.1.102elasticsearch
ES-clusteres3172.16.1.103elasticsearch
Logstashdeploy172.16.1.70Lostash

二、部署kafka集群

文章《在K8S上部署Cilium组件,看这一篇干货就够了》介绍了k8s-cluster集群的搭建过程,文章《可视化日志分析新境界:手把手教你搭建高效的ElasticSearch集群》介绍了ES-cluster集群的搭建过程

2.1、下载kafka

现在需要搭建kafka-cluster集群,在kafka-cluster集群的三个节点上下载最新版本kafka,下载二进制的压缩包
在这里插入图片描述

在每个节点上创建/opt目录,将kafka压缩包放到/opt目录下,解压并创建软连接
在这里插入图片描述

2.2、搭建zookeeper集群

最新版本kafka的taz包里已经包含了zookeeper的文件,所以在配置kafka之间先配置zookeeper,
三个几点上修改zookeeper配置文件如下
在这里插入图片描述

dataDir       #指定zookeeper的数据目录 
clientPort     #指定zookeeper的监听端口
maxClientCnxns   #限制最大client连接数

修改完成后,3个节点上同时开启zookeeper服务

~# /opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties

在这里插入图片描述

查看三个几点都已监听2181端口即表示zookeeper集群搭建成功

2.3、搭建kafka集群

3个节点修改kafka的配置文件,如下图
在这里插入图片描述

broker.id                    #指定kafka的节点IP,每个节点都不相同
listeners                    #指定kafka的监听IP和端口,三个节点分别监听自己的IP
log.dirs                     #指定kafka的数据目录
zookeeper.connect            #指定zookeeper的连接地址,三个地址都写上

其他选项默认即可
3个节点同时启动kafka

~# /opt/kafka/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

在这里插入图片描述

3个几点同时监听2181和9092两个端口即搭建成功

2.4、测试验证kafka

kafka有一个客户端工具OffsetExplorer,可链接kafka
在这里插入图片描述

创建连接时填入任意一个kafka节点的IP即可连接,连接显示绿色表示集群状态正常
可以通过kafka的命令行客户端测试数据的写入的读取

#创建一个topic
~# /opt/kafka/bin/kafka-topic.sh --crate --topic quick-events --bootstrap-server 172.16.1.12:9092 
#写入数据
~# /opt/kafka/bin/kafka-console-producer.sh --topic quick-events --bootstrap-server 172.16.1.12:9092
#读取数据
~# /opt/kafka/bin/kafka-console-consumer.sh --topic quick-events --bootstrap-server 172.16.1.12:9092

在这里插入图片描述

在OffsetExplorer上也可以看到刚才创建的topic和写入的数据
在这里插入图片描述

三、部署filebeat

在K8S集群上使用DaemonSet控制器部署filebeat,可以通过ELK Stack官网下载filebeat的部署文件filebeat-kubernetes.yaml

curl -L -O https://raw.githubusercontent.com/elastic/beats/8.15/deploy/kubernetes/filebeat-kubernetes.yaml

下载完成后修改yaml文件,添加创建elfk名称空间的指令,并修改下面所有资源的namespace为elfk

apiVersion: v1
kind: Namespace
metadata:name: elfklabels:name: elfk

修改ConfigMap部分,指定了按namespace收集

apiVersion: v1
kind: ConfigMap
metadata:name: filebeat-confignamespace: elfklabels:k8s-app: filebeat
data:filebeat.yml: |-filebeat.inputs:- type: containerenabled: truepaths:- /var/log/containers/*_kube-system_*logfields:log_topic: kube-systemenv: devmultiline.pattern: '(^\[[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{3}\])|(^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{3})|(^[0-9]{2}:[0-9]{2}:[0-9]{2})'multiline.negate: truemultiline.match: aftermultiline.max_lines: 100- type: containerenabled: truepaths:- /var/log/containers/*_elfk_*logfields:log_topic: elfkenv: devmultiline.pattern: '(^\[[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{3}\])|(^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{3})|(^[0-9]{2}:[0-9]{2}:[0-9]{2})'multiline.negate: truemultiline.match: aftermultiline.max_lines: 100- type: containerenabled: truepaths:- /var/log/containers/*_defaulte_*logfields:log_topic: defaulteenv: devmultiline.pattern: '(^\[[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{3}\])|(^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{3})|(^[0-9]{2}:[0-9]{2}:[0-9]{2})'multiline.negate: truemultiline.match: aftermultiline.max_lines: 100- type: containerenabled: truepaths:- /var/log/containers/*_metallb-system_*logfields:log_topic: metallb-systemenv: devmultiline.pattern: '(^\[[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{3}\])|(^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{3})|(^[0-9]{2}:[0-9]{2}:[0-9]{2})'multiline.negate: truemultiline.match: aftermultiline.max_lines: 100- type: containerenabled: truepaths:- /var/log/containers/*_redis_*logfields:log_topic: redisenv: devmultiline.pattern: '(^\[[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{3}\])|(^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{3})|(^[0-9]{2}:[0-9]{2}:[0-9]{2})'multiline.negate: truemultiline.match: aftermultiline.max_lines: 100filebeat.config.modules:path: ${path.config}/modules.d/*.ymlreload.enabled: falseprocessors:#添加k8s元数据信息- add_kubernetes_metadata:host: ${NODE_NAME}matchers:- logs_path:logs_path: "/var/log/containers/"#移除多余的字段- drop_fields:fields:- host- ecs- log- agent- input- stream- container- kubernetes.pod.uid- kubernetes.namespace_uid- kubernetes.namespace_labels- kubernetes.node.uid- kubernetes.node.labels- kubernetes.replicaset- kubernetes.labels- kubernetes.node.nameignore_missing: true- script:lang: javascriptid: format_timetag: enablesource: |function process(event) {var str = event.Get("message");// 用括号提取时间戳var regex = /^\[(.*?)\]/;var match = str.match(regex);if (match && match.length > 1) {var time = match[1]; //提取的不带括号的时间戳event.Put("time", time);}// 提取不带括号的时间戳var regex2 = /^\d{2}:\d{2}:\d{2}/;var match2 = str.match(regex2);if (match2) {time = match2[0]; // Extracted timestampevent.Put("time", time);}}#优化层级结构- script:lang: javascriptid: format_k8stag: enablesource: |function process(event) {var k8s = event.Get("kubernetes");var newK8s = {podName: k8s.pod.name,nameSpace: k8s.namespace,imageAddr: k8s.container.name,hostName: k8s.node.hostname};event.Put("k8s", newK8s);}#添加时间,可以在logstash处理- timestamp:field: timetimezone: Asia/Shanghailayouts:- '2006-01-02 15:04:05'- '2006-01-02 15:04:05.999'test:- '2019-06-22 16:33:51'

修改daemonset部分,添加k8s-control-plan容忍,允许在master节点上运行filebeat

    spec:tolerations:- key: node-role.kubernetes.io/control-planeoperator: Existseffect: NoSchedule

部署filebeat

~# kubectl apply -f filebeat-kubernetes.yaml

在这里插入图片描述

检查资源运行情况

~# kubectl get all -n elfk -o wide

在这里插入图片描述

4个节点上都运行filebeat的pod即表示部署成功

四、部署Logstash

4.1、检查kafka上topic

先通过OffsetExlporer查看kafka上是否成功收到了数据,产生了topic
在这里插入图片描述

上图可以看到以namespace为名称产生了topic,说明数据已经成功对接到了kafka集群
在kafka集群上不可很好的查看和检索日志数据,现在需要将kafka上的日志传输到ES集群上,这里需要使用Logstash对日志进行转发和过滤

4.2、部署Logstash

这里复用上一篇里部署的Logstash,新写一份对接kafka的配置文件即可,如下图
在这里插入图片描述

input                   #写入kafka集群的一个节点地址
topics                  #写入kafka集群上已经产生的topic
codec                  #使用json插件解码,生成多个日志字段
output                 #写入ES集群的连接地址
index                   #写入index名称

可以先测试一下配置文件是否正确

~# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/kafka-to-es.conf -t

重启logstash

~# systemctl restart logstash

在这里插入图片描述

4.3、检查ES上数据

可以通过elasticsearch head插件或者cerebro插件查看ES-cluster集群上数据是否成功产生
在这里插入图片描述

可以看到ES-cluster上产生jnlikai-k8s-container-log开头的index表示k8s的日志数据已经被转发到了ES集群

五、在Kibana上检索日志

在Kibana上创建数据视图
在这里插入图片描述

创建成功后可以看到此视图下有很多k8s的日志字段,检索日志时可以根据这些字段进行任意筛选检索
在这里插入图片描述

查看视图时也可以看到K8S上的节点、名称空间都是单独字段
在这里插入图片描述

在这里插入图片描述

                                         欢迎关注作者的公众号,公众号每天分享运维干货文章 

在这里插入图片描述

这篇关于ELK系列之四---如何通过Filebeat和Logstash优化K8S集群的日志收集和展示的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1142386

相关文章

Vue3 的 shallowRef 和 shallowReactive:优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉,那么对 shallowRef 和 shallowReactive 是否了解呢? 在编程和数据结构中,“shallow”(浅层)通常指对数据结构的最外层进行操作,而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素,而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层(Shallow) 定义

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

JS常用组件收集

收集了一些平时遇到的前端比较优秀的组件,方便以后开发的时候查找!!! 函数工具: Lodash 页面固定: stickUp、jQuery.Pin 轮播: unslider、swiper 开关: switch 复选框: icheck 气泡: grumble 隐藏元素: Headroom

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

MySQL高性能优化规范

前言:      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后,总结出了这篇! 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀,备份

科研绘图系列:R语言扩展物种堆积图(Extended Stacked Barplot)

介绍 R语言的扩展物种堆积图是一种数据可视化工具,它不仅展示了物种的堆积结果,还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异,为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl