MiniKube EFK日志监控平台

2023-10-21 23:58
文章标签 平台 日志 监控 efk minikube

本文主要是介绍MiniKube EFK日志监控平台，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

MiniKube EFK日志监控平台

  • EFK日志监控平台部署架构
  • DaemonSet - Fluentd
  • EFK安装
    • YAML 文件准备
  • 发布顺序及命令

参考MiniKube安装准备环境。

EFK日志监控平台部署架构

EFK，集中式的日志监控平台。Elasticsearch, Fluentd, Kibana三个组件的首字母构成它的名字。

  • Elasticsearch，分布式的搜索引擎系统，简称ES。可以用于日志数据的集中存储和检索。
  • Fluentd，日志采集组件，可以实现日志数据的采集，装饰，转换和传输等功能。
  • Kibana，是基于ES的日志查询展示界面，也可以做基于ES的性能分析，或者大数据分析和展示。

在这里插入图片描述

如果要对K8S的Pod，容器采集日志，那么我们需要在K8S集群的每个节点上都部署一个fluentd的pod。发布形式为DaemonSet。

fluentd负责采集节点上所有容器产生的日志。具体要采集哪个日志，可以通过fluentd的配置文件进行配置。

fluentd采集好日志后，会定期传到elasticsearch集群的端点，elasticsearch会将日志集中存储并且根据配置建立反向索引。

然后开发，运维人员可以通过Kibana界面，集中的查询和分析日志。

如果要对fluentd的监控日志目标进行配置，可以通过configmap这种方式来实现，运维人员可以通过configmap可以定制fluentd的日志采集配置文件，然后发布到K8S环境。

fluentd的Pod可以通过持久卷的形式挂载configmap中的配置文件。就是说，可以通过configmap，运维人员可以动态发布和更新fluentd的配置文件。这种更新可以实时生效。需要重启fluentd的Pod。

实际企业生产环境，kibana和elasticsearch不会部署在K8S当中。另外，在实际生产环境中，企业级日志分析平台EFK架构中，在fluentd与elasticsearch之间，还有一套kafka队列来做缓冲，在数据量大的时候，可以解决ES性能跟不上的问题。ES建反向索引是比较耗资源的，而且比较慢，数据量大的时候，ES可能会跟不上。有了kafka缓冲之后，后台ES,Kibana升级维护就会比较容易。在这里插入图片描述

DaemonSet - Fluentd

DaemonSet是与ReplicaSet对应的概念。不同之处是daemonSet会在K8S所有节点上，都部署一个pod。

K8S DaemonSet机制会保证，每个节点上都有一个pod可用。如果一个Pod挂了，daemonSet会自动重启。

在这里插入图片描述

EFK安装

MiniKube本身是有EFK Addon的。但是本实验打算有发布文件的形式搞一搞。

可以用以下命令查看：

minikube addons list

[ryan@lab3 ~]$ minikube addons list
|-----------------------------|----------|--------------|
|         ADDON NAME          | PROFILE  |    STATUS    |
|-----------------------------|----------|--------------|
| ambassador                  | minikube | disabled     |
| csi-hostpath-driver         | minikube | disabled     |
| dashboard                   | minikube | enabled ?   |
| default-storageclass        | minikube | enabled ?   |
| efk                         | minikube | disabled     |
| freshpod                    | minikube | disabled     |
| gcp-auth                    | minikube | disabled     |

YAML 文件准备

  • ns.yml 创建一个新的namespace，名字叫logging。ES，Kibana会发布到logging namespace当中。
  • elastic.yml
  • kibana.yml
  • fluentd-rbac.yml, role based access control， 让fluentd有权限访问K8S的资源或者操作，获得容器的日志。
  • fluentd-daemonset.yml

文件：ns.yml

apiVersion: v1
kind: Namespace
metadata:name: logging

文件：elastic.yml

apiVersion: apps/v1
kind: Deployment
metadata:name: elasticsearchnamespace: logging
spec:selector:matchLabels:component: elasticsearchtemplate:metadata:labels:component: elasticsearchspec:containers:- name: elasticsearchimage: docker.elastic.co/elasticsearch/elasticsearch:6.8.13env:- name: discovery.typevalue: single-nodeports:- containerPort: 9200name: httpprotocol: TCPresources:limits:cpu: 500mmemory: 2Girequests:cpu: 500mmemory: 2Gi
---
apiVersion: v1
kind: Service
metadata:name: elasticsearchnamespace: logginglabels:service: elasticsearch
spec:type: NodePortselector:component: elasticsearchports:- port: 9200targetPort: 9200nodePort: 31200

文件：kibana.yml

apiVersion: apps/v1
kind: Deployment
metadata:name: kibananamespace: logging
spec:selector:matchLabels:run: kibanatemplate:metadata:labels:run: kibanaspec:containers:- name: kibanaimage: docker.elastic.co/kibana/kibana:6.8.13env:- name: ELASTICSEARCH_URLvalue: http://elasticsearch:9200- name: XPACK_SECURITY_ENABLEDvalue: "false"ports:- containerPort: 5601name: httpprotocol: TCP
---
apiVersion: v1
kind: Service
metadata:name: kibananamespace: logginglabels:service: kibana
spec:type: NodePortselector:run: kibanaports:- port: 5601targetPort: 5601nodePort: 31601

文件：fluentd-daemonset.yml

apiVersion: apps/v1
kind: DaemonSet
metadata:name: fluentdnamespace: kube-systemlabels:k8s-app: fluentd-loggingversion: v1kubernetes.io/cluster-service: "true"
spec:selector:matchLabels:k8s-app: fluentd-loggingversion: v1template:metadata:labels:k8s-app: fluentd-loggingversion: v1kubernetes.io/cluster-service: "true"spec:serviceAccount: fluentdserviceAccountName: fluentdtolerations:- key: node-role.kubernetes.io/mastereffect: NoSchedulecontainers:- name: fluentdimage: fluent/fluentd-kubernetes-daemonset:v1-debian-elasticsearchenv:- name: FLUENT_ELASTICSEARCH_HOSTvalue: "elasticsearch.logging"- name: FLUENT_ELASTICSEARCH_PORTvalue: "9200"- name: FLUENT_ELASTICSEARCH_SCHEMEvalue: "http"- name: FLUENT_UIDvalue: "0"- name: FLUENTD_SYSTEMD_CONFvalue: disableresources:limits:memory: 200Mirequests:cpu: 100mmemory: 200MivolumeMounts:- name: varlogmountPath: /var/log- name: varlibdockercontainersmountPath: /var/lib/docker/containersreadOnly: trueterminationGracePeriodSeconds: 30volumes:- name: varloghostPath:path: /var/log- name: varlibdockercontainershostPath:path: /var/lib/docker/containers

文件：fluentd-rbac.yml

rbac: role based access control

apiVersion: v1
kind: ServiceAccount
metadata:name: fluentdnamespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:name: fluentdnamespace: kube-system
rules:- apiGroups:- ""resources:- pods- namespacesverbs:- get- list- watch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: fluentd
roleRef:kind: ClusterRolename: fluentdapiGroup: rbac.authorization.k8s.io
subjects:- kind: ServiceAccountname: fluentdnamespace: kube-system

准备好5个文件之后，准备发布。

[ryan@lab3 efk_deploy]$ ll
total 20
-rw-rw-r--. 1 ryan ryan  964 Jan  6 01:48 elastic.yml
-rw-rw-r--. 1 ryan ryan 1657 Jan  6 01:50 fluentd-daemonset.yml
-rw-rw-r--. 1 ryan ryan  600 Jan  6 01:51 fluentd.rbac.yml
-rw-rw-r--. 1 ryan ryan  809 Jan  6 01:48 kibana.yml
-rw-rw-r--. 1 ryan ryan   57 Jan  6 01:47 ns.yml

发布顺序及命令

发布命名空间

kubectl apply -f ns.yml

查看命名空间

kubectl get ns

发布elasticsearch，需要等一段时间才能就绪。

kubectl apply -f elastic.yml

查看刚发布的pod，在命名空间logging里面

kubectl get all -n logging

发布成功，看到status running.

[ryan@lab3 efk_deploy]$ kubectl get all -n logging
NAME                                 READY   STATUS    RESTARTS   AGE
pod/elasticsearch-848b5b7585-dgh8l   1/1     Running   0          15mNAME                    TYPE       CLUSTER-IP    EXTERNAL-IP   PORT(S)          AGE
service/elasticsearch   NodePort   10.99.78.88   <none>        9200:31200/TCP   15mNAME                            READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/elasticsearch   1/1     1            1           15mNAME                                       DESIRED   CURRENT   READY   AGE
replicaset.apps/elasticsearch-848b5b7585   1         1         1       15m

可以用下面命令查看minikube的service list。

minikube service list

发布Kibana，需要等一段时间才能就绪。

kubectl apply -f kibana.yml

查看成功：

[ryan@lab3 efk_deploy]$ kubectl get all -n logging
NAME                                 READY   STATUS    RESTARTS   AGE
pod/elasticsearch-848b5b7585-dgh8l   1/1     Running   0          36m
pod/kibana-5c7df47d47-dpjbc          1/1     Running   0          7m18sNAME                    TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
service/elasticsearch   NodePort   10.99.78.88     <none>        9200:31200/TCP   36m
service/kibana          NodePort   10.99.146.170   <none>        5601:31601/TCP   7m18sNAME                            READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/elasticsearch   1/1     1            1           36m
deployment.apps/kibana          1/1     1            1           7m18sNAME                                       DESIRED   CURRENT   READY   AGE
replicaset.apps/elasticsearch-848b5b7585   1         1         1       36m
replicaset.apps/kibana-5c7df47d47          1         1         1       7m18s

发布fluentd K8S角色权限绑定

kubectl apply -f fluentd-rbac.yml

继续发布fluentd-daemonset

kubectl apply -f fluentd-daemonset.yml

查看POD状态：

kubectl get po -n kube-system

[ryan@lab3 efk_deploy]$ kubectl get po -n kube-system
NAME                               READY   STATUS    RESTARTS   AGE
coredns-54d67798b7-2rdv2           1/1     Running   0          12h
etcd-minikube                      1/1     Running   0          12h
fluentd-6jrkj                      1/1     Running   0          2m19s
kube-apiserver-minikube            1/1     Running   0          12h
kube-controller-manager-minikube   1/1     Running   0          12h
kube-proxy-qwd7c                   1/1     Running   0          12h
kube-scheduler-minikube            1/1     Running   0          12h
storage-provisioner                1/1     Running   1          12h

minikube查看minikube node开启的服务端口：
可以发现，minikube node已经在监听服务端口了，kibana应该是可以访问了，但是centos没有装桌面gui怎么办。

minikube service list

[ryan@lab3 conf]$ minikube service list
|----------------------|---------------------------|--------------|---------------------------|
|      NAMESPACE       |           NAME            | TARGET PORT  |            URL            |
|----------------------|---------------------------|--------------|---------------------------|
| default              | kubernetes                | No node port |
| kube-system          | kube-dns                  | No node port |
| kubernetes-dashboard | dashboard-metrics-scraper | No node port |
| kubernetes-dashboard | kubernetes-dashboard      | No node port |
| logging              | elasticsearch             |         9200 | http://192.168.49.2:31200 |
| logging              | kibana                    |         5601 | http://192.168.49.2:31601 |

筛选日志：
在这里插入图片描述

结构化：
在这里插入图片描述
我的centos虚拟机的IP是192.168.44.133。
centos上面装的minikube node的IP是192.168.49.2。
我们发布了nodeport service给kibana，ES容器，是为了将容器的服务端口映射到node上，所以在centos上应该是可以访问，192.168.49.2:31601的。但是由于centos没有桌面，你验证不了。：）如下图所示。

如果想要远程访问，需要配置nginx。不然在centos上装桌面，往下看看吧。：）
由于当前的环境太虚拟了，如下图所示：在这里插入图片描述
我用nginx做了代理，然后在笔记本上可以访问了。请参考我下面的笔记，不用谢。
Nginx安装
Nginx配置

成功后，如下图所示。

在这里插入图片描述

这篇关于MiniKube EFK日志监控平台的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/257770。

相关文章

Linux使用nload监控网络流量的方法

Linux使用nload监控网络流量的方法

《Linux使用nload监控网络流量的方法》Linux中的nload命令是一个用于实时监控网络流量的工具,它提供了传入和传出流量的可视化表示,帮助用户一目了然地了解网络活动,本文给大家介绍了Linu... 目录简介安装示例用法基础用法指定网络接口限制显示特定流量类型指定刷新率设置流量速率的显示单位监控多个
阅读更多...
Spring Boot整合log4j2日志配置的详细教程

Spring Boot整合log4j2日志配置的详细教程

《SpringBoot整合log4j2日志配置的详细教程》：本文主要介绍SpringBoot项目中整合Log4j2日志框架的步骤和配置,包括常用日志框架的比较、配置参数介绍、Log4j2配置详解... 目录前言一、常用日志框架二、配置参数介绍1. 日志级别2. 输出形式3. 日志格式3.1 PatternL
阅读更多...
通过prometheus监控Tomcat运行状态的操作流程

通过prometheus监控Tomcat运行状态的操作流程

《通过prometheus监控Tomcat运行状态的操作流程》文章介绍了如何安装和配置Tomcat,并使用Prometheus和TomcatExporter来监控Tomcat的运行状态,文章详细讲解了... 目录Tomcat安装配置以及prometheus监控Tomcat一. 安装并配置tomcat1、安装
阅读更多...
开启mysql的binlog日志步骤详解

开启mysql的binlog日志步骤详解

《开启mysql的binlog日志步骤详解》：本文主要介绍MySQL5.7版本中二进制日志（bin_log）的配置和使用,文中通过图文及代码介绍的非常详细,需要的朋友可以参考下... 目录1.查看是否开启bin_log2.数据库会把日志放进logs目录中3.查看log日志总结 mysql版本5.71.查看
阅读更多...
C#实现系统信息监控与获取功能

C#实现系统信息监控与获取功能

《C#实现系统信息监控与获取功能》在C#开发的众多应用场景中,获取系统信息以及监控用户操作有着广泛的用途,比如在系统性能优化工具中,需要实时读取CPU、GPU资源信息,本文将详细介绍如何使用C#来实现... 目录前言一、C# 监控键盘1. 原理与实现思路2. 代码实现二、读取 CPU、GPU 资源信息1.
阅读更多...
使用zabbix进行监控网络设备流量

使用zabbix进行监控网络设备流量

《使用zabbix进行监控网络设备流量》这篇文章主要为大家详细介绍了如何使用zabbix进行监控网络设备流量,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录安装zabbix配置ENSP环境配置zabbix实行监控交换机测试一台liunx服务器，这里使用的为Ubuntu22.04(
阅读更多...
C++中实现调试日志输出

C++中实现调试日志输出

《C++中实现调试日志输出》在C++编程中,调试日志对于定位问题和优化代码至关重要,本文将介绍几种常用的调试日志输出方法,并教你如何在日志中添加时间戳,希望对大家有所帮助... 目录1. 使用 #ifdef _DEBUG 宏2. 加入时间戳：精确到毫秒3.Windows 和 MFC 中的调试日志方法MFC
阅读更多...
SpringBoot如何使用TraceId日志链路追踪

SpringBoot如何使用TraceId日志链路追踪

《SpringBoot如何使用TraceId日志链路追踪》文章介绍了如何使用TraceId进行日志链路追踪,通过在日志中添加TraceId关键字,可以将同一次业务调用链上的日志串起来,本文通过实例代码... 目录项目场景：实现步骤1、pom.XML 依赖2、整合logback，打印日志，logback-sp
阅读更多...
springboot健康检查监控全过程

springboot健康检查监控全过程

《springboot健康检查监控全过程》文章介绍了SpringBoot如何使用Actuator和Micrometer进行健康检查和监控,通过配置和自定义健康指示器,开发者可以实时监控应用组件的状态,... 目录1. 引言重要性2. 配置Spring Boot ActuatorSpring Boot Act
阅读更多...
Java实现任务管理器性能网络监控数据的方法详解

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2