Kubernetes 中必备的 10 个告警处置方法

2024-08-28 16:20

本文主要是介绍Kubernetes 中必备的 10 个告警处置方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文翻译自:https://sematext.com/blog/top-10-must-have-alerts-for-kubernetes/

运行 Kubernetes 集群,显然不止是启动,还需要持续监控,以确保 Kubernetes 中的服务能正常运行。

不过,您不想整天盯着一堆 Kubernetes 仪表板(即便仪表板再多么美观)。您希望使用适当的警报来设置 Kubernetes 警报,对吗?

借助 k8s 警报,您将快速发现 Kubernetes 集群中的问题,并希望也能快速修复它们。那么问题来了,最应该关注的警报有哪些?

1. 过高的 CPU 使用率

为什么这很重要

当 Kubernetes Pod 超出其 CPU 限制时,将触发此警报,表明可能存在资源争用或资源分配效率低下。如果 CPU 限制不断达到,则可能导致应用程序响应时间变慢和潜在的服务中断。简而言之,你不希望看到这种情况发生。

行动

调查受影响的 Pod,并考虑调整资源限制或优化应用程序。

使用以下命令检查受影响 Pod 的 CPU 使用率:

kubectl top pod <pod_name> -n <namespace>

要调整 pod 的资源限制,请编辑其 YAML 配置文件:

kubectl edit pod <pod_name> -n <namespace>

在 YAML 文件中,修改“resources”部分以调整 CPU 限制:

resources:limits:cpu: <new_cpu_limit>

替换为所需的 CPU 限制值。

2. 已达到 CPU 使用限制

为什么这很重要

与上一个警报类似,当 Pod 达到其 CPU 限制时,此警报会发出通知。

行动

分析工作负载的资源需求和扩展要求,以防止性能下降。

运行以下命令以获取与受影响的 Pod 关联的工作负载的 CPU 使用率指标:

kubectl top pod --selector=<selector> -n <namespace>

替换为工作负载的适当标签选择器,例如 app=,以聚合属于工作负载的所有 Pod 的 CPU 使用情况。

3. Kubelet 卷管理器不可用

为什么这很重要

kubelet 卷管理器故障可能会影响 pod 存储,从而可能导致数据丢失。不可用的卷管理器可能会阻止挂载 Pod 卷,从而影响依赖于持久存储的应用程序。

行动

调查 kubelet 服务和底层存储基础设施是否存在问题,并在必要时重新启动受影响的组件。

运行以下命令以检查 kubelet 服务的状态:

kubectl get pods -n kube-system | grep kubelet

检查 kubelet pod 的日志,以识别与卷管理器相关的任何错误或警告:

kubectl logs <kubelet_pod_name> -n kube-system

检查存储卷和网络连接的状态:

kubectl get pv,pvc -n <namespace>

确保存储卷已正确连接并由 kubelet 服务访问。

如有必要,请重新启动 kubelet 服务和任何相关组件。此命令强制 Kubernetes 重新创建 kubelet pod,希望能解决卷管理器的任何问题。

kubectl delete pod <kubelet_pod_name> -n kube-system

4. Kubernetes API 服务器错误

为什么这很重要

监视来自 Kubernetes API 服务器的客户端错误 (4XX) 和服务器错误 (5XX),这可能表示通信问题或内部服务器问题。

行动

检查网络连接和 API 服务器日志,以识别并解决根本问题。

验证 Kubernetes API 服务器的状态:

kubectl get pods -n kube-system | grep kube-apiserver

检查日志中是否存在与 API 服务器相关的错误或警告:

kubectl logs <kube-apiserver_pod_name> -n kube-system

检查与 API 服务器的网络连接:


kubectl cluster-info

5. Node Under Pressure

为什么这很重要

当 Kubernetes 节点遇到资源压力时发出警报,这可能会影响 Pod 调度和性能。

行动

监视 Kubernetes 节点上的资源,以确定承受压力的部分:

kubectl describe node <node_name>

查找可能表明资源压力过高的 CPU、内存或磁盘使用率。

查看节点上运行的工作负载,以识别资源密集的应用程序或容器:

kubectl get pods --all-namespaces -o wide

如果资源压力持续存在,请考虑扩展 CPU、内存或存储等资源:

kubectl scale node <node_name> --cpu=<new_cpu_capacity> --memory=<new_memory_capacity>

根据工作负载要求和可用节点容量调整资源限制。

将工作负载分布在多个节点上,以缓解资源压力:

kubectl drain <node_name> --ignore-daemonsets

6. 异常节点 CPU/内存 容量

为什么这很重要

检测 Kubernetes 节点何时使用比平时更多的 CPU 或内存,这可能意味着它们耗尽了资源或无法有效工作。

行动

检查资源的使用方式随时间推移,并在必要时更改节点容量或工作负载的分配方式。

监控 Kubernetes 节点上的 CPU 和内存使用情况:

kubectl top nodes

查看一段时间内的资源使用趋势,以识别 CPU 和内存使用率的异常或峰值。

如果节点持续超出 CPU 或内存限制,请考虑纵向扩展节点容量:

kubectl scale node <node_name> --cpu=<new_cpu_capacity> --memory=<new_memory_capacity>

替换为受影响节点的名称、 所需的 CPU 容量和所需的内存容量。

7. 缺少 Deployments/StatefulSet 的 Pod 副本

为什么这很重要

当由 Deployments 或 StatefulSet 控制的 Pod 丢失时发出通知 ,指示部署失败或 Pod 被驱逐。当缺少 Pod 时,这意味着应用程序的基本组件未按预期运行,这可能导致停机、性能不佳和数据丢失。例如,如果您将集群配置为具有 Pod 的 2 个副本,并且缺少其中一个副本,则您实际上正在运行 Pod 的单个实例,并且具有 SPOF(single point of failure 单点故障)并存在容错问题。

行动

检查 Deployment/Statefulset 配置和集群事件,以诊断和解决部署问题。

检查受影响的 Deployment 或 StatefulSet 的配置:

kubectl describe deployment <deployment_name> -n <namespace>

或:

kubectl describe statefulset <statefulset_name> -n <namespace>

查看所需的副本计数和当前副本计数,以确定是否存在任何差异。

查看集群事件,以识别与丢失的 Pod 副本相关的任何事件:

kubectl get events -n <namespace>

查找指示 Pod 逐出或部署失败的事件。

8. Pod 状态问题

为什么这很重要

检查 Pod 状态对于发现应用程序错误、资源不足或调度问题等问题非常重要。例如,如果 Pod 停滞在“等待”状态,则可能表明由于缺少资源或配置问题而无法启动。

行动

分析 Pod 日志、事件和配置,以排查和解决影响 Pod 稳定性和性能的根本问题。

查看 Pod 的日志以识别潜在的错误或问题:

kubectl logs <pod_name> -n <namespace>

检查 Pod 事件以了解影响 Pod 状态的最近更改或事件:

kubectl describe pod <pod_name> -n <namespace>

检查容器的配置以验证设置和资源分配:

kubectl describe pod <pod_name> -n <namespace>

9. Pod 重启和失败场景

为什么这很重要

频繁的 Pod 重启、容器崩溃、镜像拉取失败或内存不足 (OOM) 错误可能会影响应用程序的可靠性和用户体验,因此有效的 Kubernetes Pod 监控至关重要。想象一下,一个关键的微服务反复遇到内存不足错误。这可能会导致停机时间延长,从而可能导致收入损失和客户不满。没有人想要那样。

行动

如果 Pod 因为内存不足而不断重启,请查看其日志以了解原因:

kubectl logs <pod_name> -n <namespace>

查找 Pod 重启或失败的模式,例如内存不足错误、容器崩溃或镜像拉取失败。

如果 Pod 由于资源限制而重新启动,请考虑增加其资源限制:

kubectl edit pod <pod_name> -n <namespace>

10. ETCD leader 变化频繁或无 leader

为什么这很重要

监控 ETCD 集群的运行状况,在频繁更换领导者或缺少领导者时发出警报,这可能会影响集群的一致性和弹性。频繁更换领导者或缺少领导者表明集群通信或稳定性可能存在问题。就像在恋爱关系中一样,Kubernetes 集群中的良好沟通是其幸福的关键。😉

行动

调查 ETCD 集群运行状况、网络连接和磁盘性能,以确保正常运行和稳定性。

检查 ETCD 集群的健康状态并确定当前领导者:

etcdctl endpoint health --endpoints=<etcd_endpoints>

其中 <etcd_endpoints> 替换为你的 ETCD 集群的端点。

监控 ETCD 集群事件,了解领导者的频繁变更:

etcdctl watch --prefix / --rev=<current_revision> --endpoints=<etcd_endpoints>

验证 ETCD 节点之间的网络连通性,并检查 ETCD 节点上的磁盘性能,以防止 I/O 相关问题。

转载:Kubernetes 中必备的 10 个告警处置方法

这篇关于Kubernetes 中必备的 10 个告警处置方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1115269

相关文章

QT移植到RK3568开发板的方法步骤

《QT移植到RK3568开发板的方法步骤》本文主要介绍了QT移植到RK3568开发板的方法步骤,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录前言一、获取SDK1. 安装依赖2. 获取SDK资源包3. SDK工程目录介绍4. 获取补丁包二

Java反转字符串的五种方法总结

《Java反转字符串的五种方法总结》:本文主要介绍五种在Java中反转字符串的方法,包括使用StringBuilder的reverse()方法、字符数组、自定义StringBuilder方法、直接... 目录前言方法一:使用StringBuilder的reverse()方法方法二:使用字符数组方法三:使用自

java导出pdf文件的详细实现方法

《java导出pdf文件的详细实现方法》:本文主要介绍java导出pdf文件的详细实现方法,包括制作模板、获取中文字体文件、实现后端服务以及前端发起请求并生成下载链接,需要的朋友可以参考下... 目录使用注意点包含内容1、制作pdf模板2、获取pdf导出中文需要的文件3、实现4、前端发起请求并生成下载链接使

Linux虚拟机不显示IP地址的解决方法(亲测有效)

《Linux虚拟机不显示IP地址的解决方法(亲测有效)》本文主要介绍了通过VMware新装的Linux系统没有IP地址的解决方法,主要步骤包括:关闭虚拟机、打开VM虚拟网络编辑器、还原VMnet8或修... 目录前言步骤0.问题情况1.关闭虚拟机2.China编程打开VM虚拟网络编辑器3.1 方法一:点击还原VM

Android WebView无法加载H5页面的常见问题和解决方法

《AndroidWebView无法加载H5页面的常见问题和解决方法》AndroidWebView是一种视图组件,使得Android应用能够显示网页内容,它基于Chromium,具备现代浏览器的许多功... 目录1. WebView 简介2. 常见问题3. 网络权限设置4. 启用 JavaScript5. D

Java捕获ThreadPoolExecutor内部线程异常的四种方法

《Java捕获ThreadPoolExecutor内部线程异常的四种方法》这篇文章主要为大家详细介绍了Java捕获ThreadPoolExecutor内部线程异常的四种方法,文中的示例代码讲解详细,感... 目录方案 1方案 2方案 3方案 4结论方案 1使用 execute + try-catch 记录

Python中Windows和macOS文件路径格式不一致的解决方法

《Python中Windows和macOS文件路径格式不一致的解决方法》在Python中,Windows和macOS的文件路径字符串格式不一致主要体现在路径分隔符上,这种差异可能导致跨平台代码在处理文... 目录方法 1:使用 os.path 模块方法 2:使用 pathlib 模块(推荐)方法 3:统一使

SpringBoot项目启动错误:找不到或无法加载主类的几种解决方法

《SpringBoot项目启动错误:找不到或无法加载主类的几种解决方法》本文主要介绍了SpringBoot项目启动错误:找不到或无法加载主类的几种解决方法,具有一定的参考价值,感兴趣的可以了解一下... 目录方法1:更改IDE配置方法2:在Eclipse中清理项目方法3:使用Maven命令行在开发Sprin

JAVA SE包装类和泛型详细介绍及说明方法

《JAVASE包装类和泛型详细介绍及说明方法》:本文主要介绍JAVASE包装类和泛型的相关资料,包括基本数据类型与包装类的对应关系,以及装箱和拆箱的概念,并重点讲解了自动装箱和自动拆箱的机制,文... 目录1. 包装类1.1 基本数据类型和对应的包装类1.2 装箱和拆箱1.3 自动装箱和自动拆箱2. 泛型2

C# 委托中 Invoke/BeginInvoke/EndInvoke和DynamicInvoke 方法的区别和联系

《C#委托中Invoke/BeginInvoke/EndInvoke和DynamicInvoke方法的区别和联系》在C#中,委托(Delegate)提供了多种调用方式,包括Invoke、Begi... 目录前言一、 Invoke方法1. 定义2. 特点3. 示例代码二、 BeginInvoke 和 EndI