本文主要是介绍揭秘Kubernetes中的OOM Killer：追踪内存问题，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1 简介
OOM killer（Out of Memory killer）是Kubernetes中的一个重要机制，它有助于维护系统的稳定性并防止内存耗尽。当内存资源严重不足时，它充当最后的防线。在这种情况下，OOM killer会识别出导致内存超载的进程或Pod，并终止它以释放内存给系统的其他部分使用。通过牺牲一个进程，OOM killer防止了整个系统崩溃，确保了集群的整体稳定性。
1.1 OOM（Out of Memory）杀死进程是如何触发的
当Kubernetes中的一个Pod超过其指定的内存限制时，会触发一个OOM事件。容器运行时（如Docker）会将内存使用情况报告给Kubernetes的kubelet。kubelet会监控所有Pod的内存使用情况，并将其与各自的限制进行比较。如果一个Pod超过了其限制，kubelet会启动OOM killer来终止有问题的Pod，为其他关键工作负载释放内存资源。
1.2 理解内存指标和OOM决策
为了对OOM kills做出明智的决策，OOM killer依赖于从cAdvisor（容器顾问）获取的内存指标，并将其暴露给Kubernetes。OOM killer使用的主要指标是container_memory_working_set_bytes。它代表了容器活跃使用的内存页面，即无法被清除的内存估计值。这个指标作为OOM killer决定是否终止一个pod的基准。
在计算机系统中，内存是一项重要的资源，对于系统的性能和稳定性起着至关重要的作用。为了更好地了解和管理内存，我们需要了解不同的内存指标。 首先，我们有物理内存和虚拟内存。物理内存是计算机实际拥有的内存容量，而虚拟内存是通过硬盘上的页面文件来扩展物理内存的容量。虚拟内存的使用可以帮助系统处理大量的数据和程序，但也可能导致性能下降。 其次，我们有内存使用率和内存利用率。内存使用率是指当前正在使用的内存量与总内存容量的比例。内存利用率是指当前正在使用的内存量与可用内存容量的比例。这两个指标可以帮助我们了解系统内存的使用情况和效率。 另外，我们还有内存泄漏和内存碎片化。内存泄漏是指程序在使用完内存后没有正确释放，导致内存无法再次使用。内存碎片化是指内存被分割成多个小块，导致内存利用率降低。这两个问题都可能导致系统性能下降和不稳定。 最后，我们还有内存带宽和内存延迟。内存带宽是指内存传输数据的速度，而内存延迟是指从请求内存数据到接收数据的延迟时间。这两个指标可以帮助我们评估内存的性能和响应速度。 通过了解和区分这些内存指标，我们可以更好地管理和优化系统的内存资源，提高系统的性能和稳定性
虽然container_memory_usage_bytes似乎是监控内存利用的明显选择，但它包括缓存项，例如文件系统缓存，在内存压力下可能会被驱逐。因此，它不能准确反映OOM killer观察和处理的内存情况。另一方面，container_memory_working_set_bytes提供了更可靠的内存使用指标，与OOM killer监控的情况相一致。它关注的是不容易回收的内存。
1.3 如何调试内存消耗？
要跟踪应用程序中的内存增长，您可以监视提供内存使用信息的特定文件。通过将以下代码片段部署为应用程序的一部分，您可以在DEBUG模式下调用它以打印内存使用情况：
const fs = require('fs');// Function to read memory usage
function readMemoryUsage() {try {const memoryUsage = fs.readFileSync('/sys/fs/cgroup/memory/memory.usage_in_bytes', 'utf8');console.log(`Memory Usage: ${memoryUsage}`);} catch (error) {console.error('Error reading memory usage:', error);}
}// Call the function to read memory usage
readMemoryUsage();在这段代码中，使用 fs.readFileSync 方法来同步读取 /sys/fs/cgroup/memory/memory.usage_in_bytes 文件的内容。文件使用 'utf8' 编码来将数据解释为字符串。
该函数读取文件并将内存使用情况记录到控制台。如果在读取过程中发生错误，也会被捕获并记录。
注意：访问系统文件通常需要提升的权限。请确保以必要的权限或特权用户身份运行Node.js脚本。
1.4 获取节点堆使用情况的代码
const fs = require('fs');// Function to track memory growth
function trackMemoryGrowth() {const memoryUsage = process.memoryUsage();console.log(`Memory Usage (RSS): ${memoryUsage.rss}`);console.log(`Memory Usage (Heap Total): ${memoryUsage.heapTotal}`);console.log(`Memory Usage (Heap Used): ${memoryUsage.heapUsed}`);
}trackMemoryGrowth();
});2 K8s中关于CPU/内存的监控与探测
2.1 如何使用kubectl top在K8s中监控内存/CPU使用情况？
kubectl top 命令是 Kubernetes 中的一个强大工具，它可以帮助用户监控集群中 Pod 和节点的资源使用情况。它提供了关于内存和 CPU 利用率的实时信息，让用户能够识别潜在的瓶颈，解决性能问题，并做出关于资源分配的明智决策。接下来讲解如何使用 kubectl top 命令来监控 Pod 和节点的资源使用情况。
- kubectl top pod：监控Pod的内存和CPU使用情况，该命令提供了当前命名空间中所有Pod资源使用情况的概览。它显示了Pod名称、CPU使用情况、内存使用情况以及相应的资源利用率百分比。
- kubectl top pod <pod-name>：指定 Pod 提供详细的资源使用信息。 监控节点资源使用情况
- kubectl top node：监控集群中节点的内存和CPU使用情况，这个命令可以让你了解集群中所有节点的资源使用情况。它提供了节点名称、CPU使用率、内存使用率以及相应的资源利用百分比的信息。特定的节点来获取详细的资源使用信息： kubectl top node <node-name>
kubectl top 命令是一个有价值的工具，它允许您监控 Kubernetes 集群中的 Pod 和节点的内存和 CPU 使用情况。通过使用这个命令，您可以了解资源利用情况，检测性能瓶颈，并优化资源分配，确保应用程序的高效运行。
2.2 Docker环境如何监控容器cpu/内存使用情况？
内存显示从路径 /sys/fs/cgroup/memory 收集数据
# similar to top
# docker stats --no-stream <container id>在Linux上，Docker CLI通过从总内存使用中减去缓存使用量来报告内存使用情况。API不执行这样的计算，而是提供总内存使用量和来自缓存的数量，以便客户端根据需要使用数据。缓存使用量定义为cgroup v1主机上 memory.stat 文件中 total_inactive_file 字段的值。
在 Docker 19.03 和旧版本中，缓存使用量被定义为 cache 字段的值。在 cgroup v2 主机上，缓存使用量被定义为 inactive_file 字段的值。
memory_stats.usage 来自 /sys/fs/cgroup/memory/memory.usage_in_bytes 。memory_stats.stats.inactive_file 来自 /sys/fs/cgroup/memory/memory.stat 。
这篇关于揭秘Kubernetes中的OOM Killer：追踪内存问题的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
