kubelet gc源码分析

2024-05-10 17:58
文章标签 分析 源码 gc kubelet

本文主要是介绍kubelet gc源码分析，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

kubelet是负载干活的组件，它会定期的清理多余死掉的容器和镜像，这篇blog基于kubernetes1.7.6的代码，关于gc的深入源码分析
好了，先看gc是随着kubelet启动而启动的pkg/kubelet/kubelet.go，

func (kl *Kubelet) StartGarbageCollection() {loggedContainerGCFailure := falsego wait.Until(func() {if err := kl.containerGC.GarbageCollect(); err != nil {glog.Errorf("Container garbage collection failed: %v", err)kl.recorder.Eventf(kl.nodeRef, v1.EventTypeWarning, events.ContainerGCFailed, err.Error())loggedContainerGCFailure = true} else {var vLevel glog.Level = 4if loggedContainerGCFailure {vLevel = 1loggedContainerGCFailure = false}glog.V(vLevel).Infof("Container garbage collection succeeded")}}, ContainerGCPeriod, wait.NeverStop)prevImageGCFailed := falsego wait.Until(func() {if err := kl.imageManager.GarbageCollect(); err != nil {if prevImageGCFailed {glog.Errorf("Image garbage collection failed multiple times in a row: %v", err)// Only create an event for repeated failureskl.recorder.Eventf(kl.nodeRef, v1.EventTypeWarning, events.ImageGCFailed, err.Error())} else {glog.Errorf("Image garbage collection failed once. Stats initialization may not have completed yet: %v", err)}prevImageGCFailed = true} else {var vLevel glog.Level = 4if prevImageGCFailed {vLevel = 1prevImageGCFailed = false}glog.V(vLevel).Infof("Image garbage collection succeeded")}}, ImageGCPeriod, wait.NeverStop)
}

上面代码分别启动的容器的gc（containerGC.GarbageCollect()）和镜像的gc（imageManager.GarbageCollect()），
先看容器的gc pkg/kubelet/kuberuntime/kuberuntime_gc.go，

func (cgc *containerGC) GarbageCollect(gcPolicy kubecontainer.ContainerGCPolicy, allSourcesReady bool, evictNonDeletedPods bool) error {// Remove evictable containersif err := cgc.evictContainers(gcPolicy, allSourcesReady, evictNonDeletedPods); err != nil {return err}// Remove sandboxes with zero containersif err := cgc.evictSandboxes(evictNonDeletedPods); err != nil {return err}// Remove pod sandbox log directoryreturn cgc.evictPodLogsDirectories(allSourcesReady)
}

这里删除容器分为两个部分，一个是删除业务容器，一个是删除Sandbox容器，当然最后都会去删除他们的日志目录。

业务容器删除

先看删除业务容器的过程

func (cgc *containerGC) evictContainers(gcPolicy kubecontainer.ContainerGCPolicy, allSourcesReady bool, evictNonDeletedPods bool) error {// Separate containers by evict units.evictUnits, err := cgc.evictableContainers(gcPolicy.MinAge)if err != nil {return err}// Remove deleted pod containers if all sources are ready.if allSourcesReady {for key, unit := range evictUnits {if cgc.isPodDeleted(key.uid) || evictNonDeletedPods {cgc.removeOldestN(unit, len(unit)) // Remove all.delete(evictUnits, key)}}}// Enforce max containers per evict unit.if gcPolicy.MaxPerPodContainer >= 0 {cgc.enforceMaxContainersPerEvictUnit(evictUnits, gcPolicy.MaxPerPodContainer)}// Enforce max total number of containers.if gcPolicy.MaxContainers >= 0 && evictUnits.NumContainers() > gcPolicy.MaxContainers {// Leave an equal number of containers per evict unit (min: 1).numContainersPerEvictUnit := gcPolicy.MaxContainers / evictUnits.NumEvictUnits()if numContainersPerEvictUnit < 1 {numContainersPerEvictUnit = 1}cgc.enforceMaxContainersPerEvictUnit(evictUnits, numContainersPerEvictUnit)// If we still need to evict, evict oldest first.numContainers := evictUnits.NumContainers()if numContainers > gcPolicy.MaxContainers {flattened := make([]containerGCInfo, 0, numContainers)for key := range evictUnits {flattened = append(flattened, evictUnits[key]...)}sort.Sort(byCreated(flattened))cgc.removeOldestN(flattened, numContainers-gcPolicy.MaxContainers)}}return nil
}

上面的代码做的多层判断，首先是删除超过gcPolicy.MinAge时间死掉pod的容器，然后删除单个pod运行最大死亡容器gcPolicy.MaxPerPodContainer，最后是删除整个机器上面死亡容器的上限。
evictContainers是过去可以驱逐的容器（退出且超过gcPolicy.MinAge时间的容器）具体看下面：

func (cgc *containerGC) evictableContainers(minAge time.Duration) (containersByEvictUnit, error) {containers, err := cgc.manager.getKubeletContainers(true)...for _, container := range containers {if container.State == runtimeapi.ContainerState_CONTAINER_RUNNING {continue}createdAt := time.Unix(0, container.CreatedAt)if newestGCTime.Before(createdAt) {continue}...
}

然后是删除单个pod死亡容器上限的

func (cgc *containerGC) enforceMaxContainersPerEvictUnit(evictUnits containersByEvictUnit, MaxContainers int) {for key := range evictUnits {toRemove := len(evictUnits[key]) - MaxContainersif toRemove > 0 {evictUnits[key] = cgc.removeOldestN(evictUnits[key], toRemove)}}
}

最后是删除超过上限的死亡容器

numContainers := evictUnits.NumContainers()if numContainers > gcPolicy.MaxContainers {flattened := make([]containerGCInfo, 0, numContainers)for key := range evictUnits {flattened = append(flattened, evictUnits[key]...)}sort.Sort(byCreated(flattened))cgc.removeOldestN(flattened, numContainers-gcPolicy.MaxContainers)}

Sandbox容器删除

然后是删除Sandbox容器，这里pkg/kubelet/kuberuntime/kuberuntime_gc.go

func (cgc *containerGC) evictSandboxes(evictNonDeletedPods bool) error {containers, err := cgc.manager.getKubeletContainers(true)if err != nil {return err}sandboxes, err := cgc.manager.getKubeletSandboxes(true)if err != nil {return err}sandboxesByPod := make(sandboxesByPodUID)for _, sandbox := range sandboxes {podUID := types.UID(sandbox.Metadata.Uid)sandboxInfo := sandboxGCInfo{id:         sandbox.Id,createTime: time.Unix(0, sandbox.CreatedAt),}// Set ready sandboxes to be active.if sandbox.State == runtimeapi.PodSandboxState_SANDBOX_READY {sandboxInfo.active = true}// 查询这个Sandbox是否有关联容器hasContainers := falsesandboxID := sandbox.Idfor _, container := range containers {if container.PodSandboxId == sandboxID {hasContainers = truebreak}}if hasContainers {sandboxInfo.active = true}sandboxesByPod[podUID] = append(sandboxesByPod[podUID], sandboxInfo)}// Sort the sandboxes by age.for uid := range sandboxesByPod {sort.Sort(sandboxByCreated(sandboxesByPod[uid]))}for podUID, sandboxes := range sandboxesByPod {if cgc.isPodDeleted(podUID) || evictNonDeletedPods {// 如果这个pod是要被驱逐出这台机器的话，所以的Sandbox直接全部回收cgc.removeOldestNSandboxes(sandboxes, len(sandboxes))} else {// 如果不是则保留最新的一个cgc.removeOldestNSandboxes(sandboxes, len(sandboxes)-1)}}return nil
}

与上面业务容器不同的是，Sandbox的删除需要满足三个条件，缺一不可，第一是必须不能是ready状态的，第二Sandbox不能关联容器，第三如果pod不在这个节点上可以全部删除，如果仍然在这个节点上，则还需要保留最新的一个。

这篇关于kubelet gc源码分析的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/977152。

相关文章

性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟&nbsp;开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚&nbsp;第一站：海量资源，应有尽有 走进“智听
阅读更多...
Java ArrayList扩容机制 （源码解读）

Java ArrayList扩容机制 （源码解读）

结论：初始长度为10，若所需长度小于1.5倍原长度，则按照1.5倍扩容。若不够用则按照所需长度扩容。 一. 明确类内部重要变量含义         1：数组默认长度         2:这是一个共享的空数组实例，用于明确创建长度为0时的ArrayList ，比如通过 new ArrayList<>(0)，ArrayList 内部的数组 elementData 会指向这个 EMPTY_EL
阅读更多...
如何在Visual Studio中调试.NET源码

如何在Visual Studio中调试.NET源码

今天偶然在看别人代码时，发现在他的代码里使用了Any判断List<T>是否为空。 我一般的做法是先判断是否为null，再判断Count。 看了一下Count的源码如下： 1 [__DynamicallyInvokable]2 public int Count3 {4 [__DynamicallyInvokable]5 get
阅读更多...
SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型，它综合考虑了土壤-水分-大气以及植被间的相互作用；是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程，使其能够精确的模拟土壤中水分的运动，而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者
阅读更多...
MOLE 2.5 分析分子通道和孔隙

MOLE 2.5 分析分子通道和孔隙

软件介绍 生物大分子通道和孔隙在生物学中发挥着重要作用，例如在分子识别和酶底物特异性方面。 我们介绍了一种名为 MOLE 2.5 的高级软件工具，该工具旨在分析分子通道和孔隙。 与其他可用软件工具的基准测试表明，MOLE 2.5 相比更快、更强大、功能更丰富。作为一项新功能，MOLE 2.5 可以估算已识别通道的物理化学性质。 软件下载 https://pan.quark.cn/s/57
阅读更多...
工厂ERP管理系统实现源码（JAVA）

工厂ERP管理系统实现源码（JAVA）

工厂进销存管理系统是一个集采购管理、仓库管理、生产管理和销售管理于一体的综合解决方案。该系统旨在帮助企业优化流程、提高效率、降低成本，并实时掌握各环节的运营状况。 在采购管理方面，系统能够处理采购订单、供应商管理和采购入库等流程，确保采购过程的透明和高效。仓库管理方面，实现库存的精准管理，包括入库、出库、盘点等操作，确保库存数据的准确性和实时性。 生产管理模块则涵盖了生产计划制定、物料需求计划、
阅读更多...
【编程底层思考】垃圾收集机制，GC算法，垃圾收集器类型概述

【编程底层思考】垃圾收集机制，GC算法，垃圾收集器类型概述

Java的垃圾收集（Garbage Collection，GC）机制是Java语言的一大特色，它负责自动管理内存的回收，释放不再使用的对象所占用的内存。以下是对Java垃圾收集机制的详细介绍： 一、垃圾收集机制概述： 对象存活判断：垃圾收集器定期检查堆内存中的对象，判断哪些对象是“垃圾”，即不再被任何引用链直接或间接引用的对象。内存回收：将判断为垃圾的对象占用的内存进行回收，以便重新使用。
阅读更多...
衡石分析平台使用手册-单机安装及启动

衡石分析平台使用手册-单机安装及启动

单机安装及启动​ 本文讲述如何在单机环境下进行 HENGSHI SENSE 安装的操作过程。 在安装前请确认网络环境，如果是隔离环境，无法连接互联网时，请先按照 离线环境安装依赖的指导进行依赖包的安装，然后按照本文的指导继续操作。如果网络环境可以连接互联网，请直接按照本文的指导进行安装。 准备工作​ 请参考安装环境文档准备安装环境。 配置用户与安装目录。 在操作前请检查您是否有 sud
阅读更多...
线性因子模型 - 独立分量分析（ICA）篇

线性因子模型 - 独立分量分析（ICA）篇

序言 线性因子模型是数据分析与机器学习中的一类重要模型，它们通过引入潜变量（ latent variables \text{latent variables} latent variables）来更好地表征数据。其中，独立分量分析（ ICA \text{ICA} ICA）作为线性因子模型的一种，以其独特的视角和广泛的应用领域而备受关注。 ICA \text{ICA} ICA旨在将观察到的复杂信号
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2