【Docker 内核详解】cgroups 资源限制(三):实现方式及工作原理简介

本文主要是介绍【Docker 内核详解】cgroups 资源限制(三):实现方式及工作原理简介,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

实现方式及工作原理简介

  • 1.cgroups 如何判断资源超限及超出限额之后的措施
  • 2.cgroup 与任务之间的关联关系
  • 3.Docker 在使用 cgroup 时的注意事项
  • 4./sys/fs/cgroup/cpu/docker/[container-ID] 下文件的作用

在对 cgroups 规则和子系统有了一定了解以后,下面简单介绍操作系统内核级别上 cgroups 的工作原理,希望能有助于大家理解 cgroups 如何对 Docker 容器中的进程产生作用。cgroups 的实现本质上是 给任务挂上钩子,当任务运行的过程中涉及某种资源时,就会触发钩子上所附带的子系统进行检测,根据资源类别的不同,使用对应的技术进行资源限制和优先级分配

1.cgroups 如何判断资源超限及超出限额之后的措施

对于不同的系统资源,cgroups 提供了统一的接口对资源进行控制和统计,但限制的具体方式则不尽相同。比如 memory 子系统,会在描述内存状态的 mm_struct 结构体中记录它所属的 cgroup,当进程需要申请更多内存时,就会触发 cgroup 用量检测,用量超过 cgroup 规定的限额,则拒绝用户的内存申请,否则就给予相应内存并在 cgroup 的统计信息中记录。实际实现要比以上描述复杂得多,不仅需考虑内存的分配与回收,还需考虑不同类型的内存如 cache(缓存)和 swap(交换区内存拓展)等。

进程所需的内存超过它所属的 cgroup 最大限额以后,如果设置了 OOM Control(内存超限控制),那么进程就会收到 OOM 信号并结束;否则进程就会被挂起,进入睡眠状态,直到 cgroup 中其他进程释放了足够的内存资源为止。Docker 中默认是开启 OOM Control 的。其他子系统的实现与此类似,cgroups 提供了多种资源限制的策略供用户选择。

2.cgroup 与任务之间的关联关系

实现上,cgroup 与任务之间是多对多的关系,所以它们并不直接关联,而是通过一个 中间结构 把双向的关联信息记录起来。每个任务结构体 task_struct 中都包含了一个指针,可以查询到对应 cgroup 的情况,同时也可以查询到各个子系统的状态,这些子系统状态中也包含了找到任务的指针,不同类型的子系统按需定义本身的控制信息结构体,最终在自定义的结构体中把子系统状态指针包含进去,然后内核通过 container_of(这个宏可以通过一个结构体的成员找到结构体自身)等宏定义来获取对应的结构体,关联到任务,以此达到资源限制的目的。

同时,为了让 cgroups 便于用户理解和使用,也为了用精简的内核代码为 cgroup 提供熟悉的权限和命名空间管理,内核开发者们按照 Linux 虚拟文件系统转换器Virtual Filesystem SwitchVFS)接口实现了一套名为 cgroup 的文件系统,非常巧妙地用来表示 cgroups 的层级概念,把各个子系统的实现都封装到文件系统的各项操作中。大家有兴趣可以查阅 VFS 的相关内容,在此就不赘述了。

3.Docker 在使用 cgroup 时的注意事项

在实际的使用过程中,Docker 需要通过挂载 cgroup 文件系统新建一个层级结构,挂载时指定要绑定的子系统。把 cgroup 文件系统挂载上以后,就可以像操作文件一样对 cgroups 的层级进行浏览和操作管理(包括权限管理、子文件管理等)。除了 cgroup 文件系统以外,内核没有为 cgroups 的访问和操作添加任何系统调用。

如果新建的层级结构要绑定的子系统与目前已经存在的层级结构完全相同,那么新的挂载会重用原来已经存在的那一套(指向相同的 css_set)。否则,如果要绑定的子系统已经被别的层级绑定,就会返回挂载失败的错误。如果一切顺利,挂载完成后层级就被激活并与相应子系统关联起来,可以开始使用了。

目前无法将一个新的子系统绑定到激活的层级上,或者从一个激活的层级中解除某个子系统的绑定。

当一个顶层的 cgroup 文件系统被卸载(umount)时,如果其中创建过深层次的后代 cgroup 目录,那么就算上层的 cgroup 被卸载了,层级也是激活状态,其后代 cgroup 中的配置依旧有效。只有递归式地卸载层级中的所有 cgroup,那个层级才会被真正删除。在创建的层级中创建文件夹,就类似于 fork 了一个后代 cgroup,后代 cgroup 中默认继承原有 cgroup 中的配置属性,但是可以根据需求对配置参数进行调整。这样就把一个大的 cgroup 系统分割成一个个嵌套的、可动态变化的 “软分区”。

4./sys/fs/cgroup/cpu/docker/[container-ID] 下文件的作用

前面已经说过,以资源开头(比如 cpu.shares)的文件都是用来限制这个 cgroup 下任务的可用的配置文件。一个 cgroup 创建完成,不管绑定了何种子系统,其目录下都会生成以下几个文件,用来描述 cgroup 的相应信息。同样,把相应信息写入这些配置文件就可以生效,内容如下。

  • tasks:这个文件中罗列了所有在该 cgroup 中任务的 TID,即所有进程或线程的 ID。该文件并不保证任务的 TID 有序,把一个任务的 TID 写到这个文件中就意味着把这个任务加入这个 cgroup 中,如果这个任务所在的任务组与其不在同一个 cgroup,那么会在 cgroup.procs 文件里记录一个该任务所在任务组的 TGID 值,但是该任务组的其他任务并不受影响。
  • cgroup.procs:这个文件罗列所有在该 cgroup 中的 TGID(线程组 ID),即线程组中第一个进程的 PID。该文件并不保证 TGID 有序和无重复。写一个 TGID 到这个文件就意味着把与其相关的线程都加到这个 cgroup 中。
  • notify_on_release:填 0 0 0 1 1 1,表示是否在 cgroup 中最后一个任务退出时通知运行 release agent,默认情况下是 0 0 0,表示不运行。
  • release_agent:指定 release agent 执行脚本的文件路径(该文件在最顶层 cgroup 目录中存在),这个脚本通常用于自动化卸载无用的 cgroup。

本系列由浅入深地讲解了 cgroups,从 cgroups 是什么,到 cgroups 该怎么用,最后对大量的 cgroup 子系统配置参数进行了梳理。可以看到,内核对 cgroups 的支持已经较多,但是依旧有许多工作需要完善。如网络方面目前通过 TC(Traffic Controller)来控制,未来需要统一整合;优先级调度方面依旧有很大的改进空间。

这篇关于【Docker 内核详解】cgroups 资源限制(三):实现方式及工作原理简介的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/303154

相关文章

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

如何用Docker运行Django项目

本章教程,介绍如何用Docker创建一个Django,并运行能够访问。 一、拉取镜像 这里我们使用python3.11版本的docker镜像 docker pull python:3.11 二、运行容器 这里我们将容器内部的8080端口,映射到宿主机的80端口上。 docker run -itd --name python311 -p

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

OpenHarmony鸿蒙开发( Beta5.0)无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息,即可快速实现设备配网,是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递,利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力,实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后,即可发送相关配网数据。同时还支持与常规Sof

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

hdu4407(容斥原理)

题意:给一串数字1,2,......n,两个操作:1、修改第k个数字,2、查询区间[l,r]中与n互质的数之和。 解题思路:咱一看,像线段树,但是如果用线段树做,那么每个区间一定要记录所有的素因子,这样会超内存。然后我就做不来了。后来看了题解,原来是用容斥原理来做的。还记得这道题目吗?求区间[1,r]中与p互质的数的个数,如果不会的话就先去做那题吧。现在这题是求区间[l,r]中与n互质的数的和

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time