【Docker 内核详解】cgroups 资源限制(一):概念、作用、术语

2023-10-29 00:36

本文主要是介绍【Docker 内核详解】cgroups 资源限制(一):概念、作用、术语,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

cgroups 资源限制(一):概念、作用、术语

  • 1.cgroups 是什么
  • 2.cgroups 的作用
  • 3.cgroups 术语表

当谈论 Docker 时,常常会聊到 Docker 的实现方式。很多开发者都知道,Docker 容器本质上是宿主机上的进程(容器所在的运行环境统一称为宿主机)。Docker 通过 namespace 实现了 资源隔离,通过 cgroups 实现了 资源限制,通过写时复制机制(copy-on-write)实现了 高效的文件操作。但当更进一步深入 namespacecgroups 等技术细节时,大部分开发者都会感到茫然无措。所以在这里,希望先带领大家走进 Linux 内核,了解 namespacecgroups 的技术细节。

在前面的博客中,我们了解了 Docker 背后使用的 资源隔离技术 namespace,通过系统调用构建一个相对隔离的 Shell 环境,也可以称之为简单的 “容器”。这一节将讲解另一个强大的内核工具 cgroups。它不仅可以限制被 namespace 隔离起来的资源,还可以 为资源设置权重计算使用量操控任务(进程或线程)启停 等。在本系列博客介绍完基本概念后,将详细讲解 Docker 中使用到的 cgroups 内容。

注意:在 Linux 系统中,内核本身的调度和管理并不对进程和线程进行区分,只根据 clone 创建时传入参数的不同,来从概念上区别进程和线程,所以本文统一称之为任务。

1.cgroups 是什么

cgroups 最初名为 process container,由 Google 工程师 P a u l M e n a g e Paul\ Menage Paul Menage R o h i t S e t h Rohit\ Seth Rohit Seth 于 2006 年提出,后来由于 container 有多重含义容易引起误解,就在 2007 年更名为 control groups,并整合进 Linux 内核,顾名思义就是把任务放到一个组里面统一加以控制。官方的定义如下:

cgroups 是 Linux 内核提供的一种机制,这种机制可以根据需求把一系列系统任务及其子任务整合(或分隔)到按资源划分等级的不同组内,从而为系统资源管理提供一个统一的框架。

通俗地说,cgroups 可以限制、记录任务组所使用的物理资源(包括 CPU、Memory、IO 等),为容器实现虚拟化提供了基本保证,是构建 Docker 等一系列虚拟化管理工具的基石。

对开发者来说,cgroups 有如下 4 个特点。

  • cgroups 的 API 以一个伪文件系统的方式实现,用户态的程序可以通过文件操作实现 cgroups 的组织管理。
  • cgroups 的组织管理操作单元可以细粒度到线程级别,另外用户可以创建和销毁 cgroup,从而实现资源再分配和管理。
  • 所有资源管理的功能都以子系统的方式实现,接口统一。
  • 子任务创建之初与其父任务处于同一个 cgroups 的控制组。

本质上来说,cgroups 是内核附加在程序上的一系列钩子(hook),通过程序运行时对资源的调度触发相应的钩子以达到资源追踪和限制的目的。

2.cgroups 的作用

实现 cgroups 的主要目的是为不同用户层面的资源管理,提供一个统一化的接口。从单个任务的资源控制到操作系统层面的虚拟化,cgroups 提供了以下四大功能。

  • 资源限制:cgroups 可以对任务使用的资源总额进行限制。如设定应用运行时使用内存的上限,一旦超过这个配额就发出 OOMOut of Memory)提示。
  • 优先级分配:通过分配的 CPU 时间片数量及磁盘 IO 带宽大小,实际上就相当于控制了任务运行的优先级。
  • 资源统计:cgroups 可以统计系统的资源使用量,如 CPU 使用时长、内存用量等,这个功能非常适用于计费。
  • 任务控制:cgroups 可以对任务执行挂起、恢复等操作。

过去有一段时间,内核开发者甚至把 namespace 也作为一个 cgroups 的子系统加入进来,也就是说 cgroups 曾经甚至还包含了资源隔离的能力。但是资源隔离会给 cgroups 带来许多问题,如 pid namespace 加入后,PID 在循环出现的时候,cgroup 会出现命名冲突、cgroup 创建后进入新的 namespace 导致其他子系统资源脱离了控制等,所以在 2011 年就被移除了。

3.cgroups 术语表

  • task任务):在 cgroups 的术语中,任务表示系统的一个进程或线程。
  • cgroup控制组):cgroups 中的资源控制都以 cgroup 为单位实现。cgroup 表示 按某种资源控制标准划分而成的任务组,包含一个或多个子系统。一个任务可以加入某个 cgroup,也可以从某个 cgroup 迁移到另外一个 cgroup。
  • subsystem子系统):cgroups 中的子系统就是一个资源调度控制器。比如 CPU 子系统可以控制 CPU 时间分配,内存子系统可以限制 cgroup 内存使用量。
  • hierarchy层级):层级由一系列 cgroup 以一个树状结构排列而成,每个层级通过绑定对应的子系统进行资源控制。层级中的 cgroup 节点可以包含零或多个子节点,子节点继承父节点挂载的子系统。整个操作系统可以有多个层级。

这篇关于【Docker 内核详解】cgroups 资源限制(一):概念、作用、术语的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/297044

相关文章

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

如何用Docker运行Django项目

本章教程,介绍如何用Docker创建一个Django,并运行能够访问。 一、拉取镜像 这里我们使用python3.11版本的docker镜像 docker pull python:3.11 二、运行容器 这里我们将容器内部的8080端口,映射到宿主机的80端口上。 docker run -itd --name python311 -p

OpenHarmony鸿蒙开发( Beta5.0)无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息,即可快速实现设备配网,是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递,利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力,实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后,即可发送相关配网数据。同时还支持与常规Sof

内核启动时减少log的方式

内核引导选项 内核引导选项大体上可以分为两类:一类与设备无关、另一类与设备有关。与设备有关的引导选项多如牛毛,需要你自己阅读内核中的相应驱动程序源码以获取其能够接受的引导选项。比如,如果你想知道可以向 AHA1542 SCSI 驱动程序传递哪些引导选项,那么就查看 drivers/scsi/aha1542.c 文件,一般在前面 100 行注释里就可以找到所接受的引导选项说明。大多数选项是通过"_

金融业开源技术 术语

金融业开源技术  术语 1  范围 本文件界定了金融业开源技术的常用术语。 本文件适用于金融业中涉及开源技术的相关标准及规范性文件制定和信息沟通等活动。

6.1.数据结构-c/c++堆详解下篇(堆排序,TopK问题)

上篇:6.1.数据结构-c/c++模拟实现堆上篇(向下,上调整算法,建堆,增删数据)-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小): 2.2 C语言代码(手写堆) 2.3 C++代码(使用优先级队列 priority_queue)

poj 2135 有流量限制的最小费用最大流

题意: 农场里有n块地,其中约翰的家在1号地,二n号地有个很大的仓库。 农场有M条道路(双向),道路i连接着ai号地和bi号地,长度为ci。 约翰希望按照从家里出发,经过若干块地后到达仓库,然后再返回家中的顺序带朋友参观。 如果要求往返不能经过同一条路两次,求参观路线总长度的最小值。 解析: 如果只考虑去或者回的情况,问题只不过是无向图中两点之间的最短路问题。 但是现在要去要回

poj 3422 有流量限制的最小费用流 反用求最大 + 拆点

题意: 给一个n*n(50 * 50) 的数字迷宫,从左上点开始走,走到右下点。 每次只能往右移一格,或者往下移一格。 每个格子,第一次到达时可以获得格子对应的数字作为奖励,再次到达则没有奖励。 问走k次这个迷宫,最大能获得多少奖励。 解析: 拆点,拿样例来说明: 3 2 1 2 3 0 2 1 1 4 2 3*3的数字迷宫,走两次最大能获得多少奖励。 将每个点拆成两个

poj 2195 bfs+有流量限制的最小费用流

题意: 给一张n * m(100 * 100)的图,图中” . " 代表空地, “ M ” 代表人, “ H ” 代表家。 现在,要你安排每个人从他所在的地方移动到家里,每移动一格的消耗是1,求最小的消耗。 人可以移动到家的那一格但是不进去。 解析: 先用bfs搞出每个M与每个H的距离。 然后就是网络流的建图过程了,先抽象出源点s和汇点t。 令源点与每个人相连,容量为1,费用为