【Docker 内核详解】cgroups 资源限制(一):概念、作用、术语

2023-10-29 00:36

本文主要是介绍【Docker 内核详解】cgroups 资源限制(一):概念、作用、术语,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

cgroups 资源限制(一):概念、作用、术语

  • 1.cgroups 是什么
  • 2.cgroups 的作用
  • 3.cgroups 术语表

当谈论 Docker 时,常常会聊到 Docker 的实现方式。很多开发者都知道,Docker 容器本质上是宿主机上的进程(容器所在的运行环境统一称为宿主机)。Docker 通过 namespace 实现了 资源隔离,通过 cgroups 实现了 资源限制,通过写时复制机制(copy-on-write)实现了 高效的文件操作。但当更进一步深入 namespacecgroups 等技术细节时,大部分开发者都会感到茫然无措。所以在这里,希望先带领大家走进 Linux 内核,了解 namespacecgroups 的技术细节。

在前面的博客中,我们了解了 Docker 背后使用的 资源隔离技术 namespace,通过系统调用构建一个相对隔离的 Shell 环境,也可以称之为简单的 “容器”。这一节将讲解另一个强大的内核工具 cgroups。它不仅可以限制被 namespace 隔离起来的资源,还可以 为资源设置权重计算使用量操控任务(进程或线程)启停 等。在本系列博客介绍完基本概念后,将详细讲解 Docker 中使用到的 cgroups 内容。

注意:在 Linux 系统中,内核本身的调度和管理并不对进程和线程进行区分,只根据 clone 创建时传入参数的不同,来从概念上区别进程和线程,所以本文统一称之为任务。

1.cgroups 是什么

cgroups 最初名为 process container,由 Google 工程师 P a u l M e n a g e Paul\ Menage Paul Menage R o h i t S e t h Rohit\ Seth Rohit Seth 于 2006 年提出,后来由于 container 有多重含义容易引起误解,就在 2007 年更名为 control groups,并整合进 Linux 内核,顾名思义就是把任务放到一个组里面统一加以控制。官方的定义如下:

cgroups 是 Linux 内核提供的一种机制,这种机制可以根据需求把一系列系统任务及其子任务整合(或分隔)到按资源划分等级的不同组内,从而为系统资源管理提供一个统一的框架。

通俗地说,cgroups 可以限制、记录任务组所使用的物理资源(包括 CPU、Memory、IO 等),为容器实现虚拟化提供了基本保证,是构建 Docker 等一系列虚拟化管理工具的基石。

对开发者来说,cgroups 有如下 4 个特点。

  • cgroups 的 API 以一个伪文件系统的方式实现,用户态的程序可以通过文件操作实现 cgroups 的组织管理。
  • cgroups 的组织管理操作单元可以细粒度到线程级别,另外用户可以创建和销毁 cgroup,从而实现资源再分配和管理。
  • 所有资源管理的功能都以子系统的方式实现,接口统一。
  • 子任务创建之初与其父任务处于同一个 cgroups 的控制组。

本质上来说,cgroups 是内核附加在程序上的一系列钩子(hook),通过程序运行时对资源的调度触发相应的钩子以达到资源追踪和限制的目的。

2.cgroups 的作用

实现 cgroups 的主要目的是为不同用户层面的资源管理,提供一个统一化的接口。从单个任务的资源控制到操作系统层面的虚拟化,cgroups 提供了以下四大功能。

  • 资源限制:cgroups 可以对任务使用的资源总额进行限制。如设定应用运行时使用内存的上限,一旦超过这个配额就发出 OOMOut of Memory)提示。
  • 优先级分配:通过分配的 CPU 时间片数量及磁盘 IO 带宽大小,实际上就相当于控制了任务运行的优先级。
  • 资源统计:cgroups 可以统计系统的资源使用量,如 CPU 使用时长、内存用量等,这个功能非常适用于计费。
  • 任务控制:cgroups 可以对任务执行挂起、恢复等操作。

过去有一段时间,内核开发者甚至把 namespace 也作为一个 cgroups 的子系统加入进来,也就是说 cgroups 曾经甚至还包含了资源隔离的能力。但是资源隔离会给 cgroups 带来许多问题,如 pid namespace 加入后,PID 在循环出现的时候,cgroup 会出现命名冲突、cgroup 创建后进入新的 namespace 导致其他子系统资源脱离了控制等,所以在 2011 年就被移除了。

3.cgroups 术语表

  • task任务):在 cgroups 的术语中,任务表示系统的一个进程或线程。
  • cgroup控制组):cgroups 中的资源控制都以 cgroup 为单位实现。cgroup 表示 按某种资源控制标准划分而成的任务组,包含一个或多个子系统。一个任务可以加入某个 cgroup,也可以从某个 cgroup 迁移到另外一个 cgroup。
  • subsystem子系统):cgroups 中的子系统就是一个资源调度控制器。比如 CPU 子系统可以控制 CPU 时间分配,内存子系统可以限制 cgroup 内存使用量。
  • hierarchy层级):层级由一系列 cgroup 以一个树状结构排列而成,每个层级通过绑定对应的子系统进行资源控制。层级中的 cgroup 节点可以包含零或多个子节点,子节点继承父节点挂载的子系统。整个操作系统可以有多个层级。

这篇关于【Docker 内核详解】cgroups 资源限制(一):概念、作用、术语的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/297044

相关文章

JAVA系统中Spring Boot应用程序的配置文件application.yml使用详解

《JAVA系统中SpringBoot应用程序的配置文件application.yml使用详解》:本文主要介绍JAVA系统中SpringBoot应用程序的配置文件application.yml的... 目录文件路径文件内容解释1. Server 配置2. Spring 配置3. Logging 配置4. Ma

mac中资源库在哪? macOS资源库文件夹详解

《mac中资源库在哪?macOS资源库文件夹详解》经常使用Mac电脑的用户会发现,找不到Mac电脑的资源库,我们怎么打开资源库并使用呢?下面我们就来看看macOS资源库文件夹详解... 在 MACOS 系统中,「资源库」文件夹是用来存放操作系统和 App 设置的核心位置。虽然平时我们很少直接跟它打交道,但了

关于Maven中pom.xml文件配置详解

《关于Maven中pom.xml文件配置详解》pom.xml是Maven项目的核心配置文件,它描述了项目的结构、依赖关系、构建配置等信息,通过合理配置pom.xml,可以提高项目的可维护性和构建效率... 目录1. POM文件的基本结构1.1 项目基本信息2. 项目属性2.1 引用属性3. 项目依赖4. 构

Rust 数据类型详解

《Rust数据类型详解》本文介绍了Rust编程语言中的标量类型和复合类型,标量类型包括整数、浮点数、布尔和字符,而复合类型则包括元组和数组,标量类型用于表示单个值,具有不同的表示和范围,本文介绍的非... 目录一、标量类型(Scalar Types)1. 整数类型(Integer Types)1.1 整数字

Java操作ElasticSearch的实例详解

《Java操作ElasticSearch的实例详解》Elasticsearch是一个分布式的搜索和分析引擎,广泛用于全文搜索、日志分析等场景,本文将介绍如何在Java应用中使用Elastics... 目录简介环境准备1. 安装 Elasticsearch2. 添加依赖连接 Elasticsearch1. 创

Redis缓存问题与缓存更新机制详解

《Redis缓存问题与缓存更新机制详解》本文主要介绍了缓存问题及其解决方案,包括缓存穿透、缓存击穿、缓存雪崩等问题的成因以及相应的预防和解决方法,同时,还详细探讨了缓存更新机制,包括不同情况下的缓存更... 目录一、缓存问题1.1 缓存穿透1.1.1 问题来源1.1.2 解决方案1.2 缓存击穿1.2.1

PyTorch使用教程之Tensor包详解

《PyTorch使用教程之Tensor包详解》这篇文章介绍了PyTorch中的张量(Tensor)数据结构,包括张量的数据类型、初始化、常用操作、属性等,张量是PyTorch框架中的核心数据结构,支持... 目录1、张量Tensor2、数据类型3、初始化(构造张量)4、常用操作5、常用属性5.1 存储(st

Python 中 requests 与 aiohttp 在实际项目中的选择策略详解

《Python中requests与aiohttp在实际项目中的选择策略详解》本文主要介绍了Python爬虫开发中常用的两个库requests和aiohttp的使用方法及其区别,通过实际项目案... 目录一、requests 库二、aiohttp 库三、requests 和 aiohttp 的比较四、requ

VUE动态绑定class类的三种常用方式及适用场景详解

《VUE动态绑定class类的三种常用方式及适用场景详解》文章介绍了在实际开发中动态绑定class的三种常见情况及其解决方案,包括根据不同的返回值渲染不同的class样式、给模块添加基础样式以及根据设... 目录前言1.动态选择class样式(对象添加:情景一)2.动态添加一个class样式(字符串添加:情

Python在固定文件夹批量创建固定后缀的文件(方法详解)

《Python在固定文件夹批量创建固定后缀的文件(方法详解)》文章讲述了如何使用Python批量创建后缀为.md的文件夹,生成100个,代码中需要修改的路径、前缀和后缀名,并提供了注意事项和代码示例,... 目录1. python需求的任务2. Python代码的实现3. 代码修改的位置4. 运行结果5.