cgroup介绍、安装和控制cpu,内存,io示例

2024-01-17 06:58

本文主要是介绍cgroup介绍、安装和控制cpu,内存,io示例,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

cgroup介绍

        cgroup是control group的简称,它为Linux内核提供了一种任务聚集和划分的机制,通过一组参数集合将一些任务组织成一个或多个子系统。    

        Cgroups是control groups的缩写,最初由Google工程师提出,后来编进linux内核。

        Cgroups是实现IaaS虚拟化(kvm、lxc等),PaaS容器沙箱(Docker等)的资源管理控制部分的底层基础

        子系统是根据cgroup对任务的划分功能将任务按照一种指定的属性划分成的一个组,主要用来实现资源的控制。在cgroup中,划分成的任务组以层次结构的形式组织,多个子系统形成一个数据结构中类似多根树的结构。cgroup包含了多个孤立的子系统,每一个子系统代表单一的资源,目前,redhat默认支持10个子系统,但默认只挂载了8个子系统,ubuntu 12.04 默认支持8个子系统,但默认只挂载了5个子系统。

cgroup子系统介绍

当然也用户可以自定义子系统并进行挂载。

下面对每一个子系统进行简单的介绍:

  1. blkio 设置限制每个块设备的输入输出控制。例如:磁盘,光盘以及usb等等。

  2. cpu 使用调度程序为cgroup任务提供cpu的访问。

  3. cpuacct 产生cgroup任务的cpu资源报告。

  4. cpuset 如果是多核心的cpu,这个子系统会为cgroup任务分配单独的cpu和内存。

  5. devices 允许或拒绝cgroup任务对设备的访问。

  6. freezer 暂停和恢复cgroup任务。

  7. memory 设置每个cgroup的内存限制以及产生内存资源报告。

  8. net_cls 标记每个网络包以供cgroup方便使用。

  9. ns 名称空间子系统。

  10. perf_event 增加了对每group的监测跟踪的能力,即可以监测属于某个特定的group的所有线程以及             运行在特定CPU上的线程,此功能对于监测整个group非常有用,具体参见 http://lwn.net/Articles/421574/

libcgroup工具安装

以Centos 6.4为例

yum install libcgroup

service cgconfig start   #开启cgroups服务

chkconfig cgconfig on   #开机启动

?
1
2
[root @localhost  /]# ls /cgroup/
blkio  cpu  cpuacct  cpuset  devices  freezer  memory  net_cls

cgroup启动时,会读取配置文件/etc/cgconfig.conf的内容,根据其内容创建和挂载指定的cgroup子系统。

cgroup配置文件分析

         /etc/cgconfig.conf是cgroup配置工具libcgroup用来进行cgroup组的定义,参数设定以及挂载点定义的配置文件,

主要由mount和group两个section构成。

(1)mount section的语法格式如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
mount {
     <controller> = <path>;
     ...
}
#########################################
# controller:内核子系统的名称
# path:该子系统的挂载点
#########################################
举个例子:
mount {
     cpuset = /cgroup/red;
}
上面定义相当于如下shell指令:
mkdir /cgroup/red
mount -t cgroup -o cpuset red /cgroup/red

(2)group section的语法格式如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
group <name> {
     [<permissions>]
     <controller> {
         <param name> = <param value>;
        
     }
    
}
################################################################################
## name: 指定cgroup的名称
## permissions:可选项,指定cgroup对应的挂载点文件系统的权限,root用户拥有所有权限。
## controller:子系统的名称
## param name 和 param value:子系统的属性及其属性值
#################################################################################
举个例子:
mount {  ## 定义需要创建的cgroup子系统及其挂载点,这里创建cpu与cpuacct(统计)两个cgroup子系统
     cpu = /mnt/cgroups/cpu;
     cpuacct = /mnt/cgroups/cpu;
}
group daemons/www { ## 定义daemons/www(web服务器进程)组
     perm {      ## 定义这个组的权限
         task {
             uid = root;
             gid = webmaster;
                 }
                 admin {
                     uid = root;
                         gid = root;
                 }
             }
         cpu {      ## 定义cpu子系统的属性及其值,即属于词组的任务的权重为 1000
             cpu.shares =  1000 ;
             }
}
group daemons/ftp { ## 定义daemons/ftp(ftp进程)组
     perm {
         task {
             uid = root;
             gid = ftpmaster;
                      }
         admin {
         uid = root;
         gid = root;
         }
     }
         cpu {  ## 定义词组的任务的权重为 500
             cpu.shares =  500 ;
         }
}
上面配置文件定义相当于执行了如下shell命令:
mkdir /mnt/cgroups/cpu
mount -t cgroup -o cpu,cpuacct cpu /mnt/cgroups/cpu
mkdir /mnt/cgroups/cpu/daemons
mkdir /mnt/cgroups/cpu/daemons/www
chown root:root /mnt/cgroups/cpu/daemons/www/*
chown root:webmaster /mnt/cgroups/cpu/daemons/www/tasks
echo  1000  > /mnt/cgroups/cpu/daemons/www/cpu.shares
mkdir /mnt/cgroups/cpu/daemons/ftp
chown root:root /mnt/cgroups/cpu/daemons/ftp/*
chown root:ftpmaster /mnt/cgroups/cpu/daemons/ftp/tasks
echo  500  > /mnt/cgroups/cpu/daemons/ftp/cpu.shares

对于虚拟机VM,应用沙盒,cgroups技术选型比较

cgroups资源控制

cgroups管理进程cpu资源

跑一个耗cpu的脚本

x=0

while [ True ];do

    x=$x+1

done;

top可以看到这个脚本基本占了100%的cpu资源

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND          

30142 root      20   0  104m 2520 1024 R 99.7  0.1  14:38.97 sh

下面用cgroups控制这个进程的cpu资源

mkdir -p /cgroup/cpu/foo/   #新建一个控制组foo

echo 50000 > /cgroup/cpu/foo/cpu.cfs_quota_us  #将cpu.cfs_quota_us设为50000,相对于cpu.cfs_period_us的100000是50%

echo 30142 > /cgroup/cpu/foo/tasks

然后top的实时统计数据如下,cpu占用率将近50%,看来cgroups关于cpu的控制起了效果

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                         30142 root      20   0  105m 2884 1024 R 49.4  0.2  23:32.53 sh 

cpu控制组foo下面还有其他的控制,还可以做更多其他的关于cpu的控制

[root@localhost ~]# ls /cgroup/cpu/foo/

cgroup.event_control  cgroup.procs  cpu.cfs_period_us  cpu.cfs_quota_us  cpu.rt_period_us  cpu.rt_runtime_us  cpu.shares  cpu.stat  notify_on_release  tasks

cgroups管理进程内存资源

跑一个耗内存的脚本,内存不断增长

x="a"

while [ True ];do

    x=$x$x

done;

top看内存占用稳步上升

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                         30215 root      20   0  871m 501m 1036 R 99.8 26.7   0:38.69 sh  

30215 root      20   0 1639m 721m 1036 R 98.7 38.4   1:03.99 sh 

30215 root      20   0 1639m 929m 1036 R 98.6 49.5   1:13.73 sh

下面用cgroups控制这个进程的内存资源

mkdir -p /cgroup/memory/foo

echo 1048576 >  /cgroup/memory/foo/memory.limit_in_bytes   #分配1MB的内存给这个控制组

echo 30215 > /cgroup/memory/foo/tasks  

发现之前的脚本被kill掉

[root@localhost ~]# sh /home/memory.sh

已杀死

因为这是强硬的限制内存,当进程试图占用的内存超过了cgroups的限制,会触发out of memory,导致进程被kill掉。

实际情况中对进程的内存使用会有一个预估,然后会给这个进程的限制超配50%比如,除非发生内存泄露等异常情况,才会因为cgroups的限制被kill掉。

也可以通过配置关掉cgroups oom kill进程,通过memory.oom_control来实现(oom_kill_disable 1),但是尽管进程不会被直接杀死,但进程也进入了休眠状态,无法继续执行,仍让无法服务。

关于内存的控制,还有以下配置文件,关于虚拟内存的控制,以及权值比重式的内存控制等

[root@localhost /]# ls /cgroup/memory/foo/

cgroup.event_control  memory.force_empty         memory.memsw.failcnt             

memory.memsw.usage_in_bytes      memory.soft_limit_in_bytes  memory.usage_in_bytes  tasks

cgroup.procs          memory.limit_in_bytes      memory.memsw.limit_in_bytes      

memory.move_charge_at_immigrate  memory.stat                 memory.use_hierarchy

memory.failcnt        memory.max_usage_in_bytes  memory.memsw.max_usage_in_bytes  

memory.oom_control               memory.swappiness           notify_on_release

cgroups管理进程io资源

跑一个耗io的脚本

 dd if=/dev/sda of=/dev/null &

通过iotop看io占用情况,磁盘速度到了284M/s

30252 be/4 root      284.71 M/s    0.00 B/s  0.00 %  0.00 % dd if=/dev/sda of=/dev/null  

下面用cgroups控制这个进程的io资源

mkdir -p /cgroup/blkio/foo

echo '8:0   1048576' >  /cgroup/blkio/foo/blkio.throttle.read_bps_device

#8:0对应主设备号和副设备号,可以通过ls -l /dev/sda查看

echo 30252 > /cgroup/blkio/foo/tasks

再通过iotop看,确实将读速度降到了1M/s

30252 be/4 root      993.36 K/s    0.00 B/s  0.00 %  0.00 % dd if=/dev/sda of=/dev/null  

对于io还有很多其他可以控制层面和方式,如下

[root@localhost ~]# ls /cgroup/blkio/foo/

blkio.io_merged         blkio.io_serviced      blkio.reset_stats                

blkio.throttle.io_serviced       blkio.throttle.write_bps_device   blkio.weight          cgroup.procs

blkio.io_queued         blkio.io_service_time  blkio.sectors                    

blkio.throttle.read_bps_device   blkio.throttle.write_iops_device  blkio.weight_device   notify_on_release

blkio.io_service_bytes  blkio.io_wait_time     blkio.throttle.io_service_bytes  

blkio.throttle.read_iops_device  blkio.time                        cgroup.event_control  tasks


这篇关于cgroup介绍、安装和控制cpu,内存,io示例的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/615192

相关文章

Java字符串操作技巧之语法、示例与应用场景分析

《Java字符串操作技巧之语法、示例与应用场景分析》在Java算法题和日常开发中,字符串处理是必备的核心技能,本文全面梳理Java中字符串的常用操作语法,结合代码示例、应用场景和避坑指南,可快速掌握字... 目录引言1. 基础操作1.1 创建字符串1.2 获取长度1.3 访问字符2. 字符串处理2.1 子字

C++使用printf语句实现进制转换的示例代码

《C++使用printf语句实现进制转换的示例代码》在C语言中,printf函数可以直接实现部分进制转换功能,通过格式说明符(formatspecifier)快速输出不同进制的数值,下面给大家分享C+... 目录一、printf 原生支持的进制转换1. 十进制、八进制、十六进制转换2. 显示进制前缀3. 指

如何在Mac上安装并配置JDK环境变量详细步骤

《如何在Mac上安装并配置JDK环境变量详细步骤》:本文主要介绍如何在Mac上安装并配置JDK环境变量详细步骤,包括下载JDK、安装JDK、配置环境变量、验证JDK配置以及可选地设置PowerSh... 目录步骤 1:下载JDK步骤 2:安装JDK步骤 3:配置环境变量1. 编辑~/.zshrc(对于zsh

在Spring Boot中浅尝内存泄漏的实战记录

《在SpringBoot中浅尝内存泄漏的实战记录》本文给大家分享在SpringBoot中浅尝内存泄漏的实战记录,结合实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录使用静态集合持有对象引用,阻止GC回收关键点:可执行代码:验证:1,运行程序(启动时添加JVM参数限制堆大小):2,访问 htt

前端CSS Grid 布局示例详解

《前端CSSGrid布局示例详解》CSSGrid是一种二维布局系统,可以同时控制行和列,相比Flex(一维布局),更适合用在整体页面布局或复杂模块结构中,:本文主要介绍前端CSSGri... 目录css Grid 布局详解(通俗易懂版)一、概述二、基础概念三、创建 Grid 容器四、定义网格行和列五、设置行

Node.js 数据库 CRUD 项目示例详解(完美解决方案)

《Node.js数据库CRUD项目示例详解(完美解决方案)》:本文主要介绍Node.js数据库CRUD项目示例详解(完美解决方案),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考... 目录项目结构1. 初始化项目2. 配置数据库连接 (config/db.js)3. 创建模型 (models/

如何在pycharm安装torch包

《如何在pycharm安装torch包》:本文主要介绍如何在pycharm安装torch包方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录在pycharm安装torch包适http://www.chinasem.cn配于我电脑的指令为适用的torch包为总结在p

在PyCharm中安装PyTorch、torchvision和OpenCV详解

《在PyCharm中安装PyTorch、torchvision和OpenCV详解》:本文主要介绍在PyCharm中安装PyTorch、torchvision和OpenCV方式,具有很好的参考价值,... 目录PyCharm安装PyTorch、torchvision和OpenCV安装python安装PyTor

Python Transformer 库安装配置及使用方法

《PythonTransformer库安装配置及使用方法》HuggingFaceTransformers是自然语言处理(NLP)领域最流行的开源库之一,支持基于Transformer架构的预训练模... 目录python 中的 Transformer 库及使用方法一、库的概述二、安装与配置三、基础使用:Pi

使用Python实现全能手机虚拟键盘的示例代码

《使用Python实现全能手机虚拟键盘的示例代码》在数字化办公时代,你是否遇到过这样的场景:会议室投影电脑突然键盘失灵、躺在沙发上想远程控制书房电脑、或者需要给长辈远程协助操作?今天我要分享的Pyth... 目录一、项目概述:不止于键盘的远程控制方案1.1 创新价值1.2 技术栈全景二、需求实现步骤一、需求