本文主要是介绍limit资源限制ulimit 详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
系统性能一直是一个受关注的话题,如何通过最简单的设置来实现最有效的性能调优,如何在有限资源的条件下保证程序的运作,ulimit 是我们在处理这些问题时,经常使用的一种简单手段。ulimit 是一种 Linux 系统的内键功能,它具有一套参数集,用于为由它生成的 shell进程及其子进程的资源使用设置限制。
命令总结:
查看系统用户所有限制值:ulimit -a
设置用户open files(用户可以打开文件的最大数目):ulimit -n 4096。执行该命令非root用户只能设置到4096。想要设置到8192需要sudo权限或者root用户。
查看当前系统打开的文件数量: lsof | wc -l
查看当前进程的打开文件数量:lsof -p pid | wc -l (lsof -p 1234 | wc -l )
查看当前进程的最大可以打开的文件数:cat /proc/PID/limits (如果通过ulimit -n 设置或者修改/etc/security/limits.conf,看看进程是否生效)
查看系统总限制打开文件的最大数量:cat /proc/sys/fs/file-max
lsof只能以root权限执行。在终端下输入lsof即可显示系统打开的文件,因为 lsof 需要访问核心内存和各种文件,所以必须以 root 用户的身份运行它才能够充分地发挥其功能。
1、ulimit的功能
假设有这样一种情况,当一台 linux 主机上同时登陆了 10 个人,在系统资源无限制的情况下,这 10 个用户同时打开了 500 个文档,而假设每个文档的大小有 10M,这时系统的内存资源就会受到巨大的挑战。
而实际应用的环境要比这种假设复杂的多,例如在一个嵌入式开发环境中,各方面的资源都是非常紧缺的,对于开启文件描述符的数量,分配堆栈的大小,CPU 时间,虚拟内存大小等等,都有非常严格的要求。资源的合理限制和分配,不仅仅是保证系统可用性的必要条件,也与系统上软件运行的性能有着密不可分的联系。这时,ulimit 可以起到很大的作用,它是一种简单并且有效的实现资源限制的方式。
ulimit 用于限制 shell 启动进程所占用的资源,支持以下各种类型的限制:
所创建的内核文件的大小、
进程数据块的大小、
Shell 进程创建文件的大小、
内存锁住的大小、
常驻内存集的大小、
打开文件描述符的数量、
分配堆栈的最大大小、
CPU 时间、
单个用户的最大线程数、
Shell 进程所能使用的最大虚拟内存。同时,它支持硬资源和软资源的限制。
作为临时限制,ulimit 可以作用于通过使用其命令登录的 shell 会话,在会话终止时便结束限制,并不影响于其他 shell 会话。而对于长期的固定限制,ulimit 命令语句又可以被添加到由登录 shell 读取的文件中,作用于特定的 shell 用户。
2、使用ulimit
ulimit 通过一些参数选项来管理不同种类的系统资源。
ulimit 命令的格式为:ulimit [options] [limit]
主要关注两个:
1)open files:– 用户可以打开文件的最大数目
对应ulimit 的命令ulimit -n,可以使用ulimit -n 临时设置。
对应/etc/security/limits.conf的资源限制类型是:nofile
* soft nofile 4096
* hard nofile 4096
2)max user processes – 用户可以开启进程/线程的最大数目
对应ulimit 的命令ulimit -u 临时修改max user processes的值:ulimit -u 8192。
对应/etc/security/limits.conf的资源限制类型是: noproc
* soft nproc 8192
具体的 options 含义以及简单示例可以参考以下表格。
ulimit 参数说明
选项 含义-a 显示当前系统所有的limit资源信息。 -H 设置硬资源限制,一旦设置不能增加。例如:ulimit – Hs 64;限制硬资源,线程栈大小为 64K。-S 设置软资源限制,设置后可以增加,但是不能超过硬资源设置。例如:ulimit – Sn 32;限制软资源,32 个文件描述符。-c 最大的core文件的大小,以 blocks 为单位。例如:ulimit – c unlimited; 对生成的 core 文件的大小不进行限制。-f 进程可以创建文件的最大值,以blocks 为单位.例如:ulimit – f 2048;限制进程可以创建的最大文件大小为 2048 blocks。-d 进程最大的数据段的大小,以Kbytes 为单位。例如:ulimit -d unlimited;对进程的数据段大小不进行限制。-m 最大内存大小,以Kbytes为单位。例如:ulimit – m unlimited;对最大内存不进行限制。-n 可以打开的最大文件描述符的数量。例如:ulimit – n 128;限制最大可以使用 128 个文件描述符-s 线程栈大小,以Kbytes为单位。例如:ulimit – s 512;限制线程栈的大小为 512 Kbytes。-p 管道缓冲区的大小,以Kbytes 为单位。例如ulimit – p 512;限制管道缓冲区的大小为 512 Kbytes。-u 用户最大可用的进程数。例如 limit – u 65536;限制用户最多可以使用 65536个进程。-v 进程最大可用的虚拟内存,以Kbytes 为单位。ulimit – v 200000;限制最大可用的虚拟内存为 200000 Kbytes。-t 最大CPU占用时间,以秒为单位。ulimit – t unlimited;对最大的 CPU 占用时间不进行限制。-l 最大可加锁内存大小,以Kbytes 为单位。
我们可以通过以下几种方式来使用 ulimit:
一、在用户的启动脚本中
如果用户使用的是 bash,就可以在用户的目录下的 .bashrc 文件中,加入 ulimit – u 64,来限制用户最多可以使用 64 个进程。此外,可以在与 .bashrc 功能相当的启动脚本中加入 ulimt。
二、在应用程序的启动脚本中
如果用户要对某个应用程序 myapp 进行限制,可以写一个简单的脚本 startmyapp。
ulimit – s 512
myapp
以后只要通过脚本 startmyapp 来启动应用程序,就可以限制应用程序 myapp 的线程栈大小为 512K。
三、直接在控制台输入
ulimit – p 256
限制管道的缓冲区为 256K。
四、修改所有 linux 用户的环境变量文件:
vi /etc/profile
ulimit -u 10000
ulimit -n 4096
ulimit -d unlimited
ulimit -m unlimited
ulimit -s unlimited
ulimit -t unlimited
ulimit -v unlimited
保存后运行#source /etc/profile 使其生效
四、也可以针对单个用户的.bash_profile设置:
vi ~./.bash_profile
#ulimit -n 1024
重新登陆ok
3、用户进程的有效范围
ulimit 作为对资源使用限制的一种工作,是有其作用范围的。那么,它限制的对象是单个用户,单个进程,还是整个系统呢?事实上,ulimit 限制的是当前 shell 进程以及其派生的子进程。举例来说,如果用户同时运行了两个 shell 终端进程,只在其中一个环境中执行了 ulimit – s 100,则该 shell 进程里创建文件的大小收到相应的限制,而同时另一个 shell终端包括其上运行的子程序都不会受其影响:
Shell 进程 1
ulimit –s 100
cat testFile > newFile
File size limit exceeded
Shell 进程 2
cat testFile > newFile
ls –s newFile
323669 newFile
针对用户永久生效:
那么,是否有针对某个具体用户的资源加以限制的方法呢?答案是有的,方法是通过修改系统的 /etc/security/limits.conf配置文件。该文件不仅能限制指定用户的资源使用,还能限制指定组的资源使用。该文件的每一行都是对限定的一个描述。
limits.conf的格式如下:
<domain> <type> <item> <value>
username|@groupname type resource limit
domain:username|@groupname:设置需要被限制的用户名,组名前面加@和用户名区别。也可以用通配符*来做所有用户的限制。
type:有 soft,hard 和 -,soft 指的是当前系统生效的设置值。hard 表明系统中所能设定的最大值。soft 的最大值不能超过hard的值。用 – 就表明同时设置了 soft 和 hard 的值。
resource:
core – 限制内核文件的大小
date – 最大数据大小
fsize – 最大文件大小
memlock – 最大锁定内存地址空间
nofile – 打开文件的最大数目
rss – 最大持久设置大小
stack – 最大栈大小
cpu – 以分钟为单位的最多 CPU 时间
noproc – 进程的最大数目(系统的最大进程数)
as – 地址空间限制
maxlogins – 此用户允许登录的最大数目
要使 limits.conf 文件配置生效,必须要确保 pam_limits.so 文件被加入到启动文件中。
查看 /etc/pam.d/login 文件中有:
session required /lib/security/pam_limits.so
例如:解除 Linux 系统的最大进程数和最大文件打开数限制:
vi /etc/security/limits.conf
# 添加如下的行
* soft noproc 20000 #软连接
* hard noproc 20000 #硬连接
* soft nofile 4096
* hard nofile 4096
说明:* 代表针对所有用户,noproc 是代表最大进程数,nofile 是代表最大文件打开数
需要注意一点:/etc/security/limits.d下也有noproc最大进参数的限制:
即 /etc/security/limits.d/下的文件覆盖了/etc/security/limits.conf设置的值
这个是官网答疑:https://access.redhat.com/solutions/406663
# /etc/security/limits.conf
#This file sets the resource limits for the users logged in via PAM.
#It does not affect resource limits of the system services.
#Also note that configuration files in /etc/security/limits.d directory,
#That means for example that setting a limit for wildcard domain here
[root@tr10-46-65-29 ~]# cat /etc/security/limits.d/20-nproc.conf
# Default limit for number of user's processes to prevent
# accidental fork bombs.
# See rhbz #432903 for reasoning.
* soft nproc 8192
root soft nproc unlimited
现在已经可以对进程和用户分别做资源限制了,看似已经足够了,其实不然。很多应用需要对整个系统的资源使用做一个总的限制,这时候我们需要修改 /proc 下的配置文件。/proc 目录下包含了很多系统当前状态的参数,例如 /proc/sys/kernel/pid_max,/proc/sys/net/ipv4/ip_local_port_range 等等,从文件的名字大致可以猜出所限制的资源种类。
注意:
通过读取/proc/sys/fs/file-nr可以看到当前使用的文件描述符总数。另外,对于文件描述符的配置,需要注意以下几点:
-
所有进程打开的文件描述符数不能超过/proc/sys/fs/file-max
-
单个进程打开的文件描述符数不能超过user limit中nofile的soft limit
-
nofile的soft limit不能超过其hard limit
-
nofile的hard limit不能超过/proc/sys/fs/nr_open
4、问题案例
问题1:su切换用户时提示:Resource temporarily unavailable
或者通过进程跟踪 strace -p pid 看到:Resource temporarily unavailab
通过ulimit -a,得到结果:
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 63463
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 65535
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 4096
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
在上面这些参数中,通常我们关注得比较多:
open files: 一个进程可打开的最大文件数.
max user processes: 系统允许创建的最大进程数量.
通过 ps -efL|grep java |wc -l
#24001
这个得到的线程数竟然是2万多,远远超过4096
我们可以使用 ulimit -u 20000 修改max user processes的值,但是只能在当前终端的这个session里面生效,重新登录后仍然是使用系统默认值。
正确的修改方式是修改/etc/security/limits.d/20-nproc.conf文件中的值。先看一下这个文件包含什么:
$ cat /etc/security/limits.d/90-nproc.conf
# Default limit for number of user's processes to prevent
# accidental fork bombs.
# See rhbz #432903 for reasoning.* soft nproc 8192
我们只要修改上面文件中的8192这个值,即可。
问题2:linux 打开文件数 too many open files 解决方法
在运行某些命令或者 tomcat等服务器持续运行 一段时间后可能遇到 too many open files。
出现这句提示的原因是程序打开的文件/socket连接数量超过系统设定值。
java进程如果遇到java.net.SocketException: Too many open files,接着可能导致域名解析ava.net.UnknownHostException:
原因是用户进程无法打开系统文件了。
查看每个用户最大允许打开文件数量
ulimit -a
其中 open files (-n) 65535 表示每个用户最大允许打开的文件数量是65535 。 默认是1024。1024很容易不够用。
永久修改open files 方法
vim /etc/security/limits.conf
在最后加入
* soft nofile 65535
* hard nofile 65535
或者只加入
* - nofile 65535
最前的 * 表示所有用户,可根据需要设置某一用户,例如
fdipzone soft nofile 8192
fdipzone hard nofile 8192
注意"nofile"项有两个可能的限制措施。就是项下的hard和soft。 要使修改过得最大打开文件数生效,必须对这两种限制进行设定。 如果使用"-"字符设定, 则hard和soft设定会同时被设定。
改完后注销一下就能生效。
通过 ulimit -n或者ulimit -a
查看系统的最大文件打开数已经生效了。但此时查看进程的最大文件打开数没有变,原因是这个值是在进程启动的时候设定的,要生效必须重启!
ok,那就重启吧,重启完毕,结果发现依然没变!这奇了怪了,后来经过好久的排查,最终确认问题是,该程序是通过 supervisord
来管理的,也就是这进程都是 supervisord
的子进程,而 supervisord
的最大文件打开数还是老的配置,此时必须重启 supervisord
才可以。
当大家遇到limits修改不生效的时候,请查一下进程是否只是子进程,如果是,那就要把父进程也一并重启才可以。
=================================================
1、Elasticsearch max openfile的问题:
如果在Supervisor管理下的Elasticsearch,一般Elasticsearch要求文件数必须>=65536。将ulimit命令写入Elasticsearch的启动脚本,看到的值仍然是4096。
此问题的原因是,修改limit.conf只是修改了操作系统层面的限制,但Supervisor本身的限制没有被修改。Supervisor对文件数量的限制是保存在/etc/supervisor.conf文件中。所以,需要在/etc/supervisor.conf的“[supervisord]”段加入或修改如下配置:
minfds=65536 ; min. avail startup file descriptors; default 1024 minprocs=4096 ; min. avail process descriptors;default 200
supervisord拉起的其他进程都是子进程,共享了supervisord的配置,所以修改上述配置之后,需要重启supervisord方可生效。
值得注意的是,通过“supervisorctl reload”命令无法让supervisord立即更新上述已修改的配置。所以需要通过“kill -9”杀掉并重新运行supervisord,或者直接重启机器。
2、Elasticsearch开启bootstrap.memory_lock: true,需要在vim /etc/security/limits.conf 设置
# allow user 'elasticsearch' mlockall
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited1)、设置后,重启supervisor,还是没有效果。
2)、重启服务器,依然没有效果。
3)、在 /etc/security/limits.d/20-nproc.conf添加:
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited还是没有效果。
4)、再次重启服务器还是效果,原因是supervisor开机自启动。
5))、再次重启supervisor生效。
这篇关于limit资源限制ulimit 详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!