CentOS 5.x和CentOS 6.x限制单个用户线程数上限的不同行为

本文主要是介绍CentOS 5.x和CentOS 6.x限制单个用户线程数上限的不同行为，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在使用HiveServer的过程中，通过一个Java程序向其并发提交多个Job，我们发现在同时提交的任务较多的时候，程序就会莫名其妙地卡住，并报出内存溢出（OOM）的错误，但是经过排查，系统还有数十GB的内存处于FREE状态，JVM的内存上限也非常大，所以可以断定问题的原因并不是因为内存不够，而有其它原因。

根据以往的经验，我们在部署服务器的时候，会设置一个系统最大打开文件数量和系统最大进程（线程）数，这个值我们在root用户下做了如下设置（设置在/etc/security/limits.conf文件中）：

[plain] view plain copy

* - nproc 1024000
* - nofile 1024000

这样的话，root用户能开启的最大进程（线程）数量就是1024000。但是这个设置能否继承到其它用户的设置上却在CentOS 5.8与CentOS 6.4之间有了差别：

首先，在CentOS 5.8上：

[plain] view plain copy

[root@monet00 ~]# useradd testuser
[root@monet00 ~]# su - testuser
[testuser@monet00 ~]$ ulimit -u
1024000
[testuser@monet00 ~]$ ulimit -u
1024000

可以看到，新增加的用户成功继承了root设置的系统设置。

然后，在CentOS 6.4上却是：

[html] view plain copy

[root@etl-1 ~]# useradd testuser
[root@etl-1 ~]# su - testuser
[testuser@etl-1 ~]$ ulimit -u
1024

就是因为这个原因，我们在6.4版本的CentOS上，虽然设置了系统的最大线程数是1024000，但是对于运行HiveServer的hive用户而言，它能够开启最大进程（线程）数仍然是默认的1024个，这样就导致，任务提交比较密集的时候，会出现莫名其妙的失败。至于解决办法，就是加入以下配置，明确对hive用户的配置：

[plain] view plain copy