羞，被ulimit摔一跤，open file最大65535？

说来惭愧,我被ulimit摔了一跤…

自接触 linux 后，大家所受的教育就是 ulimit是最便捷的内核优化途径，事实也确实如此。

这次摔跤也是基础知识遗忘，所以特地总结下。「反正每次写文档都忍不住吐槽国内博客技术文档，大家相互抄，最后错的都能变成对的…」。文末有高并发业务，32c64g硬件配置的ulimit 配置推荐

从下图开始，如果如下几个问题都能正确回答，就可以关闭文章了：

1. ulimit -a 设置的 open files 为什么是 65535, 这个数字从何而来，有何依据
2. 为什么 open files 显示的是 65535, 而 lsof -u www | wc -l 显示的却有 3145600,但仍然能 su – www成功，不应该超过 65535后，就应该提示 resource limit 错误吗？

ulimit问题截图.png

其实如上两个问题都是很基础的问题。

先说 65535 从何而来。从我能追溯到的文章来看，比较合理的解释是，在真实 32 位操作系统还存在时， 2^16-1 是 65535, 即系统预留16位给自己使用，最多提供16位给用户程序。在32位系统中，select()函数甚至做了硬上限规定。当然，这仅限于32位系统，现今64位系统不存在65535上限问题。即可大于该数值。

一些对句柄数有严重依赖的新秀开源软件，也在官 文档中明确声明 max open files 数值，以 swoole为例，建议配置为20w +, 远超 65535 。

至于，为什么现今互联 所有文档中依然沿用 65535 ，大概率是“抄袭” 遗留的问题。so…

第二个问题，为什么已经最大文件句柄数已经超限，但还能su – www。这里要复习下 ulimit 的知识了。

limit 命令详解

语法

参数：

参数详解

open files 设置的65556` 是单进程可打开的最大文件句柄数，即用户可打开的最大文件句柄数是:

so…

图中虽然 www 用户打开了 3145600 个文件句柄数, 但如果

1. 没有超过系统最大句柄数限制, 即 (max user processes) * (max open files)；
2. 没有超过 max user processes 限制；
3. 没有超过单进程最大句柄数设置，即65535；

则，应用均可正常运行。

那如何统计用户已打开的文件句柄数及用户已打开的进程数呢？

小结下 limit 配置过程中容易跳的坑

永久生效：配置文件 /etc/sysctl.conf 或 /etc/security/*.conf , sysctl -p 永久生效

临时生效：ulimit -SHn 65535

1. ulimit 命令 > /etc/security/*.conf > /etc/sysctl.conf

敲黑板

尤其是 /etc/security/*.conf 的优先级高于 /etc/sysctl.conf… 这里非常容易误导

2. 应用内置的ulimit 设置 > 运行用户的系统 ulimit 设置

以如图mongodb启动脚本为例，如果在启动脚本中专门设置了 ulimit ，则以ulimit 为准。

02-mongodb启动脚本.png

类似的配置如 nginx 的 worker_rlimit_nofile 配置。

1. Centos 6 和7 配置 ulimit 区别

Centos 7 systemd 接管系统后，削弱了对 /etc/sysctl.conf的权限。关注 /etc/security/limits.conf 和 /etc/security/limit.d/*.conf 的配置。基本不会出差。

2. Daemon 进程 ulimit 失效

敲黑板

ulimit 生效针对的是运行在当前执行 Ulimit 命令的bash shell。即，以 daemon 运行的进程启动时，bash shell的环境变量对其无效。

最后提供一个高并发业务 的ulimit 的配置模板:

1. 配置/etc/sysctl.conf设置 fs.file-max = 6553560 即 650w， 从我们现有的业务来看，32c64g的服务器，配置了1200 php-fpm和 1000线程 swoole。系统总的句柄消耗达到了 320w+。
2. 配置/etc/security/limits.conf* soft nofile 65535 * hard nofile 65535 * soft noproc 65535 * hard noproc 65535 root soft nofile 65535 root hard nofile 65535 root soft noproc 65535 root hard noproc 65535
3. 一定要配置/etc/security/limits.d/90-nproc.conf