Too many open files 问题的解决--浅谈linux ulimit命令

   51Testing软件测试网$PytrN

第一部分：（主要是命令，查看最大打开限制数量，不能解决根本问题）

MF)S8bZ1I.t0kP0

在Linux下，我们使用ulimit -n 命令可以看到单个进程能够打开的最大文件句柄数量(socket连接也算在里面)。系统默认值1024。

w:b9yGD5f:s9?N,GX0

   对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值，就会提到“too many files open”的错误提示。如何知道当前进程打开了多少个文件句柄呢？下面一段小脚本可以帮你查看：51Testing软件测试网)so2z?+_W~p!Ly0{b

1. lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr|more   

在系统访问高峰时间以root用户执行上面的脚本，可能出现的结果如下：51Testing软件测试网 n*sIh2q/y#g

1. # lsof -n|awk '{print $2}'|sort|uniq -c |sort -nr|more   
2.     131 24204  
3.      57 24244  
4.      57 24231  
5.      56 24264  

其中第一行是打开的文件句柄数量，第二行是进程号。得到进程号后，我们可以通过ps命令得到进程的详细内容。51Testing软件测试网W@6m r/g/Y

1. ps -aef|grep 24204  
2. mysql    24204 24162 99 16:15 ?        00:24:25 /usr/sbin/mysqld  

哦，原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量，远远底于系统默认值1024。

?Wb-u0X%?;e0

但是如果系统并发特别大，尤其是squid服务器，很有可能会超过1024。这时候就必须要调整系统参数，以适应应用变化。Linux有硬性限制和软性限制。可以通过ulimit来设定这两个参数。方法如下，以root用户运行以下命令：51Testing软件测试网9|shmx)@r$t

1. ulimit -HSn 4096  

以上命令中，H指定了硬性大小，S指定了软性大小，n表示设定单个进程最大的打开文件句柄数量。个人觉得最好不要超过4096，毕竟打开的文件句柄数越多响应时间肯定会越慢。设定句柄数量后，系统重启后，又会恢复默认值。如果想永久保存下来，可以修改.bash_profile文件，可以修改 /etc/profile 把上面命令加到最后。(findsun提出的办法比较合理)

ko5`L7@G:G0

=================================================================================51Testing软件测试网K!fh9\p1f\

Too many open files经常在使用linux的时候出现，大多数情况是您的程序没有正常关闭一些资源引起的，所以出现这种情况，请检查io读写，socket通讯等是否正常关闭。  51Testing软件测试网#{/X ]i Fn1y(@

}xX[(i-T"a4x3Y,C0如果检查程序没有问题，那就有可能是linux默认的open files值太小，不能满足当前程序默认值的要求，比如 数据库连接池的个数，tomcat请求连接的个数等。。。  51Testing软件测试网%k(N7Vr9n`1t#v

1uG Y$E8bI x N0查看当前系统open files的默认值，可执行： 

1. [root@pororo script]#   ulimit      -a   
2. core file size          (blocks, -c) 0  
3. data seg size           (kbytes, -d) unlimited   
4. scheduling priority             (-e) 0  
5. file size               (blocks, -f) unlimited   
6. pending signals                 (-i) 128161  
7. max locked memory       (kbytes, -l) 32  
8. max memory size         (kbytes, -m) unlimited   
9. open files                      (-n) 800000  
10. pipe size            (512 bytes, -p) 8  
11. POSIX message queues     (bytes, -q) 819200  
12. real-time priority              (-r) 0  
13. stack size              (kbytes, -s) 10240  
14. cpu time               (seconds, -t) unlimited   
15. max user processes              (-u) 128161  
16. virtual memory          (kbytes, -v) unlimited   
17. file locks                      (-x) unlimited  
18. ==========================================================================
19. 第二部分：（解决的真正方法）

功能说明：控制shell程序的资源。51Testing软件测试网G(C%| B%Aza:r8K

语　　法：ulimit [-aHS][-c <core文件上限>][-d <数据节区大小>][-f <文件大小>][-m <内存大小>][-n <文件数目>][-p <缓冲区大小>][-s <堆叠大小>][-t <CPU时间>][-u <程序数目>][-v <虚拟内存大小>]

d&R8d{~\0

补充说明：ulimit为shell内建指令，可用来控制shell执行程序的资源。

8nj!C^ })` ti&b0

参　　数：51Testing软件测试网w8t6bZyP I
-a 　显示目前资源限制的设定。
j&@4o%j eBkX4q0-c <core文件上限> 　设定core文件的最大值，单位为区块。
sfw7Kv%R'l w0-d <数据节区大小> 　程序数据节区的最大值，单位为KB。
]g-z-lku]0-f <文件大小> 　shell所能建立的最大文件，单位为区块。
~$k)WD%@6f'^6ffT0-H 　设定资源的硬性限制，也就是管理员所设下的限制。
AUc{l6q0-m <内存大小> 　指定可使用内存的上限，单位为KB。
J?)lR Y0-n <文件数目> 　指定同一时间最多可开启的文件数。51Testing软件测试网@w*KCB:c?-\"gOQ S
-p <缓冲区大小> 　指定管道缓冲区的大小，单位512字节。
8p3yi] A0-s <堆叠大小> 　指定堆叠的上限，单位为KB。51Testing软件测试网"a.g AW+Q
-S 　设定资源的弹性限制。51Testing软件测试网e[ A(c&W.{-d
-t <CPU时间> 　指定CPU使用时间的上限，单位为秒。
N"Zf5|l)R0-u <程序数目> 　用户最多可开启的程序数目。51Testing软件测试网W*s[%zZgG5H
-v <虚拟内存大小> 　指定可使用的虚拟内存上限，单位为KB。51Testing软件测试网7V:Vi5sd

 

!M3_/}Cn*K1[ ^b e0

 

uz BYuT;V?^9_0

ulimit -a 用来显示当前的各种用户进程限制。 51Testing软件测试网)QF[9R+V A
        Linux对于每个用户，系统限制其最大进程数。为提高性能，可以根据设备资源情况，
i \K*l{0        设置各linux 用户的最大进程数，下面我把某linux用户的最大进程数设为10000个： 51Testing软件测试网!|VWgi2W:K g._
          ulimit -u 10000 51Testing软件测试网 Kx7k G"LuY4c
          对于需要做许多 socket 连接并使它们处于打开状态的 Java 应用程序而言， 51Testing软件测试网p9yNon+c
          最好通过使用 ulimit -n xx 修改每个进程可打开的文件数，缺省值是 1024。 51Testing软件测试网1oP l_ t4m
          ulimit -n 4096 将每个进程可以打开的文件数目加大到4096，缺省为1024
r3QR~X!T J0          其他建议设置成无限制（unlimited）的一些重要设置是：
}D6m:K/[s.l0          数据段长度：ulimit -d unlimited 51Testing软件测试网gTa"kwC
          最大内存大小：ulimit -m unlimited 51Testing软件测试网#tNn4Do7d[~@9q
          堆栈大小：ulimit -s unlimited
!zP#Ik)j`d#y0          CPU 时间：ulimit -t unlimited
5`(N"{`h,?8\[^0          虚拟内存：ulimit -v unlimited
*Wei&I}&f}+q?0 51Testing软件测试网kB;?+p.hG
我们公司服务器需要调整ulimit的stack size 参数调整为unlimited 无限，使用ulimit -s unlimited时只能在当时的shell见效，重开一个shell就失效了。。于是得在/etc/profile 的最后面添加ulimit -s unlimited 就可以了，source /etc/profile使修改文件生效。
|/aWo0m |c j3BB^p0
W.apn } {;h$XQ0PS：如果你碰到类似的错误提示 51Testing软件测试网|V9r)zD
ulimit: max user processes: cannot modify limit: 不允许的操作 51Testing软件测试网,Cc)v iv,k
ulimit: open files: cannot modify limit: 不允许的操作
7Ke*? r-zt URq#|0 51Testing软件测试网(U3Xo%v @W8y)Q!q
为啥root用户是可以的？普通用户又会遇到这样的问题？
?Nm8Y6\.t6n0看一下/etc/security/limits.conf大概就会明白。
y pb6An@m[0linux对用户有默认的ulimit限制，而这个文件可以配置用户的硬配置和软配置，硬配置是个上限。 51Testing软件测试网l^Jg8f)Q&J ft
超出上限的修改就会出“不允许的操作”这样的错误。
5A]:Pp4h-U-L6q,r4\0
4?kNc ?;f3I e6d0在limits.conf加上
)z ]+J |3L6\{9Ki Bx0*                soft        noproc    10240 51Testing软件测试网G:?2mE)Mr
*                hard        noproc    10240 51Testing软件测试网[&q:Wm2\9Kk+c@9u
*                soft        nofile    10240 51Testing软件测试网j/}Ug_#g%K3qs a
*                hard        nofile    10240
E-HKm @0就是限制了任意用户的最大线程数和文件数为10240。