网站故障处理记实:apache引起的麻烦

春节还没过完就接到同事的电话，说论坛访问速度慢，遭致用户强烈的投诉，要求我马上处理。这个bbs是运行在RedhatAS5上，由apache、mysql、php和discuz组成，有129550位注册会员，同时在线的最高人数11128，按照当前的硬件条件，应该满足访问需求（新上线的HP服务器）。在浏览器输入论坛的url,果然很慢，再联系朋友帮忙测试，打开网络还是很慢。

恶意攻击?mysql瘫痪？

先不管这么多，登录到服务器上去看看再做下一步打算。还好，登录比较顺利。运行命令uptime看系统负载，很低呀，再运行命令top,跟uptime得出的结论基本吻合，于是得出结论：系统负载不大。

是否被恶意攻击呢？基于这个想法，察看系统帐号—打开文件/etc/passwd，没看见任何异常；运行命令iptables–L–n发现防火墙规则仍按我当初设定的策略执行，这些迹象表明，系统不存在安全问题。

那会不会是mysql的性能问题呢？用mysql客户端连接数据库，察看负载，其情况如下：
mysql>showprocesslist;
+---------+-----------+-----------+--------+---------+------+-------+------------------+
|Id|User|Host|db|Command|Time|State|Info|
+---------+-----------+-----------+--------+---------+------+-------+------------------+
|1917230|bbsdiscuz|localhost|discuz|Sleep|284||NULL|
|1917412|bbsdiscuz|localhost|discuz|Sleep|223||NULL|
|1917442|bbsdiscuz|localhost|discuz|Sleep|222||NULL|
|1917554|bbsdiscuz|localhost|discuz|Sleep|205||NULL|
|…………………..省略若干………………………..
|1918404|bbsdiscuz|localhost|discuz|Sleep|0||NULL|
+---------+-----------+-----------+--------+---------+------+-------+------------------+
19rowsinset(0.00sec)

从输出结果看，连接数和保持时间也在正常范围内。以前曾经有过mysql数据库连接数过多（达到设定的最大连接数）及会话保持时间(Time)过长的事故，从而导致网站访问速度变慢，以至于无法忍受。由此分析，这个故障不是由mysql数据库所引起的。

现在还剩下apache了，看来该怀疑一下它了。我们先看看有多少个httpd进程，其过程如下：
[root@web1~]#psaux|grephttpd|grep-vgrep|wc-l
256
结果刚好是apache默认设置的最大连接数，再执行[root@web1~]#netstat-n|awk'/^tcp/{++S[$NF]}END{for(ainS)printa,S[a]}'其运行结果如下所示：
LAST_ACK3
SYN_RECV628
…………省略若干…………
TIME_WAIT524