最近所做的爬虫项目出了点问题,爬虫抓取机再使用代理ip抓取网页时,总是出现由于time out引起的 代理ip服务器refused请求。找运维排查原因时,运维同事做了如下处理并将现象总结:
1)telnet 代理ip 80,不通;
2)过几分钟之后在 telnet 代理ip 80,又能通;
3)ping 代理ip 正常;
4)再次 telnet 代理ip 其他服务端口,也出现连接超时;
5)查看端口开启情况以及防火墙都正常;
6) 检查了网络IO才100-500B的速度,系统连接数才30-60个连接,都没问题,同机房的服务器连这几台服务器也是有时timeout;
暂时没有找到的原因