代理IP调研报告

1.概念

代理IP一般指代理服务器，就是代理用户去取得网络信息。
主要的用途有以下3种：
1. 突破自身IP访问限制；
2. 提高访问速度；
3. 隐藏真实IP。
在我们的业务场景里主要关心第三种用途。

2.分类

按IP协议分

• HTTP代理
  能够代理客户机的HTTP访问，主要是代理浏览器访问网页。
• HTTPS代理
  HTTPS协议是HTTP协议的加密版，现在的技术手段可以使得HTTP代理访问HTTPS网站，HTTPS代理也可访问HTTP网站，无太大差别。
• SOCKS代理
  只是简单地传递数据包，而并不关心是何种应用协议。比其他类型的代理服务器速度要快。可以代理各种各样的应用，而不是只能访问网页。目前一般使用的是SOCK5代理。

按是否匿名分

• 透明代理
  可以直接“隐藏”你的IP地址，但是还是可以从HTTP_X_FORWARDED_FOR（请求头中的一个字段）来查到你是谁，本质上传送的还是真实的IP。
• 匿名代理
  改变请求信息，被访问的网站不能知道你的ip地址，但仍然可以知道你在使用代理。匿名代理比透明代理进步了一点：别人只能知道你用了代理，无法知道你是谁。
• 高匿代理
  不改变客户机的请求，服务器不知道你在使用代理，也不知道你真实的IP。

3.存活时间

不同的代理IP存活时间相差很大，短则几十秒，长则好几年。
一般来说，在网络上被公开公布的免费代理IP，存活时间都很短。因为大家都能访问，很容易被“万人骑”。而且可用率也很低，网络上采集到的免费代理IP可用率在1%-10%之间，可用的IP访问速度也不理想，一般用于临时性的燃眉之急。
收费代理IP的存活时间由代理服务商决定，一般能保证正常使用，可用率在80%-90%之间。虽然是收费，但也会存在一些不可用的IP。

4.总结

在选择代理IP时，一般会选择高匿代理，否则也在一定程度上失去了代理的意义。代理IP的存活时间机制决定了我们的代理IP池必须有很高的时效性。因为大部分的IP存活期都在几天内，过了这段时间，该IP也失去了作用。
下图为西刺代理网站展示的免费IP（一天也仅提供100个免费IP）：

如果我们要做代理IP池的维护，需要每天都采集“新鲜”IP，客户在申请时留下的IP比对库中最近n天（n待定，一周或10天）的数据。
实际上客户如果真的有心利用收费代理来访问，我们是难以拥有有效手段来甄别的。一是采集收费IP的成本问题，二是收费IP的规模比较庞大。（如芝麻代理一天可提供30万IP地址，大象代理一天可提供10万IP地址）
建议放弃对IP进行代理IP池的比对，或者采用无成本的比对免费代理IP

注：市面上主流的代理IP服务商：
1、芝麻HTTP代理 http.zhimaruanjian.com
2、太阳HTTP代理 http.taiyangruanjian.com
3、快代理 kuaidaili.com
4、讯代理xdaili.cn
5、蚂蚁代理mayidaili.com
6、西刺代理（免费版）www.xicidaili.com/大象代理（收费版）daxiangdaili.com