爬虫代理ip设置

爬虫的过程中可能会涉及到ip代理的问题。网上有很多可用的ip代理信息：

http://pachong.org/

下面就是从中选择一个最合适的ip。实现思路：

1. 获取该页面内容，提取每一行ip信息。

2. 新建一个java Bean 封装每一个ip属性。

3.将所有的javaBean添加到一个arraylist中。

4.对整个arraylist排序。

代码如下：

/*
 * 下载时事可用的网络爬虫代理
 */
public class CrawlProxyIp5Net {


public static ArrayList<ProxyConfigBean> getProxyConfigs(){
ArrayList<ProxyConfigBean> list = new ArrayList<ProxyConfigBean>();
try {
WebClient client = new WebClient(BrowserVersion.CHROME);
client.getOptions().setJavaScriptEnabled(false);
client.getOptions().setCssEnabled(false);


HtmlPage page = client.getPage("http://pachong.org/");

HtmlTableBody tableBody = (HtmlTableBody) page.getByXPath("//table[@class='tb']/tbody").get(0);

List<HtmlTableRow> tableRows = tableBody.getRows();

if(tableRows!=null){
for(int i=0;i<tableRows.size();i++){

ProxyConfigBean bean = new ProxyConfigBean();

HtmlTableRow tableRow = tableRows.get(i);
HtmlTableCell ipCell = tableRow.getCell(1);
HtmlTableCell portCell = tableRow.getCell(2);
HtmlTableCell countryCell =