创建连接池,从连接池里获取HttpClient对象
public class HttpClientPoolTest {
public static void main(String[] args) {
//1.创建连接池管理器
PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
//连接数和主机最大连接数可以理解为:一共分配100个连接 主机爬取不同的网站的时候 每一个网站只能爬取10次
//设置连接数
cm.setMaxTotal(100);
//设置每个主机最大连接数
cm.s