HttpClient爬取网页

HttpClient

项目结构

在这里插入图片描述

配置文件

  1. pom.xml

    <?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0"
             xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
    
        <groupId>cn.xiaoge</groupId>
        <artifactId>xiaoge-crawler-first</artifactId>
        <version>1.0-SNAPSHOT</version>
    
        <dependencies>
    
            <!-- 自动的抓取数据的jar包, httpclient -->
            <dependency>
                <groupId>org.apache.httpcomponents</groupId>
                <artifactId>httpclient</artifactId>
                <version>4.5.2</version>
            </dependency>
    
            <!-- 日志信息 -->
            <dependency>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-log4j12</artifactId>
                <version>1.7.25</version>
                <!--<scope>test</scope>-->
            </dependency>
    
        </dependencies>
    
    </project>
    
  2. log4j.properties

    log4j.rootLogger=DEBUG,A1
    log4j.logger.cn.itcast=DEBUG
    
    # 在控制台显示日志
    log4j.appender.A1=org.apache.log4j.ConsoleAppender
    log4j.appender.A1.layout=org.apache.log4j.PatternLayout
    log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c]-[%p] %m%n
    

操作类

  1. HttpGetTest(不带参Get)

    package com.xiaoge.crawler.test;
    
    import org.apache.http.HttpEntity;
    import org.apache.http.client.methods.CloseableHttpResponse;
    import org.apache.http.client.methods.HttpGet;
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClients;
    import org.apache.http.util.EntityUtils;
    
    import java.io.IOException;
    
    /**
     * @Author: 潇哥
     * @DateTime: 2020/9/21 下午4:35
     * @Description: TODO
     */
    public class HttpGetTest {
    
        public static void main(String[] args) {
    
            // 1. 创建HttpClient对象
            CloseableHttpClient httpClient = HttpClients.createDefault();
    
            // 2. 创建HttpGet对象, 设置url访问地址
            HttpGet httpGet = new HttpGet("https://www.csdn.net/");
    
            CloseableHttpResponse httpResponse = null;
    
            try{
                // 3. 使用HttpClient发起请求, 获取response
                 httpResponse = httpClient.execute(httpGet);
    
                // 4. 解析响应
                if (httpResponse.getStatusLine().getStatusCode() == 200) {
                    // 获取响应体
                    HttpEntity httpEntity = httpResponse.getEntity();
    
                    String content = EntityUtils.toString(httpEntity, "utf8");
                    System.out.println(content.length());
                }
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                // 关闭httpResponse
                if (httpResponse != null) {
                    try {
                        httpResponse.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
    
                // 关闭httpClient
                if (httpClient != null) {
                    try {
                        httpClient.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
            }
    
    
    
    
        }
    
    }
    
  2. HttpGetParamTest(带参Get)

    package com.xiaoge.crawler.test;
    
    import org.apache.http.HttpEntity;
    import org.apache.http.client.methods.CloseableHttpResponse;
    import org.apache.http.client.methods.HttpGet;
    import org.apache.http.client.utils.URIBuilder;
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClients;
    import org.apache.http.util.EntityUtils;
    
    import java.io.IOException;
    
    /**
     * @Author: 潇哥
     * @DateTime: 2020/9/21 下午4:35
     * @Description: TODO
     */
    public class HttpGetParamTest {
    
        public static void main(String[] args) throws Exception {
    
            // 1. 创建HttpClient对象
            CloseableHttpClient httpClient = HttpClients.createDefault();
    
            // 设置请求地址是: https://so.csdn.net/so/search/s.do?q=java
            // 创建URIBuilder
            URIBuilder uriBuilder = new URIBuilder("https://so.csdn.net/so/search/s.do");
    
            // 设置参数, 如果是多个参数继续setParameter
            uriBuilder.setParameter("q", "java");
    
            // 2. 创建HttpGet对象, 设置url访问地址
            HttpGet httpGet = new HttpGet(uriBuilder.build());
    
            CloseableHttpResponse httpResponse = null;
    
            try{
                // 3. 使用HttpClient发起请求, 获取response
                 httpResponse = httpClient.execute(httpGet);
    
                // 4. 解析响应
                if (httpResponse.getStatusLine().getStatusCode() == 200) {
                    // 获取响应体
                    HttpEntity httpEntity = httpResponse.getEntity();
    
                    String content = EntityUtils.toString(httpEntity, "utf8");
                    System.out.println(content.length());
                }
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                // 关闭httpResponse
                if (httpResponse != null) {
                    try {
                        httpResponse.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
    
                // 关闭httpClient
                if (httpClient != null) {
                    try {
                        httpClient.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
            }
    
    
    
    
        }
    
    }
    
  3. HttpPostTest(不带参post)

    package com.xiaoge.crawler.test;
    
    import org.apache.http.HttpEntity;
    import org.apache.http.client.methods.CloseableHttpResponse;
    import org.apache.http.client.methods.HttpPost;
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClients;
    import org.apache.http.util.EntityUtils;
    
    import java.io.IOException;
    
    /**
     * @Author: 潇哥
     * @DateTime: 2020/9/21 下午4:35
     * @Description: TODO
     */
    public class HttpPostTest {
    
        public static void main(String[] args) {
    
            // 1. 创建HttpClient对象
            CloseableHttpClient httpClient = HttpClients.createDefault();
    
            // 2. 创建HttpPost对象, 设置url访问地址
            HttpPost httpPost = new HttpPost("https://www.csdn.net/");
    
            CloseableHttpResponse httpResponse = null;
    
            try{
                // 3. 使用HttpClient发起请求, 获取response
                 httpResponse = httpClient.execute(httpPost);
    
                // 4. 解析响应
                if (httpResponse.getStatusLine().getStatusCode() == 200) {
                    // 获取响应体
                    HttpEntity httpEntity = httpResponse.getEntity();
    
                    String content = EntityUtils.toString(httpEntity, "utf8");
                    System.out.println(content.length());
                }
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                // 关闭httpResponse
                if (httpResponse != null) {
                    try {
                        httpResponse.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
    
                // 关闭httpClient
                if (httpClient != null) {
                    try {
                        httpClient.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
            }
    
    
    
    
        }
    
    }
    
  4. HttpPostParamTest(带参post)

    package com.xiaoge.crawler.test;
    
    import org.apache.http.HttpEntity;
    import org.apache.http.NameValuePair;
    import org.apache.http.client.entity.UrlEncodedFormEntity;
    import org.apache.http.client.methods.CloseableHttpResponse;
    import org.apache.http.client.methods.HttpPost;
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClients;
    import org.apache.http.message.BasicNameValuePair;
    import org.apache.http.util.EntityUtils;
    
    import java.io.IOException;
    import java.util.ArrayList;
    import java.util.List;
    
    /**
     * @Author: 潇哥
     * @DateTime: 2020/9/21 下午4:35
     * @Description: TODO
     */
    public class HttpPostParamTest {
    
        public static void main(String[] args) throws Exception {
    
            // 1. 创建HttpClient对象
            CloseableHttpClient httpClient = HttpClients.createDefault();
    
            // 2. 创建HttpPost对象, 设置url访问地址
            HttpPost httpPost = new HttpPost("https://so.csdn.net/so/search/s.do");
    
            // 声明List集合, 封装表单中的参数
            List<NameValuePair> params = new ArrayList<NameValuePair>();
    
            // 设置请求地址是: https://so.csdn.net/so/search/s.do?q=java
            params.add(new BasicNameValuePair("q", "java"));
    
            // 创建表单的Entity对象, 第一个参数就是封装好的表单数据, 第二个参数就是编码
            UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(params, "utf8");
    
            // 设置表单的Entity对象到Post请求中
            httpPost.setEntity(formEntity);
    
    
            CloseableHttpResponse httpResponse = null;
    
            try{
                // 3. 使用HttpClient发起请求, 获取response
                 httpResponse = httpClient.execute(httpPost);
    
                // 4. 解析响应
                if (httpResponse.getStatusLine().getStatusCode() == 200) {
                    // 获取响应体
                    HttpEntity httpEntity = httpResponse.getEntity();
    
                    String content = EntityUtils.toString(httpEntity, "utf8");
                    System.out.println(content.length());
                }
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                // 关闭httpResponse
                if (httpResponse != null) {
                    try {
                        httpResponse.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
    
                // 关闭httpClient
                if (httpClient != null) {
                    try {
                        httpClient.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
            }
    
    
    
    
        }
    
    }
    
  5. 连接池管理器(管理httpClient)

    package com.xiaoge.crawler.test;
    
    import org.apache.http.HttpEntity;
    import org.apache.http.client.methods.CloseableHttpResponse;
    import org.apache.http.client.methods.HttpGet;
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClients;
    import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
    import org.apache.http.util.EntityUtils;
    
    import java.io.IOException;
    
    /**
     * @Author: 潇哥
     * @DateTime: 2020/9/21 下午5:27
     * @Description: TODO
     */
    public class HttpClientPoolTest {
    
        public static void main(String[] args) {
            // 创建连接池管理器
            PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
    
            // 设置最大连接数
            cm.setMaxTotal(100);
    
            // 设置每个主机的最大连接数, (意思是每个网站只能链接10个, 因为每一个网站的域名就是一个主机)
            cm.setDefaultMaxPerRoute(10);
    
            // 使用连接池管理器发送请求
            doGet(cm);
            doGet(cm);
    
        }
    
        private static void doGet(PoolingHttpClientConnectionManager cm) {
            // 不是每次创建新的HttpClient, 而是从连接池中获取HttpClient对象
            CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
    
            HttpGet httpGet = new HttpGet("https://www.csdn.net/");
    
            CloseableHttpResponse httpResponse = null;
    
            try {
                httpResponse = httpClient.execute(httpGet);
    
                if (httpResponse.getStatusLine().getStatusCode() == 200) {
                    HttpEntity httpEntity = httpResponse.getEntity();
                    String content = EntityUtils.toString(httpEntity, "utf8");
                    System.out.println(content.length());
                }
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
    
                // 关闭httpResponse
                if (httpResponse != null) {
                    try {
                        httpResponse.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
    
                // 不能关闭HttpClient, 由连接池管理HttpClient
                // httpClient.close();
            }
    
    
        }
    
    }
    
  6. HttpConfigTest(设置请求信息)

    package com.xiaoge.crawler.test;
    
    import org.apache.http.HttpEntity;
    import org.apache.http.client.config.RequestConfig;
    import org.apache.http.client.methods.CloseableHttpResponse;
    import org.apache.http.client.methods.HttpGet;
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClients;
    import org.apache.http.util.EntityUtils;
    
    import java.io.IOException;
    
    /**
     * @Author: 潇哥
     * @DateTime: 2020/9/21 下午4:35
     * @Description: TODO
     */
    public class HttpConfigTest {
    
        public static void main(String[] args) {
    
            // 1. 创建HttpClient对象
            CloseableHttpClient httpClient = HttpClients.createDefault();
    
            // 2. 创建HttpGet对象, 设置url访问地址
            HttpGet httpGet = new HttpGet("https://www.csdn.net/");
    
            // 配置请求信息
            RequestConfig config = RequestConfig.custom().setConnectTimeout(1000)// 创建连接的最长时间, 单位是毫秒
                                            .setConnectionRequestTimeout(500) // 设置获取链接的最长时间, 单位毫秒
                                            .setSocketTimeout(10 * 1000)      // 设置数据传输的最长时间, 单位毫秒
                                            .build();
    
            // 给请求设置请求信息
            httpGet.setConfig(config);
    
    
            CloseableHttpResponse httpResponse = null;
    
            try{
                // 3. 使用HttpClient发起请求, 获取response
                 httpResponse = httpClient.execute(httpGet);
    
                // 4. 解析响应
                if (httpResponse.getStatusLine().getStatusCode() == 200) {
                    // 获取响应体
                    HttpEntity httpEntity = httpResponse.getEntity();
    
                    String content = EntityUtils.toString(httpEntity, "utf8");
                    System.out.println(content.length());
                }
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                // 关闭httpResponse
                if (httpResponse != null) {
                    try {
                        httpResponse.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
    
                // 关闭httpClient
                if (httpClient != null) {
                    try {
                        httpClient.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
            }
    
    
    
    
        }
    
    }
    
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
压缩包中含有多个文档,从了解httpclient到应用。 httpClient 1httpClint 1.1简介 HttpClient是Apache Jakarta Common下的子项目,用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包,并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中,比如Apache Jakarta上很著名的另外两个开源项目Cactus和HTMLUnit都使用了HttpClient。 下载地址:  http://hc.apache.org/downloads.cgi 1.2特性 1. 基于标准、纯净的java语言。实现了Http1.0和Http1.1 2. 以可扩展的面向对象的结构实现了Http全部的方法(GET, POST, PUT, DELETE, HEAD, OPTIONS, and TRACE)。 3. 支持HTTPS协议。 4. 通过Http代理建立透明的连接。 5. 利用CONNECT方法通过Http代理建立隧道的https连接。 6. Basic, Digest, NTLMv1, NTLMv2, NTLM2 Session, SNPNEGO/Kerberos认证方案。 7. 插件式的自定义认证方案。 8. 便携可靠的套接字工厂使它更容易的使用第三方解决方案。 9. 连接管理器支持多线程应用。支持设置最大连接数,同时支持设置每个主机的最大连接数,发现并关闭过期的连接。 10. 自动处理Set-Cookie中的Cookie。 11. 插件式的自定义Cookie策略。 12. Request的输出流可以避免流中内容直接缓冲到socket服务器。 13. Response的输入流可以有效的从socket服务器直接读相应内容。 14. 在http1.0和http1.1中利用KeepAlive保持持久连接。 15. 直接获服务器发送的response code和 headers。 16. 设置连接超时的能力。 17. 实验性的支持http1.1 response caching。 18. 源代码基于Apache License 可免费获。 1.3版本 org.apache.http.impl.client.HttpClients 与 org.apache.commons.httpclient.HttpClient目前后者已被废弃,apache已不再支持。 一般而言,使用HttpClient均需导入httpclient.jar与httpclient-core.jar2个包。 1.4使用方法与步骤 开发环境:需要 使用HttpClient发送请求、接收响应很简单,一般需要如下几步即可。 1.创建HttpClient对象。 HttpClient client = new HttpClient(); 2.创建请求方法的实例,并指定请求URL。如果需要发送GET请求,创建HttpGet对象;如果需要发送POST请求,创建HttpPost对象。 //使用GET方法,如果服务器需要通过HTTPS连接,那只需要将下面URL中的 http换成https HttpMethod method = new GetMethod("http://www.baidu.com"); //使用POST方法 HttpMethod method = new PostMethod("http://java.sun.com";); 3. 如果需要发送请求参数,可调用HttpGet、HttpPost共同的setParams(HetpParams params)方法来添加请求参数;对于HttpPost对象而言,也可调用setEntity(HttpEntity entity)方法来设置请求参数。 3.调用HttpClient对象的execute(HttpUriRequest request)发送请求,该方法返回一个HttpResponse。 client.executeMethod(method); 5. 调用HttpResponse的getAllHeaders()、getHeaders(String name)等方法可获服务器的响应头;调用HttpResponse的getEntity()方法可获HttpEntity对象,该对象包装了服务器的响应内容。程序可通过该对象获服务器的响应内容。 6. 释放连接。无论执行方法是否成功,都必须释放连接 //打印服务器返回的状态 System.out.println(method.getStatusLine()); //打印返回的信息 System.out.println(method.getResponseBodyAsString(

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

只因为你温柔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值