使用httpclient下载页面、图片

最新推荐文章于 2023-05-05 15:45:08 发布

zhao1949

最新推荐文章于 2023-05-05 15:45:08 发布

阅读量845

点赞数

分类专栏： http 文章标签： java

本文链接：https://blog.csdn.net/zhao1949/article/details/78948759

版权

本文详细介绍了如何使用Java的httpclient库下载网页内容和图片，包括设置请求头、处理响应以及保存文件的方法。

摘要由CSDN通过智能技术生成

代码

import java.io.IOException;
import java.io.UnsupportedEncodingException;

import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.config.CookieSpecs;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class MyHttpClientUtils {
	
	private static Logger logger = LoggerFactory.getLogger(MyHttpClientUtils.class);
	
	private static final int  HTTPCLIENT_TIMEOUT = 5000;

	public static Tuple2<Boolean,String> getPageByUrl(String pageUrl, String encode) throws UnsupportedEncodingException{
		logger.info("pageurl=" + pageUrl);
		String body = null;
		RequestConfig req