爬取gzip加密的网页

                GetMethod method = new GetMethod(url);
		method.setRequestHeader("Accept-Encoding", "gzip, deflate");
		try {
			/* 获得信息载体 */
			int state = getHttpClient().executeMethod(method);
			if (state == 200) {
//			      content = method.getResponseBodyAsString();
			      InputStream is = method.getResponseBodyAsStream();
                              GZIPInputStream gzin = new GZIPInputStream(is);
                              InputStreamReader isr = new InputStreamReader(gzin, "utf-8"); // 设置读取流的编码格式,自定义编码
                              java.io.BufferedReader br = new java.io.BufferedReader(isr);
                              StringBuffer sb = new StringBuffer();
                              String tempbf;
                              while ((tempbf = br.readLine()) != null) {
                                     sb.append(tempbf);
                                     sb.append("\r\n");
                              }
                              isr.close();
                              gzin.close();
                              String html = sb.toString();
                              System.out.println(html);
			}

		} catch (IOException e) {
			e.printStackTrace();
		} finally {
			method.releaseConnection();
		}


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值