连峰碧波间，浅水泛舟游

1.doExecute(final HttpHost target, \qquad final HttpRequest request, \qquad final HttpContext context) 主要步骤： 1.final HttpRequestWrapper wrapper = HttpRequ

1.若引用的资源和本身在同一路径下（既在同一目录下） 在example.html中引用tupian.gif 相对路径：<imgsrc="tupian.gif"border="0"/><img \quad src="tupian.gif" border="0"/> 绝对路径：<imgsrc="d:/例子/html/tupian.gif"border="0"/><img \quad sr

一直都没有深入研究过 Http Proxy，最近在使用libcurl的过程中，发现在有Proxy的情况下，使用CURL请求一个https的资源，会有返回2个response。经过一番抓包和研究之后，发现另有原因。根据 RFC2817 的讲解发现，在使用Proxy请求https的时候，首先会使用HTTP的CONNECT Method向Proxy发起请求。另外，更具 RFC2816 中关于CONNECT

\qquad WebMagic爬虫主要由Downloader，PageProcessor，Pipelines，scheduler四个主要的部分构成。总调度类为Spider，主要负责请求任务分发，控制多个线程同时对多个网页进行下载，解析，存储。本文会针对这五个部分进行详细的代码剖析。1.Downloader1.1 Downloader接口public interface Downloader {

本文使用httpcomponents-client-4.5.3和httpcomponents-core-4.4.6进行CSDN模拟登陆。//step 1:get some necessary information about login HttpClientBuilder httpClientBuilder2=HttpClients.custom(); httpCl

1.httpclientBuilder 域 1.1 PublicSuffixMatcher 用于检查给出的域名是否和public suffix list中的后缀匹配。 1.2 HttpRequestExecutor 1.3 HttpClientConnectionManager http连接管理 1.4 ConnectionReuseStrategy 连接重用策略 1.5 Con