简单的java爬虫实现

去年中旬开始接触爬虫一直都是浅显带过 期间也写过 知乎爬虫和科技网站定向抓取及爬取整个互联网的爬虫

今天和大家分享一下第三个 及其实现方式和代码 早期的实现想法 附代码

关于爬虫其实理论上很简单 就是通过互联网上的超链接导航实现页面的调转与抓取 互联网的网也因此而来 

我也会一步一步的将实现方式和想法展现出来 方便大家能够明白每一步要做什么应该怎么做

爬虫可以分为6个部分：

1.下载器 ——实现爬虫的基础

2.链接解析器——获取文档超链接

3.链接队列——负责管理链接（分为两部分 1已经抓取的，2待抓取（实现去重））

4.页面分析器——负责将有用信息剥离出来

5.存储器——将页面信息进行存储（这里为了方便展示选择了生成html文件，同样也可以持久化信息）

6.任务分发器——负责以上模块的协作

1.下载器我们选择了apache提供的httpClient（还有其他一些也不错，自由选择）

1. package com.search.sprider;
2. 
   
3. 
   
4. import java.io.IOException;
5. import org.apache.http.HttpEntity;
6. import org.apache.http.HttpStatus;
7. import org.apache.http.ParseException;
8. import org.apache.http.client.ClientProtocolException;
9. import org.apache.http.client.config.RequestConfig;
10. import org.apache.http.client.methods.CloseableHttpResponse;
11. import org.apache.http.client.methods.HttpGet;
12. import org.apache.http.impl.client.CloseableHttpClient;
13. import org.apache.http.impl.client.HttpClients;
14. import org.apache.http.util.EntityUtils;
15. 
    
16. 
    
17. /**
18.  * @see 爬取网页内容
19.  * @author zhuGe
20.  *
21.  */
22. public class Sprider {
23. 
    
24. 
    
25. public static String get(String url) {
27. CloseableHttpClient httpClient = HttpClients.createDefault();
29. 
    
30. 
    
31. // 创建httpget
32. HttpGet httpGet;
33. try {
34. httpGet = new HttpGet(url);
35. } catch (Exception e1) {
36. return null;
37. }
39. // 设置表头
40. httpHeader(httpGet);
41. //设置超时
42. RequestConfig requestConfig = RequestConfig.custom().setSocketTimeout(2000).setConnectTimeout(2000).build();//设置请求和传输超时时间
43. httpGet.setConfig(requestConfig);
44. String download = null;
45. 
    
46. 
    
47. try {
48. // 执行get请求.
49. CloseableHttpResponse response = httpClient.execute(httpGet);
50. // 获取响应实体
51. HttpEntity entity = response.getEntity();
52. // System.out.println(httpGet.getURI());
53. // // 打印响应状态
54. // System.out.println(response.getStatusLine());
55. // System.out.println("--------------------------------------");
56. /**
57.  * 爬虫
58.  */
59. 
    
60. 
    
61. if(entity != null){
62. if (response.getStatusLine().getStatusCode() == HttpStatus.SC_OK) {
63. download = EntityUtils.toString(entity);
65. }
66. }
68. //  if (entity != null) {
69. //  // 打印响应内容长度
70. //  System.out.println("Response content length: " +
71. //  entity.getContentLength());
72.  // 打印响应内容
73. //  System.out.println(download);
74. } catch (ClientProtocolException e) {
75. // TODO Auto-generated catch block
76. e.printStackTrace();
77. return null;
78. } catch (ParseException e) {
79. // TODO Auto-generated catch block
80. e.printStackTrace();
81. return null;
82. } catch (IOException e) {
83. // TODO Auto-generated catch block
84. new Exception("ioe");
85. return null;
86. }finally {
87. // 关闭连接,释放资源
88. try {
89. httpClient.close();
90. } catch (IOException e) {
91. e.printStackTrace();
92. return null;
93. }
94. }
96. return download;
97. }
99. //设置表头
100. public static void httpHeader(HttpGet httpGet){
101. httpGet.setHeader("Accept", "Accept text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
102. 
     
103. 
     
104. httpGet.setHeader("Accept-Charset", "GB2312,utf-8;q=0.7,*;q=0.7");
105. 
     
106. 
     
107. httpGet.setHeader("Accept-Encoding", "gzip, deflate");
108. 
     
109. 
     
110. httpGet.setHeader("Accept-Language", "zh-cn,zh;q=0.5");
111. 
     
112. 
     
113. httpGet.setHeader("Connection", "keep-alive");
114. 
     
115. 
     
116. // httpGet.setHeader("Cookie", "__utma=226521935.73826752.1323672782.1325068020.1328770420.6;");
117. 
     
118. 
     
119. // httpGet.setHeader("Host", "www.cnblogs.com");
120. 
     
121. 
     
122. httpGet.setHeader("refer",
123. "http://www.baidu.com/s?tn=monline_5_dg&bs=httpclient4+MultiThreadedHttpConnectionManager");
124. 
     
125. 
     
126. httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2");
127. 
     
128. 
     
129. // System.out.println("Accept-Charset: " + httpGet.getFirstHeader("Accept-Charset"));
130. 
     
131. 
     
132. }
133. 
     
134. 
     
135. }

2.链接解析器选择了jsoup 配合正则(通过dom树更方便获取，可以选择单纯使用正则或jsoup>_< 早期写代码失误了下版升级优化)

1. package com.search.split;
2. 
   
3. 
   
4. import java.util.HashSet;
5. import java.util.Set;
6. import java.util.regex.Matcher;
7. import java.util.regex.Pattern;
8. 
   
9. 
   
10. import org.jsoup.nodes.Document;
11. import org.jsoup.nodes.Element;
12. import org.jsoup.select.Elements;
13. /**
14.  * 
15.  * @author zhuGe
16.  * @see 链接获取器
17.  */
18. public class HrefOfPage {
19. 
    
20. 
    
21. /**
22.  * 
23.  * @see 获取所有符合要求的链接
24.  * @param doc
25.  * @return 所有的http://的a链接里面的href属性值
26.  * 
27.  */
28. @SuppressWarnings({ "rawtypes", "unchecked" })
29. public static Set<String> printHref(Document  doc){
30. Set aHref = null;
31. if(aHref==null){
32. aHref = new HashSet<String>();
33. }
34. aHref.clear();
35. //获取所有的a元素
36. Elements aS = doc.getElementsByTag("a");
37. for (Element element : aS) {
38. //正则匹配
39. //获取属性href里面满足条件的内容
40. String href = (element.attr("href"));
41. String regex ="(http://.+)";
42. Pattern p = Pattern.compile(regex);
43. Matcher m = p.matcher(href);
44. //获取遍历所有满足条件的标签并获取链接
45. while(m.find()){
46. String a = m.group(0);
47. aHref .add(a);
48. }
49. }
50. // System.out.println("页面链接数量："+aHref.size());
51. return aHref;
52. }
53. }

3.链接队列 待抓取队列 选择了LinkedList的集合（队列（queue）方便管理）

1. package com.search.url;
2. 
   
3. 
   
4. import java.util.LinkedList;
5. 
   
6. 
   
7. public class UrlQueue {
9.  /**超链接队列*/
10.     public static LinkedList<String> urlQueue = new LinkedList<String>();  
11.          
12.     /**队列中对应最多的超链接数量*/
13.     public static final int MAX_SIZE = 10000;  
14.     
15.     public synchronized static void addElem(String url)  
16.     {  
17.         urlQueue.add(url);  
18.     }  
19.          
20.     public synchronized static String outElem()  
21.     {  
22.      String outUrl = urlQueue.removeFirst();
23.      //将查询过的去除掉
24.      if(urlQueue.contains(outUrl)){
25.      urlQueue.remove(outUrl);
26.      System.out.println("faxxx");
27.      }
28.         return outUrl;  
29.     }
30. 
    
31. 
    
32.     public synchronized static boolean isEmpty()  
33.     {  
34.         return urlQueue.isEmpty();  
35.     }  
36.     
37. 
    
38. 
    
39. 
    
40. 
    
41. }

3.链接队列 以抓取队列 选择了set结婚（可以去重）

1. package com.search.url;
2. 
   
3. 
   
4. import java.util.HashSet;  
5. 
   
6. 
   
7. /**  
8. * 已访问url队列  
9. * @author zhuGe
10. *  
11. */
12. public class VisitedUrlQueue  
13. {  
14.     public static HashSet<String> visitedUrlQueue = new HashSet<String>();  
15.      
16.     public synchronized static void addElem(String url)  
17.     {  
18.         visitedUrlQueue.add(url);  
19.     }  
20.      
21.     public synchronized static boolean isContains(String url)  
22.     {  
23.         return visitedUrlQueue.contains(url);  
24.     }  
25.      
26.     public synchronized static int size()  
27.     {  
28.         return visitedUrlQueue.size();  
29.     }  
30. }

4.页面分析器同样采用jsoup（2和4分开方便后期维护管理，只获取了网站标题,可以定制）

1. package com.search.split;
2. 
   
3. 
   
4. import org.jsoup.nodes.Document;
5. import org.jsoup.select.Elements;
6. 
   
7. 
   
8. public class PageTitle {
10. public static String printTitle(Document doc){
11. Elements title = doc.getElementsByTag("title");
12. return title.text();
13. }
14. 
    
15. 
    
16. }

5.存储器使用输出流输出数据生成html页面 6.任务分发器配合多线程提升效率（加入和深度筛选 控制深度优先 ）

1. package com.search.tread;
2. 
   
3. 
   
4. import java.io.BufferedWriter;
5. import java.io.FileWriter;
6. import java.io.IOException;
7. import java.util.Set;
8. import org.jsoup.Jsoup;
9. import org.jsoup.nodes.Document;
10. import com.search.split.HrefOfPage;
11. import com.search.split.PageTitle;
12. import com.search.sprider.Sprider;
13. import com.search.url.UrlQueue;
14. import com.search.url.VisitedUrlQueue;
15. import com.search.util.Depth;
16. 
    
17. 
    
18. /**
19.  * @author zhuGe
20.  * @data 2016年1月17日
21.  */
22. public class UrlTread implements Runnable{
23. 
    
24. 
    
25. @Override
26. public void run() {
27. while(!UrlQueue.isEmpty()){
28. String url = UrlQueue.outElem();
30. System.out.println("移除"+url);
31. String context = null;
32. if(!VisitedUrlQueue.isContains(url)){
33. context = Sprider.get(url);
34. }
35. 
    
36. 
    
37. if(context!=null){
38. //访问过的链接
40. addHref(context,url);
42. }
44. VisitedUrlQueue.addElem(url);
45. }
46. }
48. 
    
49. 
    
51. /**
52.  * @see 获取链接并输出标题
53.  * @param context
54.  * @param url
55.  */
56. public  void addHref(String context,String url){
58. Document doc = Jsoup.parse(context);
59. //获取所有链接
60. Set<String> hrefSet = HrefOfPage.printHref(doc);
61. //获取网站标题
62. String title = PageTitle.printTitle(doc);
63. System.out.println(Thread.currentThread().getName());
65. String html =("<li><a href='"+url+"'>"+title+"</a></li>\n");
67. //添加文件到输出对象
68. 
    
69. 
    
70. outFile(html);
71. System.out.println(html);
72. //进行深度筛选
73. if(hrefSet!=null){
74. hrefSet = Depth.depth(hrefSet, 1);
75. }
76. //将链接添加进待访问队列
77. for (String string : hrefSet) {
79. if(!VisitedUrlQueue.isContains(string)){//判断是否已被访问
80. System.out.println("加入队列"+string);
81. UrlQueue.addElem(string);
83. }else{
84. System.out.println("重复"+string);
85. }
88. }
89. 
    
90. 
    
91. }
93. 
    
94. 
    
95. public void outFile(String html){
97. try {
98. @SuppressWarnings("resource")
99. BufferedWriter out = new BufferedWriter(new FileWriter("d://test.html",true));
100. out.write(html);
101. out.flush();
102. } catch (IOException e) {
103. // TODO Auto-generated catch block
104. e.printStackTrace();
105. }
106. }
107. 
     
108. 
     
109. }

其他扩展 

深度控制器

1. package com.search.util;
2. 
   
3. 
   
4. import java.util.HashSet;
5. import java.util.Set;
6. 
   
7. 
   
8. /**
9.  * @see 筛选链接的深度
10.  * @author zhuGe
11.  *
12.  */
13. public class Depth {
15. /**
16.  * 
17.  * @param hrefSet 注入需要控制深度的链接
18.  * @param depth 筛选满足深度的链接
19.  */
20. public static Set<String> depth(Set<String> hrefSet,int depth){
21. Set<String> deptahHrefSet=null;
22. if(deptahHrefSet==null){
23. deptahHrefSet = new HashSet<String>();
24. }
25. deptahHrefSet.clear();
26. String[] str = null;
27. for (String href : hrefSet) {
28. str = href.split("/");
29. //链接深度
30. int idepth = str==null?0:str.length-2;
31. //
32. // System.out.println(href+" [深度:"+idepth+"]");
33. if(idepth<=depth){
34. //去除最后的反斜杠
35. if(href.lastIndexOf("/")==href.length()-1){
36. deptahHrefSet.add(href.substring(0, href.length()-1));
37. }else{
38. deptahHrefSet.add(href);
39. }
40. }
41. }
42. return deptahHrefSet;
44. }
45. 
    
46. 
    
47. }

启动入口（‘加入睡眠防止开启时链接数目过少导致线程没有获取任务“）

1. package com.search.control;
2. 
   
3. 
   
4. import com.search.tread.UrlTread;
5. import com.search.url.UrlQueue;
6. 
   
7. 
   
8. public class controlCentre {
10. public static void main(String[] args) {
12. UrlQueue.addElem("http://www.ifanr.com");
13. UrlQueue.addElem("http://www.leiphone.com");
14. UrlQueue.addElem("http://www.huxiu.com");
15. UrlTread[] t = new UrlTread[8];
16. for(int i=0;i<t.length;i++){
17. t[i] = new UrlTread();
18. try {
19. Thread.sleep(2000);
20. } catch (InterruptedException e) {
21. // TODO Auto-generated catch block
22. e.printStackTrace();
23. }
24. new Thread(t[i],"蜘蛛人："+i+"号").start();
25. }
26. //
27. 
    
28. 
    
29. }
31. 
    
32. }

代码还有待优化(这只是简单爬虫实现的基础，不过理论上他已经可以爬取整个互联网了) ，源码下载可以邮箱留言