网页爬虫及其用到的算法和数据结构

网络爬虫，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。网络爬虫是 搜索引擎系统中十分重要的组成部分，它负责从互 联网中搜集网页，采集信息，这些网页信息用于建立索引从而为搜索 引擎提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即 时，因此其性能的优劣直接影响着搜索引擎的效果。

网络爬虫程序的优劣，很大程度上反映了一个搜索引擎的好差。不信，你可以随便拿一个网站去查询一下各家搜索对它的网页收录情况，爬虫强大程度跟搜索引擎好坏基本成正比。

1.世界上最简单的爬虫——三行情诗

我们先来看一个最简单的最简单的爬虫，用python写成，只需要三行。

import requests
url="http://www.cricode.com"
r=requests.get(url)

上面这三行爬虫程序，就如下面这三行情诗一般，很干脆利落。

是好男人，

就应该在和女友吵架时，

抱着必输的心态。

2.一个正常的爬虫程序