从零开始写Python爬虫 --- 2.1 Scrapy 爬虫框架的安装与基本介绍

最新推荐文章于 2024-07-21 14:00:00 发布

zzh_my

最新推荐文章于 2024-07-21 14:00:00 发布

阅读量915

点赞数

分类专栏： python 爬虫教程文章标签： python 爬虫教程

53 篇文章 2 订阅

订阅专栏

12 篇文章 4 订阅

订阅专栏

11 篇文章 0 订阅

订阅专栏

Ehco

5 个月前

这次我们要介绍一个及其强大的爬虫框架---Scrapy，相比于前面我们写的bs4爬虫来说，这次要学习的框架更加的具有规模性，具有良好的并发性能，话不多说，让我们开始吧。

无论是在windows还是mac下，都可以是用pip工具进行快速安装：

pip install scrapy

这里推荐一个非常好用的Python调试shell：ipython

ipython是一种基于Python的交互解释器，比原生的Python shell提供了更加强大的编辑和交互功能，比如，代码高亮，自动补全等等。
我们依旧用pip工具进行安装:

pip install ipython

首先，我们得明白一点，Scrapy不是一个功能函数库，而是一个爬虫框架，简单的说，他是一个半成品，可以帮助用户简单快速的部署一个专业的网络爬虫。如果说前面我们写的定制bs4爬虫是”手动挡“，那Scrapy就相当于”半自动档“的车。

首先来一张框架整体的图：

从图中我们可以清楚的看到，整个框架一共分为五个部分：

这五个部分互相协作，共同完成了整个爬虫项目的工作。下面我们来一个一个介绍。

Spiders这个模块就是整个爬虫项目中需要我们手动实现的核心部分，就是类似我们之前写的get_content函数部分，最主要的功能是解析网页内容、产生爬取项、产生额外的爬去请求。

ITEM PIPELINES：

这个模块也是需要我们手动实现的，他的主要功能是将我们爬取筛选完毕的数据写入文本，数据库等等。总之就是一个“本地化”的过程。
DOWNLOADER：

这个模块，是Scrapy帮我们做好的，不需要我们自己编写，直接拿来用就行，其主要功能就是从网上获取网页内容，类似于我们写的get_html函数，当然，比我们自己写的这个简单的函数要强大很多
SCHEDULER：

这个模块对所有的爬取请求，进行调度管理，同样也是不需要我们写的模块。通过简单的配置就能达到更加多线程，并发处理等等强大功能。
ENGIINE
这个模块相当于整个框架的控制中心，他控制着所有模块的数据流交换，并根据不同的条件出发相对应的事件，同样，这个模块也是不需要我们编写的。