Python爬虫学习-第三篇 Scrapy框架初探和安装

最新推荐文章于 2024-11-13 17:26:18 发布

板命土豆

最新推荐文章于 2024-11-13 17:26:18 发布

阅读量316

点赞数

分类专栏： python 文章标签： python scrapy 爬虫

本文链接：https://blog.csdn.net/zq084100153/article/details/83589587

版权

python 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文介绍了Python爬虫框架Scrapy，包括其架构、组件和数据流，详细阐述了Scrapy的各个组成部分如Engine、Scheduler、Downloader、Spiders等。此外，还提供了Scrapy的安装步骤，涉及wheel、lxml、pyopenssl、Twisted和pywin32等相关库的安装。通过本文，读者将能够了解Scrapy并完成安装。

摘要由CSDN通过智能技术生成

上篇博文是让我们对python爬虫的原理有个大概的了解，尝试做了一个简单的爬虫，那么针对复杂的网站，我们该如何快速的编写爬虫呢，答案就是使用python的第三方库：scrapy。

scrapy百度释义：

Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

1.Scrapy的架构（注：此节摘自scrapy官方网站）：

1.1组件：

Scrapy Engine

引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。详细内容查看下面的数据流(Data Flow)部分。

Scheduler（调度器）

从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。可以通过配置是否去掉重复的请求。

下载器(Downloader)

下载器负责获取页面数据并提供给引擎，而后提供给spider。

Spiders

Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。每个spider负责处理一个特定(或一些)网站。更多内容请看 Spiders 。

Item Pipeline

Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、验证及持久化(例如存取到数据库中)。更多内容查看 Item Pipeline 。

下载器中间件(Downloader middlewares)

下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。更多内容请看下载器中间件(Downloader Middleware) 。

Spider中间件(Spider middlewares)

Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。更多内容请看 Spider中间件(Middleware) 。

1.2数据流（data flow）

Scrapy中的数据流由执行引擎控制，其过程如下:

引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
引擎向调度器请求下一个要爬取的URL。
调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。
引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。
(从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。

2.Scrapy安装

2.1 安装wheel

        wheel 本质上是一个 zip 包格式，它使用 .whl 扩展名，用于 python 模块的安装，它的出现是为了替代 Eggs。
        安装命令：pip install wheel
    2.2 安装lxml

lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索，XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择，spider的选择器基于此库实现。
下载路径：https://pypi.python.org/pypi/lxml/4.1.0

2.3 安装pyopenssl

pyopenssl是一个封装了openssl的python模块。OpenSSL是一个开放源代码的软件库包，应用程序可以使用这个包来进行安全通信，避免窃听，同时确认另一端连接者的身份。
下载地址：https://pypi.python.org/pypi/pyOpenSSL/17.5.0

2.4 安装Twisted

twisted是一个用python语言写的事件驱动的网络框架，他支持很多种协议，包括UDP,TCP,TLS和其他应用层协议，比如HTTP，SMTP，NNTM，IRC，XMPP/Jabber。非常好的一点是twisted实现和很多应用层的协议，开发人员可以直接只用这些协议的实现
下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/

2.5 安装pywin32
windows平台需要依赖pywin32，pywin32是python操作windows系统的API的封装，请根据自己系统32/64位选择下载安装。

下载地址：https://sourceforge.net/projects/pywin32/

2.6 安装scrapy
pip install scrapy

执行命令：scrapy

结果：查看到安装的scrapy 版本信息，显然我们的scrapy已经安装成功