scrapy爬取多页面

前言

使用scrapy的目的是方便爬虫人员通过scrapy框架编写简单的代码，提取需要爬取的网站上有用的数据，其框架底层已经对爬虫的过程做了大量的逻辑处理，而爬虫人员只需按照指定的规则使用即可，个人觉得这其中最麻烦的工作在于分析要提取的网站html结构，然后使用解析器解析出需要的字段数据

在上一篇中，我们学会了使用scrapy爬取一个简单的网页，但那个是单页面的数据，现实中，很多网站的数据都是分页的，因此需要通过分页爬取才能把所有的数据全部提取出来，下面简单分享一下这个流程，本篇我们要爬取的网站如下，是一个段子的网站

1、创建scrapy的项目

通过这两个命令创建并初始化一个scrapy项目

scrapy startproject qsbk
scrapy genspider qsbk_spider "http://www.lovehhy.net"

创建完毕后，导入到pycharm编辑器中，项目的结构大家就比较熟悉了，这里不再过多解释

为了方便调试，我不想在cmd黑窗口