本文介绍了如何使用Scrapy爬取分页网站数据，包括创建项目、配置settings、定义item、分析HTML结构、编写爬虫代码以及处理分页逻辑。在实践中，作者遇到了请求限制的问题，并给出了解决方案。
前言
使用scrapy的目的是方便爬虫人员通过scrapy框架编写简单的代码，提取需要爬取的网站上有用的数据，其框架底层已经对爬虫的过程做了大量的逻辑处理，而爬虫人员只需按照指定的规则使用即可，个人觉得这其中最麻烦的工作在于分析要提取的网站html结构，然后使用解析器解析出需要的字段数据
在上一篇中，我们学会了使用scrapy爬取一个简单的网页，但那个是单页面的数据，现实中，很多网站的数据都是分页的，因此需要通过分页爬取才能把所有的数据全部提取出来，下面简单分享一下这个流程，本篇我们要爬取的网站如下，是一个段子的网站
1、创建scrapy的项目
通过这两个命令创建并初始化一个scrapy项目
scrapy startproject qsbk
scrapy genspider qsbk_spider "http://www.lovehhy.net"
创建完毕后，导入到pycharm编辑器中，项目的结构大家就比较熟悉了，这里不再过多解释
订阅专栏 解锁全文
扫一扫
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
