在使用Scrapy爬取数据时，经常遇到因边界值问题导致的[scrapy.core.scraper] ERROR: Spider error processing错误。当爬到最后一页没有下一页时，未做判断会引发此错误。解决方法是在代码中对可能为空的参数进行检查，例如当ga_id为None时，传入空字符串或进行相应处理，从而避免错误发生。
在爬取数据的时候遇到会遇到很多各种各样的问题，但是有一个问题会经常出现，并且原因还很难发现，下面就给大家说下这个问题的原因，以及解决办法，开始运行会出现这样的一个错误：
[scrapy.core.scraper] ERROR: Spider error processing爬取数据代码：
出现的报错问题详细信息：
这时显示的信息是有空值None出现,导致的，其实也不难理解，大家可以想想，当我们爬取完网页信息的时候，当爬到最后一页的页面时，接下来就没有下一页的信息，如果我们没有进行判断的话，就会继续爬下一页信息，会发现已经没有下一页了，就会出现这样一个错误，这是边界值的问题所造成，大家很容易忘记这一点，而出现这个问题。
看这个报错信息，好像是参数值中
最低0.47元/天 解锁文章
扫一扫
1867
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
