scrapy菜鸟开始之最简单的Forbidden by robots.txt报错,python中遇到的request问题
scrapy爬虫初学
在爬虫开始的起点上,然后就去爬人家的网站,然后爬着就出现了
Forbidden by robots.txt 翻译过来就是遵循robots 的协议,在spider 的时候你们可以去看看这个robots是什么。我就不详解了。
那么解决来了
找到scrapy项目中的settings.py,下面代码行是让他遵循robots协议,一般默认是true
# Obey robots.txt rules
ROBOTSTXT_OBEY = Ture
然后动手一改 False问题解决
# Obey r
原创
2020-09-14 14:08:51 ·
193 阅读 ·
0 评论