scrapy爬虫初学 在爬虫开始的起点上,然后就去爬人家的网站,然后爬着就出现了 Forbidden by robots.txt 翻译过来就是遵循robots 的协议,在spider 的时候你们可以去看看这个robots是什么。我就不详解了。 那么解决来了 找到scrapy项目中的 settings.py,下面代码行是让他遵循robots协议,一般默认是true # Obey robots.txt rules ROBOTSTXT_OBEY = Ture 然后动手一改 False问题解决 # Obey robots.txt rules ROBOTSTXT_OBEY = False