python运行scrapy爬虫

一般教程中教大在命令行运行爬虫：

方式一

$ scrapy crawl spider_name
1
2
3
这样，每次都要切换到命令行，虽然可以按向上键得到上次运行的指令，不过至少还要敲一次运行命令

还有一种方式是单独配置一个文件，spider_name是具体爬虫名称，通过pycharm运行设置，不过每次都要改爬虫名称，而且不利于git提交

方式二

from scrapy import cmdline
args = “scrapy crawl spider_name”.split()
cmdline.execute(args)
1
2
3
4
5
第三种方式和方式二类似，不同的是在每个爬虫文件最下面配置如下代码，

方式三

if name == ‘main’:
from scrapy import cmdline
args = “scrapy crawl spider_name”.split()
cmdline.execute(args)
1
2
3
4
5
6
可以直接执行脚本，当然如果是mac本的话可以用快捷键shift + ctrl + R
————————————————
版权声明：本文为CSDN博主「彭世瑜」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/mouday/article/details/81021291