转自:https://www.cnblogs.com/I-love-Xiang/p/14143076.html
一、debug调试
1、在scrapy项目下新建main.py文件,与scrapy.cfg平级
2、代码如下
from scrapy.cmdline import execute
import os
import sys
if __name__ == '__main__':
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy','crawl','hupu_bbs'])
3、运行
在pycharm中,直接debug该文件就可以了
二、运行方式
1、cmd运行
进入项目下,打开cmd执行命令:
scrapy crawl xx.py(爬虫文件名)
2、python文件运行
在spiders文件夹下新建run.py,内容如下
from scrapy import cmdline
cmdline.execute('scrapy crawl hupu_bbs'.split())