scrapy debug

转自：https://www.cnblogs.com/I-love-Xiang/p/14143076.html

一、debug调试

　　1、在scrapy项目下新建main.py文件，与scrapy.cfg平级

            

　　2、代码如下

from scrapy.cmdline import execute
import os
import sys

if __name__ == '__main__':
    sys.path.append(os.path.dirname(os.path.abspath(__file__)))
    execute(['scrapy','crawl','hupu_bbs'])

　　3、运行

　　　　在pycharm中，直接debug该文件就可以了

二、运行方式

　　1、cmd运行

　　　　进入项目下，打开cmd执行命令：

scrapy crawl xx.py(爬虫文件名)

　　2、python文件运行

　　　　在spiders文件夹下新建run.py，内容如下

              

from scrapy import cmdline

cmdline.execute('scrapy crawl hupu_bbs'.split())