通常运行Scrapy爬虫的方法是在工程目录下执行scrapy crawl <spider>
命令,而不是直接运行Python脚本,因此无法直接命中断点。执行scrapy命令时实际上是执行了scrapy.cmdline模块,因此在PyCharm中添加一个运行该模块的配置即可。
- 点击左上角的"Add Configuration…"
- 添加一个Python运行配置
- 点击右边"Script path"后边的三角,选择"Module name",表示要执行一个Python模块,然后输入scrapy.cmdline
- 然后输入参数crawl <spider>,这里爬虫名是quotes,下面的工作目录选择工程根目录
- 点击确定,然后按正常方式开始调试即可成功命中断点