在PyCharm中调试Scrapy爬虫

最新推荐文章于 2024-04-15 22:48:05 发布
最新推荐文章于 2024-04-15 22:48:05 发布
阅读量516 收藏 4
点赞数 1
分类专栏： Scrapy 文章标签： pycharm 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzy979481894/article/details/104875808
版权

通常运行Scrapy爬虫的方法是在工程目录下执行scrapy crawl <spider>命令，而不是直接运行Python脚本，因此无法直接命中断点。执行scrapy命令时实际上是执行了scrapy.cmdline模块，因此在PyCharm中添加一个运行该模块的配置即可。

  1. 点击左上角的"Add Configuration…"
    Add Configuration
  2. 添加一个Python运行配置
    添加Python运行配置
  3. 点击右边"Script path"后边的三角，选择"Module name"，表示要执行一个Python模块，然后输入scrapy.cmdline
    选择Module name
  4. 然后输入参数crawl <spider>，这里爬虫名是quotes，下面的工作目录选择工程根目录
    输入运行参数
  5. 点击确定，然后按正常方式开始调试即可成功命中断点
    开始调试
    命中断点
zzy979
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pycharm下打开、执行并调试scrapy爬虫程序的方法
09-21
本篇文章主要介绍了pycharm下打开、执行并调试scrapy爬虫程序的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Python+Pycharm+Scrapy搭建爬虫项目.docx
03-17
PyCharm Community是一个流行的Python IDE，适合开发各种Python项目，包括Scrapy爬虫。安装PyCharm后，你需要通过命令行工具（如cmd）安装Scrapy，命令为`pip install scrapy`。 接下来，我们开始搭建Scrapy爬虫...
pycharm 调试 scrapy
一步一个脚印的往前走！
03-13 1万+
pycharm 调试 scrapy 问题：Unknown command: crawl
在pycharm里面调试scrapy
u012970678的博客
02-20 163
2， 在项目运行的“编辑配置”里面添加一个Python配置。任意取名，关键是在script栏填上刚刚创建的文件路径，还有在工作目录填上scrapy的项目目录即可。1，在scrapy项目中，和scrapy.cfg同目录里创建一个自己命名的py文件，写上这两行代码，其中爬虫名字自己更换。
pycharm爬虫模块（scrapy）基础使用
最新发布
weixin_74182283的博客
04-15 2625
今天学了个爬虫。在此记录。
Scrapy在pycharm中运行遇到Unknown command: crawl Use "scrapy" to see available commands
u013235032的博客
03-08 2560
运行爬虫后pycharm报错： Scrapy 2.0.0 - no active project Unknown command: crawl Use "scrapy" to see available commands 解决办法： （1）在cmd命令窗口运行未出错，pycharm运行地址错误。 pycharm未进入项目地址。使用 cd XX 进入即可。 （2）...
菜鸟写Python-Pycharm执行Scrapy项目报：Scrapy-no active project 和（或）Unknown command: crawl错误
热门推荐
第一段代码的博客
08-10 1万+
菜鸟写Python：Pycharm执行Scrapy项目报：Scrapy-no active project 和（或）Unknown command: crawl错误 Scrapy和寻常的py文件不同，它不能直接在编辑器中通过run来运行，究其原因是因为 Scrapy 是通过 Scrapy 的解释器 scrapy.exe 完成的（通常的python文件是通过python.exe编译的），因而官方出...
如何在pycharm中调试scrapy
everlasting_188-java从业者
05-15 618
 引用：https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects The scrapy command is a python script which means you can start it from inside PyCharm.When you examine the...
pycharm运行scrapy过程图解
09-18
要在PyCharm中运行Scrapy爬虫，我们需要设置运行配置。点击菜单栏的`Run`，然后选择`Edit Configurations`。在弹出的窗口中，点击"+"按钮，选择`Python`。在`Script path`中选择刚创建的`start.py`，`Interpreter`...
pytcharm 搭建 scrapy爬虫框架
12-02
遵循以上步骤，你就能在PyCharm中愉快地开发Scrapy爬虫了。记得根据自己的具体需求和环境调整配置，例如，如果提供的压缩包是`pycharm3.9安装scrapy`，则可能包含特定版本的PyCharm或Scrapy安装指南，你需要根据实际...
PyCharm下进行Scrapy项目的调试
HuangQinJian
06-02 1587
PyCharm下进行Scrapy项目的调试
scrapy 如何用pycharm debug 调试
行客科技工作室
01-28 1030
scrapy可以使用scrapy.cmdline 在pycharm 中 debug 调试爬虫程序。
pycharm调试scrapy执行步骤
辣手熊猫博客
03-22 1227
1、命令：workon article_spider后去到D盘主目录2、命令：scrapy startproject ArticleSpider3、命令：scrapy genspider jobbole blog.jobbole.com   （win系统下需要pip install -i https://pypi.douban.com/simple pypiwin32）4、导入ArticleSpi...
在pycharm中调试运行scrapy
bobbykey的博客
03-04 2313
在各种试，试各种后，只有这种方法，我做到了遭pycharm下运行调试scrapy： 过程有点复杂边看视频边写：一、首先：搭建虚拟环境1、安装：在需要安装虚拟环境的目录下的cmd中输入：pip install  virtualenv（安装目录什么目录都可以一般是默认，，建议使用镜像安装 大多数程序员都会选择豆瓣源： pip install -i https://pypi.douban.com/sim...
pycharm打开、执行调试scrapy程序
fuck487的博客
06-05 1845
原文：http://www.jb51.net/article/129346.htmpycharm下打开、执行并调试scrapy爬虫程序的方法转载  更新时间：2017年11月29日 11:05:30   作者：轰_HONG    我要评论本篇文章主要介绍了pycharm下打开、执行并调试scrapy爬虫程序的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧首先得有一...
pycharm 下调试 scrapy
weixin_33736649的博客
12-27 139
（1） 用pycharm导入scrapy项目 （2）选择自己编写的scrapy，run一下 （3）点击菜单栏的run ，选择Edit Configurations。 （4）选择运行的spider文件 （5）在右侧script 输入你的cmdline.py 的地址，本人是 /usr/lib64/python2.7/site-packages/scrapy...
scrapy 在 pycharm 中调试
木下瞳的博客
05-04 208
https://www.cnblogs.com/weixuqin/p/9074448.html 在项目文件夹中建一个 main.py 文件，与 scrapy.cfg 文件在同级目录 输入： #!/usr/bin/env python #-*- coding:utf-8 -*- from scrapy.cmdline import execute import os import sys ...
Pycharm中Scrapy框架运行测试
码了个BUG的博客
01-19 848
Scrapy框架运行测试及问题总结 1.打开Pycharm，进入Terminal终端窗口，使用cd 命令进入创建项目所在的文件夹(如D:\CS) 输入scrapy startproject myfirstPj 创建一个名叫myfirstPj的项目 (命令格式为：scrapy startproject 项目名) 创建成功如下图所示，提示爬虫运行的命令方法 2.根据提示命令进入创建好的项目文件夹中，输入scrapy genspider baidu www.baidu.com 创建爬虫 scrapy gensp
pycharm中调试及执行scrapy爬虫
潜行100的博客
12-26 949
如果我们直接在Linux或者Windows的命令行下面执行scrapy的代码的话，可以直接在项目任何路劲下执行 scrapy crawl py_jinyi_film_spider 但是如果我们的爬虫代码需要调试的话上述执行方式就不太方便 因此我们就需要在pycharm中进行调试 在项目根目录下（第一级目录）新建一个begin.py begin.py中添加如下代码
在pycharm中运行scrapy
06-07
在 PyCharm 中运行 Scrapy，可以按照以下步骤操作： 1. 打开 PyCharm，打开你的 Scrapy 项目。 2. 在 PyCharm 的顶部菜单栏中，点击 Run -> Edit Configurations。 3. 在弹出的对话框中，点击左上角的加号按钮，选择 Python。 4. 在弹出的设置界面中，填写以下信息： - Name：设置一个名称，比如 Scrapy。 - Script path：填写 Scrapy 命令的路径，一般为项目下的 scrapy 命令。 - Parameters：填写 Scrapy 命令中的参数，比如 crawl 命令后面的爬虫名称。 - Working directory：填写项目的根目录。 完成后，点击 OK 按钮保存设置。 5. 在 PyCharm 中，点击顶部菜单栏的 Run -> Run 'Scrapy'，即可运行 Scrapy 项目。 6. 运行后，可以在 PyCharm 的控制台中查看 Scrapy 的输出信息。如果需要调试代码，可以在代码中设置断点，然后在 PyCharm 中以 Debug 模式运行项目。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值