scrapyd 爬虫管理工具，scrapy-client

了解更多关注微信公众号“木下学Python”吧~

 

scrapyd:

1.安装

pip install scrapyd

 

2.开启

在 cmd 输入 scrapyd 开启，默认端口是 6800，在浏览器中输入 localhost:6800 即可

 

3.调用 scrapy 上的功能，curl 工具实现

文档：https://scrapyd.readthedocs.io/en/stable/api.html

 

 

 

scrapyd-client:

文档：https://github.com/scrapy/scrapyd-client

是一个客户端工具，提供了一系列的指令工具以简化 scrapyd 那些冗长的 HTTP 指令请求，还搭载了 scrapyd-deploy 部署工具，可以将开发环境中的代码部署到远程的 scrapyd 服务器中

1.安装

pip install scrapyd-client

pip install --upgrade git+ssh://git@github.com/scrapy/scrapyd-client.git

 

2.指令集

scrapy-client projects：列出 scrapyd 实例中所有项目

从指定的服务器地址上列出所有的项目

scrapyd-client -t http://scrapyd.example.net projects

 

scrapyd-client schedule:列出默认服务器上的所有项目

启动指定项目（sina）中的所有蜘蛛

scrapyd-client schedule -p sina *

 

scrapy-client spiders：列出项目中的蜘蛛

列出指定项目（sina）下的蜘蛛

scrapy-client spiders -p sina

 

scrapy-client delpoy:将本机上的项目部署到 scrapyd 服务器上

 

3.部署