了解更多关注微信公众号“木下学Python”吧~
scrapyd:
1.安装
pip install scrapyd
2.开启
在 cmd 输入 scrapyd 开启,默认端口是 6800,在浏览器中输入 localhost:6800 即可
3.调用 scrapy 上的功能,curl 工具实现
文档:https://scrapyd.readthedocs.io/en/stable/api.html
scrapyd-client:
文档:https://github.com/scrapy/scrapyd-client
是一个客户端工具,提供了一系列的指令工具以简化 scrapyd 那些冗长的 HTTP 指令请求,还搭载了 scrapyd-deploy 部署工具,可以将开发环境中的代码部署到远程的 scrapyd 服务器中
1.安装
pip install scrapyd-client
pip install --upgrade git+ssh://git@github.com/scrapy/scrapyd-client.git
2.指令集
scrapy-client projects:列出 scrapyd 实例中所有项目
从指定的服务器地址上列出所有的项目
scrapyd-client -t http://scrapyd.example.net projects
scrapyd-client schedule:列出默认服务器上的所有项目
启动指定项目(sina)中的所有蜘蛛
scrapyd-client schedule -p sina *
scrapy-client spiders:列出项目中的蜘蛛
列出指定项目(sina)下的蜘蛛
scrapy-client spiders -p sina
scrapy-client delpoy:将本机上的项目部署到 scrapyd 服务器上
3.部署