spiderkeeper+scrapyd 监控scrapy爬虫

1 篇文章 0 订阅
1 篇文章 0 订阅

scrapyd官方文档scrapyd-client官方文档spiderkeeper官方文档

Scrapyd是一个服务,用来运行scrapy爬虫;scrapyd-client提供scrapyd-deploy工具,方便部署scrapy项目到scrapyd中。spiderkeeper可视化管理工具。

C:\Windows\system32>pip install scprayd scrapyd-client spiderkeeper

window环境需要在C:\Program Files\Python36\Scripts目录下添加scrapyd-deploy.bat文件:

@echo off
"C:\Program Files\Python36\python.exe" "C:\Program Files\Python36\Scripts\scrapyd-deploy" %*

此时scrapyd-deploy命令才可用。

新建一个目录,然后启动scrapyd服务:

D:\ksy\scrapyd>scrpyd

访问http://localhost:6800,可得:

启动spiderkeeper服务:

D:\ksy\scrapyd>spiderkeeper

SpiderKeeper startd on 0.0.0.0:5000 username:admin/password:admin with scrapyd servers:http://localhost:6800

访问http://localhost:5000,默认账号和密码为admin

  1. 点击Create Project按钮创建一个项目,
  2. 进入scrapy项目的根目录D:\ksy\proxy,修改scrapy.cfg
  3. [deploy]
    url = http://localhost:6800/
    project = proxy

    然后执行命令:

D:\ksy\proxy>scrapyd-deploy

Server response (200):
{"node_name": "zhiguo-PC", "status": "ok", "project": "proxy", "version": "1568792829", "spiders": 14}

运行一个scrapy项目:

 

 

 

 

 

 

 

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值