Scrapyd部署爬虫项目
1、新建虚拟环境(方便管理),在虚拟环境中安装scrapy项目需要使用到的包
mkvirtualenv--python=C:\python27\scripts\python.exe scrapySpider 新建虚拟环境
进入虚拟环境使用pip将所需包安装完成
2、安装scrapyd模块,scrapyd模块是专门用于部署scrapy项目的,可以部署和管理scrapy项目
打开命令行工具执行pip installscrapyd
等待安装完成
输入scrapyd启动scrapyd服务
浏览器输入127.0.0.1:6800 即可查看
3、如果连接成功先关闭服务,自己在非C盘下新建一个文件夹,名称自定义如:scrapydTest
然后进入该文件夹,shift+右键打开命令行工具,输入scrapyd执行,执行完成后会新建一个dbs空文件夹,用来存放爬虫项目的数据文件
4、安装scrapyd-client模块。scrapyd-client模块是专门打包scrapy爬虫项目到scrapyd服务中的,进入虚拟环境,执行命令pip install scrapy-client,安装完成后,在虚拟环境的scripts中会出现scrapyd-deploy无后缀