Scrapyd部署爬虫项目

Scrapyd部署爬虫项目

1、新建虚拟环境(方便管理)，在虚拟环境中安装scrapy项目需要使用到的包

mkvirtualenv--python=C:\python27\scripts\python.exe scrapySpider 新建虚拟环境

进入虚拟环境使用pip将所需包安装完成

2、安装scrapyd模块，scrapyd模块是专门用于部署scrapy项目的，可以部署和管理scrapy项目

打开命令行工具执行pip installscrapyd

等待安装完成

输入scrapyd启动scrapyd服务

浏览器输入127.0.0.1:6800 即可查看

3、如果连接成功先关闭服务，自己在非C盘下新建一个文件夹，名称自定义如:scrapydTest

然后进入该文件夹，shift+右键打开命令行工具，输入scrapyd执行，执行完成后会新建一个dbs空文件夹，用来存放爬虫项目的数据文件

4、安装scrapyd-client模块。scrapyd-client模块是专门打包scrapy爬虫项目到scrapyd服务中的，进入虚拟环境，执行命令pip install scrapy-client，安装完成后，在虚拟环境的scripts中会出现scrapyd-deploy无后缀