scrapyd 的安装
Scrapyd是一个用于部署和运行Scrapy项目的工具,有了它,你可以将写好的Scrapy项目传到云主机并通过API来控制它的运行。
本文介绍的是Scrapyd在Linux上和mac上的安装流程。
1. 相关链接
- GitHub:https://github.com/scrapy/scrapyd
- PyPI:https://pypi.python.org/pypi/scrapyd
- 官方文档:https://scrapyd.readthedocs.io
2. pip安装
- 要说安装方式肯定是用pip或者pip3,pip的安装过程本文就不过多的赘述了。
-
pip3 install scrapyd # pip3的安装指令 pip install scrapyd # pip的安装指令
3. 配置
- 经过了上述操作之后,需要自己手动创建一个配置文件,这个配置文件的目录位置“/etc/scrapyd/scrapyd.conf”,Scrapyd在运行的时候就会读取此配置文件。
- 第一步:执行如下命令创建文件:
sudo mkdir /etc/scrapyd sudo vim /etc/scrapyd/scrapyd.conf
- 接着写入如下内容:
[scrapyd] eggs_dir = eggs logs_dir = logs items_dir = jobs_to_keep = 5 dbs_dir = dbs max_proc = 0 max_proc_per_cpu = 4 finished_to_keep = 100 poll_interval = 5.0 bind_address = 127.0.0.1 http_port = 6800 debug = off runner = scrapyd.runner application = scrapyd.app.application launcher = scrapyd.launcher.Launcher webroot = scrapyd.website.Root [services] schedule.json = scrapyd.webservice.Schedule cancel.json = scrapyd.webservice.Cancel addversion.json = scrapyd.webservice.AddVersion listprojects.json = scrapyd.webservice.ListProjects listversions.json = scrapyd.webservice.ListVersions listspiders.json = scrapyd.webservice.ListSpiders delproject.json = scrapyd.webservice.DeleteProject delversion.json = scrapyd.webservice.DeleteVersion listjobs.json = scrapyd.webservice.ListJobs daemonstatus.json = scrapyd.webservice.DaemonStatus
4. 后台运行
- Scrapyd是一个纯Python项目,这里可以直接调用它来运行。为了可以使程序一直可以在后台运行,Linux和Mac可以使用如下命令:
这样Scrapyd就会在后台持续运行了,控制台输出直接忽略。当然,如果想记录输出日志,可以修改输出目标,如:(scrapyd > /dev/null &)
此时会将Scrapyd的运行结果输出到~/scrapyd.log文件中。当然也可使用screen、tmux、supervisor等工具来实现进程守护。(scrapyd >~/scrapy.log &)
- 运行之后,便可以在浏览器的6800端口访问Web UI了,从中可以看到当前Scrapyd的运行任务、日志等内容,如下图中的图片:
- 上述看到后,就算是安装OK了。