1.准备工作 安装 PhantomJS
pyspider 是支持 JavaScript 渲染的,而这个过程是依赖于 PhantomJS 的,所以还需要安装 PhantomJS
sudo apt-get install phantomjs
验证安装是否成功:
phantomjs --version
2.安装支持插件
(1)wsgidav降级
python -m pip install wsgidav==2.4.1
(2)安装gnutls
sudo apt-get install libcurl4-gnutls-dev
2.安装pyspider
pip3 install pyspider
3.验证
pyspider all
注:Could not create web server listening on port 25555 报错
说明端口被占用
查看占用端口的程序:
netstat -atunlp
找到25555对应的进程,杀死进程
kill -s 9 18650
(进程编号)