ubuntu16.04 服务器版配置pyspider错误
pyspider 配置参看此处
1. pycurl和mysql错误
- 在参考此教程将所有的组件全部安装完成之后,启动pyspider报
no module 'mysql'
错误和no module 'pycurl'
,而在之前这些组件已经全部安装并进行了正确设置,遂进行google。
no module 'mysql'错误解决方法如下
:
pip search mysql-connector | grep --color mysql-connector-python
pip install mysql-connector-python-rf==2.2.2
关于no module 'pycurl'
错误,在google之后得出需要将pycurl组件卸载之后重新安装。所以就执行pip uninstall pycurl
,此时又出现Cannot uninstall 'pycurl'. It is a distutils installed project and thus we cannot accurately determ
错误!经google之后得出要先删去/usr/lib/python3/dist-packages/
目录下的pycurl.egg-info文件(此处具体参考该文章)。之后再执行pip uninstall pycurl
命令即可!最后pycurl正确删除!并正确重装。
再次启动pyspider时出现以下错误!
ImportError: pycurl: libcurl link-time ssl backend (openssl) is different from compile-time ssl backend
经搜索得到执行以下命令可解决此问题(原文出处):
export CPPFLAGS=-I/usr/local/opt/openssl/include
export LDFLAGS=-L/usr/local/opt/openssl/lib
pip install pycurl --global-option="--with-openssl"
2.Redis错误
再次启动pyspider出现以下错误:
错误原因:
Redis被配置为保存数据库快照,但它目前不能持久化到硬盘。用来修改集合数据的命令不能用。请查看Redis日志的详细错误信息。主要是强制关闭Redis快照导致不能持久化。
解决方法:
redis-cli
config set stop-writes-on-bgsave-error no #将stop-writes-on-bgsave-error设置为no
再次启动pyspider成功!