Scrapy 抓取数据及相关软件(Ubuntu)

1. python-webkit 在scrapy抓取数据时执行js代码

sudo apt-get install python-webkit

还有一些相关的包需要安装

https://wiki.python.org/moin/PythonWebKit

http://www.gnu.org/software/pythonwebkit/

libwebkitgtk最新的是3.0

sudo apt-get install libwebkitgtk-3.0-0

2. 安装 jswebkit   这个有可能会在上一步没装上, 需要自己重新装一下

sudo apt-get install python-jswebkit

3. 安装 pyjamas

sudo apt-get install pyjamas

https://wiki.python.org/moin/PyjamasDesktop

4. 安装  PyWebkitDFB

sudo apt-get install libdirectfb-dev

http://www.gnu.org/software/pythonwebkit/

5. 安装 libdirectfb-extras 这个包含一个X11的插件, 通过编辑~/.directfb 并且加入下面两行

system=x11
force-windowed

软件包如下:

libdirectfb-1.2-9-dbg 

libdirectfb-extra-dbg

6. 安装ibcurl4

sudo apt-get install libcurl4-gnutls-dev

7. Xvfb 适用非Xwindows环境时

sudo apt-get install xvfb

8. beautifulsoup  python html/xml parser

sudo apt-get install python-bs4