云平台上配置scrapy的环境

这几天在阿里云上配置scrapy的环境，简直让我无比的蛋疼。总结起来最重要的几个问题就是gcc编译源文件的时候由于内存不足导致lxml的安装一直失败。

由于是在云平台上，直接拓展内存的方法是不理想的，最好的方法就是通过设置swap分区来进行缓冲，这里贴出一些设置swap分区的方法，

dd   in=/dev/zero   of=/swapfile  bs=1024  count=512k

mkswap  /swapfile

swapon  /swapfile

swapon -s

接着就要写入到fstab中

/swapfile          swap            swap    defaults        0 0

然后修改权限

chown root:root /swapfile 
chmod 0600 /swapfile

设置

sysctl vm.swappiness=10