Spark和Anaconda结合

安装Anaconda后，编辑~/.bashrc或者~/.bash_profile文件：

export PATH=/yourpath/anaconda2/bin:$PATH

然后使用ipython启动spark shell

PYSPARK_DRIVER_PYTHON=ipython $SPARK_HOME/bin/pyspark

就可以在pyspark shell中使用Anaconda中的python工具包了。