spark版本推荐: >= 2.4.0
假设新的python3的路径为/usr/bin/python3
整体规划:
pyspark spark-submit 调用python2
pyspark3 spark-submit3 调用python3
配置方式:
-
cp pyspark pyspark3
vim pyspark3
在最后一行exce语句上面添加如下的语句:
export PYSPARK_DRIVER_PYTHON=/usr/bin/python3
export PYSPARK_PYTHON=/usr/bin/python3 -
cp spark-submit spark-submit3
vim spark-submit3
在最后一行exce语句上面添加如下的语句
export PYSPARK_PYTHON=/usr/bin/python3