Anaconda3的python3环境下使用pyspark报错问题解决
问题描述
系统默认安装是python2,安装的hadoop相关的python可执行脚本也是python2版本的。
在这种情况下,直接运行pyspark可以正常进入shell。
但如果anaconda3的多环境使用了python3,直接运行pyspark会报错:
File "/usr/bin/hdp-select" ...
解决办法
修改以下两个文件的运行环境,
/etc/hadoop/conf/topology_script.py
/usr/bin/hdp-select
即vi,将第一行代码修改为:/usr/bin/python (这个是默认的python2的执行文件)。
再运行pyspark。