问题描述
近期需要使用pyspark做一些开发,在安装pyspark时出错了。准备使用conda search pyspark搜索pyspark的版本,结果报错了,报错如下:
Cannot open D:\xxx\Anaconda3\Scripts\conda-script.py
解决方法
通过报错的路径,定位到D:\xxx\Anaconda3\Scripts目录下,发现不存在conda-script.py这个文件,在网上搜的最简单的办法就是重新安装Anaconda,想起自己在这个Anaconda下安装了很多的第三方库,记得有同事的电脑上安装了和我一样版本的Anaconda,于是从他那拷贝了这个文件放在了自己电脑的D:\xxx\Anaconda3\Scripts目录下,再次运行conda search pyspark,能够正常执行,问题解决,在此记录下。
然后,根据根据python版本和本机安装的spark版本,选定需要安装的pyspark版本,命令为:conda install pyspark=2.3.1