zeppelin运行spark程序读写s3报错解决方法:java.lang.NoSuchMethodError
在解决spark程序读写s3问题的过程中遇到的报错汇总如下:
错误一:
- Could not initialize class org.apache.hadoop.fs.s3a.S3AFileSystem
错误二:
- java.lang.NoSuchMethodError: com.amazonaws.services.s3.transfer.TransferManager.(Lcom/amazonaws/services/s3/AmazonS3;Ljava/util/concurrent/ThreadPoolExecutor;)V
错误三:
- java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.reloadExistingConfigurations()V
解决方法如下:
- 1)首先确定spark使用的hadoop版本:
如下所示hadoop使用的版本是hadoop2.7.4
ls -l | grep hadoop-common*
hadoop-common-2.7.4.jar
- 2)spark3的jars目录下确保只有hadoop2.7.4对应的hadoop-