问题:我在虚拟机使用spark-submit将程序部署到yarn集群时,每次使用数据输出rdd时出现了以下错误:java.lang.NoSuchMethodException: org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper.()
at java.lang.Class.getConstructor0(Class.java:3082)
at java.lang.Class.getConstructor(Class.java:1825)
解决方法:
1.请确保已经加载了数据库驱动,在spark-submit后面的–jars添加适配的mysql驱动,例如:mysql-connector-java-5.1.27.jar(根据自己spark和mysql选择合适的数据库驱动版本),或者在maven目录中添加对应版本的mysql依赖
2.如果问题还是存在,请检查自己数据输出代码,在write后面添加option(“driver”, “com.mysql.jdbc.Driver”),添加配置mysql驱动