启动spark提示错误
这是JVM申请的memory不够导致无法启动SparkContext
解决方法:
-
自己的源代码处,可以在conf之后加上:
val conf = new SparkConf().setAppName(“word count”)
conf.set(“spark.testing.memory”, “1073741824”)//后面的值大于512m即可 -
可以在Eclipse的Run Configuration处,有一栏是Arguments,下面有VMarguments,在下面添加下面一行(值也是只要大于512m即可)
-Dspark.testing.memory=1073741824