Spark错误
zkhong07
这个作者很懒,什么都没留下…
展开
-
java.lang.IllegalSystem memory 255459328 must be at least 4.718592E8. Please use a larger heap size.
启动spark提示错误 这是JVM申请的memory不够导致无法启动SparkContext 解决方法: 自己的源代码处,可以在conf之后加上: val conf = new SparkConf().setAppName(“word count”) conf.set(“spark.testing.memory”, “1073741824”)//后面的值大于512m即可 可以在Eclips...原创 2019-07-15 20:09:00 · 133 阅读 · 0 评论 -
用textfile读取文件夹所有文件提示数组越界
java.lang.ArrayIndexOutOfBoundsException: 3 at CountTime$$anonfun$1.apply(CountTime.scala:13) at CountTime$$anonfun$1.apply(CountTime.scala:11) 看别人写的这个可以读取文件夹所有文件,自己读取却提示数组越界。 val mbt=sc.textFile("...转载 2019-07-15 20:26:20 · 686 阅读 · 0 评论