Spark的常见问题

最新推荐文章于 2023-06-13 09:33:13 发布

zixicc

最新推荐文章于 2023-06-13 09:33:13 发布

阅读量3.0k

点赞数 1

本文链接：https://blog.csdn.net/zixicc/article/details/21161849

版权

在研究Spark-0.9.0时，遇到使用sbt assembly编译后运行run-example出现错误的问题。根据SPARK-984的解决方案，删除编译生成的第一个jar文件可以解决问题。更多Spark问题解决方法将在后续内容中更新。

摘要由CSDN通过智能技术生成

最近在研究spark，遇到问题就记录一下，版本号是spark-0.9.0-incubating-bin-hadoop1

1.使用sbt assembly编译之后使用run-example出现如下错误

bin/run-example: line 47: [: /home/cookies/Downloads/spark-0.9.0-incubating-bin-hadoop1/examples/target/scala-2.10/spark-examples_2.10-assembly-0.9.0-incubating.jar: binary operator expected
Failed to find Spark examples assembly in /home/cookies/Downloads/spark-0.9.0-incubating-bin-hadoop1/examples/target

错误原因：在$SPARK_HOME/examples/target/scala-2.10/中有两个jar文件匹配到了run-example中的代码

if [ -e "$EXAMPLES_DIR"/target/scala-$SCALA_VERSION/*assembly*[0-9Tg].jar ]; then
  export SPARK_EXAMPLES_JAR=`ls "$EXAMPLES_DIR"/target/scala-$SCALA_VERSION/*assembly*[0-9Tg].jar`