spark开发环境

使用maven管理scala依赖包

scala开发环境idea

如果没有scale-archetype-simple这项，可以通过新添加获取

<groupId>net.alchim31.maven</groupId>
<artifactId>scala-archetype-simple</artifactId>
<version>1.5</version>
<packaging>maven-archetype</packaging>

如何提交带多个依赖包的作业至集群

//注意：--jars参数必须放在第一个
spark-submit   \
--jars /home/demo/lib/utils.jar,jar2 \
--class WordCount \
/home/demo/lib/spark_demo.jar