spark程序打包为jar包，并且导出所有第三方依赖的jar包

日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

---

• Impala 操作/读写 Kudu，使用druid连接池
• Kudu 原理、API使用、代码
• Kudu Java API 条件查询
• spark读取kudu表导出数据为parquet文件（spark kudu parquet）
• kudu 导入/导出 数据
• Kudu 分页查询的两种方式
• map、flatMap(流的扁平化)、split 的区别

• Spark(SparkSql) 写数据到 MySQL中（Spark读取TCP socket/文件）

• Spark Streaming 整合 Kafka（Spark读取Kafka）

• Spark Streaming 开窗函数 reduceByKeyAndWindow

• Spark Streaming 整合 Flume（Spark读取Flume）

• Spark 实时处理 总文章

• spark程序打包为jar包，并且导出所有第三方依赖的jar包

• spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析

 

---

    <!--
            添加以下build信息的话，会把src\main\scala中的scala文件都到一个jar包
    -->
    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <testSourceDirectory>src/test/scala</testSourceDirectory>
        <plugins>

            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

            <!--
                    添加以下plugin信息的话，会把所有jar包中的文件解压缩后都集中压缩到一个jar包
            -->
            <!--<plugin>-->
                <!--<groupId>org.apache.maven.plugins</groupId>-->
                <!--<artifactId>maven-shade-plugin</artifactId>-->
                <!--<version>2.3</version>-->
                <!--<executions>-->
                    <!--<execution>-->
                        <!--<phase>package</phase>-->
                        <!--<goals>-->
                            <!--<goal>shade</goal>-->
                        <!--</goals>-->
                        <!--<configuration>-->
                            <!--<filters>-->
                                <!--<filter>-->
                                    <!--<artifact>*:*</artifact>-->
                                    <!--<excludes>-->
                                        <!--<exclude>META-INF/*.SF</exclude>-->
                                        <!--<exclude>META-INF/*.DSA</exclude>-->
                                        <!--<exclude>META-INF/*.RSA</exclude>-->
                                    <!--</excludes>-->
                                <!--</filter>-->
                            <!--</filters>-->
                            <!--<transformers>-->
                                <!--<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">-->
                                    <!--<mainClass>com.spark_kudu_parquet.spark_kudu</mainClass>-->
                                <!--</transformer>-->
                            <!--</transformers>-->
                        <!--</configuration>-->
                    <!--</execution>-->
                <!--</executions>-->
            <!--</plugin>-->
        </plugins>
    </build>