创建java maven 项目实现ES数据读取，到集群spark 引擎进行数据加工，推数据到Kafka

1.大概实现描述：

1.1.从ES读取数据到hive库

1.2.数据在hive库，用sparksql引擎进行数据处理

1.3.数据推送到kafka

 

2.准备工作

2.1.安装java相关环境

2.2.保证连接ES网络连通

2.3.通过SparkSession spark 进行数据连接

 

3.准备相关的用到的包和pom.xml 配置：

<dependencies>
  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql-kafka-0-10_2.11</artifactId>
    <version>2.2.2</version>
  </dependency>

  <dependency>
    <groupId>org.elasticsearch</groupId>
    <artifactId>elasticsearch-spark-20_2.11</artifactId>
    <version>6.8.1</version>
  </dependency>


  <dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>fastjson</artifactId>
    <version>1.2.58</version>
  </dependency>

  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.2.2</version>
  </dependency>

  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.2.2</version>
  </dependency>

  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-hive_2.11</artifactId>
    <version>2.2.2</version>
  </dependency>

  <dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.10.0.1</version>
  </dependency>

  <dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.47</version>
  </dependency>
</dependencies>

4.开始创建项目

4.1.new project，选择org.apache.tapestry.quckstart

4.2.把用到的包 加到 pom.xml里面，如果需要其他可以去https://mvnrepository.com/ 找，进去之后，验证我是人类之后就可以找自己用到的兼用版本包。

4.3.创建类进行连接测试。

4.4编写java 类，代码：（解析json入参部分省略）

   4.4.1连接ES
        

System.setProperty("HADOOP_USER_NAME", "admin");//加权限
        SparkSession spark = SparkSession
                .builder()
                .master("local[2]")//本地模式
                .config("es.port", "9200")
                .config("es.nodes", "ip:port")//uat
                .config("es.net.http.auth.user", "username")
                .config("es.net.http.auth.pass", "psw")
                .enableHiveSupport()
                .getOrCreate();

      4.4.2连接hive
 

        System.setProperty("HADOOP_USER_NAME", "admin");//加权限

        SparkSession spark = SparkSession
                .builder()
                .master("local[2]")//设置master
                //.config()
                .appName("Java Spark SQL basic example")
                .enableHiveSupport()
                .getOrCreate();

 

      4.4.3通过这样执行sql：

        spark.sql(String.format("drop table if exists test.%s",fixedTableName));

       4.4.4准备数据：

                4.4.4.1.主体数据

       

spark.sql(String.format(" select to_json(struct(*)) from test.%s ", finallResultTableName))
                .map((MapFunction<Row, String>) row -> {
                    String data = row.getString(0);//
                    Map tmp = JSON.parseObject(data, Map.class);
                    Map<String, Object> map = Maps.newHashMap();
                    map.put("data", tmp);
                    map.put("task_id", taskId);
                    map.put("rule_id", batchId);
                    map.put("type", "data");
                    return JSONObject.toJSONString(map);
                }, Encoders.STRING())
                .repartition(1)
                .write()
                .format("kafka")
                .option("kafka.bootstrap.servers", strServers)
                .option("topic", "task_data")
                .save();

 4.4.4.2.结束标志数据

        spark.sql((" select to_json(struct(*)) from" +
                "(  select \"1111111111\" as task_id,\n" +
                " \"22\" as rule_id,\n" +
                " \"eof\" as `type`,\n" +
                " \"{}\" as `data`" +
                ") v" +
                " limit 1"))
                .map((MapFunction<Row, String>) row -> {
                    String data = row.getString(0);//
                    Map tmp = JSON.parseObject(data, Map.class);
                    return JSONObject.toJSONString(tmp);
                }, Encoders.STRING())
                .repartition(1)
                .write()
                .format("kafka")
                .option("kafka.bootstrap.servers", strServers)
                .option("topic", "task_data")
                .save();

 

       4.4.5删除部分中间表数据及关闭连接：

          //对应表删除
          spark.sql(String.format("drop table if exists test.%s", finallUebaResultTableName));
          //关闭链接
          spark.close();

5.配置任务打包放到 azkaban进行调度

5.1建立job文件：job_data_to_kafka.job

#job_data_to_kafka.job
type=command
command=sh ./project_data_to_kafka.sh ${json}

5.2简历sh文件：project_data_to_kafka.sh（入参以json文件格式）

#!/bin/bash
json=$1
echo json:${json}

spark-submit \
--master=yarn \
--queue=report_queue \
--num-executors=4 \
--executor-memory=8G \
--executor-cores=4 \
--driver-memory=2G \
--driver-cores=1 \
--conf spark.dynamicAllocation.enabled=false \
--conf spark.sql.shuffle.partitions=32 \
--class com.kye.ueba.App \
--jars /app/module/jar/elasticsearch-spark-20_2.11-6.8.1.jar,/app/module/jar/fastjson-1.2.58.jar,/app/module/jar/kafka-clients-0.10.0.1.jar,/app/module/jar/spark-sql-kafka-0-10_2.11-2.2.2.jar \
 /app/module/jar/Spark-1.0-SNAPSHOT.jar ${json}

5.3提前把jar 放到对应目录，或者用相对路径，放到打包同级目录下建一个jar路径