创建java maven 项目实现ES数据读取,到集群spark 引擎进行数据加工,推数据到Kafka
1.大概实现描述:
1.1.从ES读取数据到hive库
1.2.数据在hive库,用sparksql引擎进行数据处理
1.3.数据推送到kafka
2.准备工作
2.1.安装java相关环境
2.2.保证连接ES网络连通
2.3.通过SparkSession spark 进行数据连接
3.准备相关的用到的包和pom.xml 配置:
<dependencies>
<dependency>
<groupId>org.apache.s..
原创
2020-11-27 11:43:56 ·
423 阅读 ·
1 评论