spark
文章平均质量分 55
zhangxl-jc
这个作者很懒,什么都没留下…
展开
-
Spark Structured Streaming + Kafka +Json
Spark Structured Streaming + Kafka +Json。原创 2022-09-13 17:54:22 · 590 阅读 · 0 评论 -
java 任务嵌入spark启动类
依赖类 org.apache.spark.launcher.SparkLauncher启动类:import org.apache.spark.launcher.{SparkAppHandle, SparkLauncher}object SparkLuncherTest { def main(args: Array[String]): Unit = { val launcher = new SparkLauncher() .setAppName("myTest") .原创 2022-04-26 17:02:17 · 2529 阅读 · 0 评论 -
转载-Spark Streaming的优化之路—从Receiver到Direct模式
Spark Streaming的优化之路—从Receiver到Direct模式 - 个推 - 博客园1 业务背景随着大数据的快速发展,业务场景越来越复杂,离线式的批处理框架MapReduce已经不能满足业务,大量的场景需要实时的数据处理结果来进行分析、决策。Spark Streaming是一种分布式的大数据实时计算框架,他提供了动态的,高吞吐量的,可容错的流式数据处理,不仅可以实现用户行为分析,还能在金融、舆情分析、网络监控等方面发挥作用。个推开发者服务——消息推送“应景推送”正是应用了Spar.转载 2021-11-02 14:45:49 · 160 阅读 · 0 评论