SparkStreaming
大数据-Spark Streaming
小码良
无聊但有趣
展开
-
Spark Streaming 和 Flink 详细对比
干货 | Spark Streaming 和 Flink 详细对比原文详见:https://mp.weixin.qq.com/s/Fb1cW0oN7xYeb1oI2ixtgQ原创 2020-05-27 14:21:24 · 337 阅读 · 0 评论 -
spark streaming的业务场景(无状态、有状态、窗口操作)
spark streaming支持的业务场景:1、无状态操作:每个批次处理都不依赖于先前批次的数据,只关注当前的DStream中的实时数据,例如 只对当前的DStream中的数据做正确性校验。每个DStream在内部是由许多个RDD(也叫批次)组成,且无状态转化操作是分别应用到每个RDD上的。无状态转化操作的例子map、filter等等,操作都是每个批次中的数据,但是DStream如果使用join,union等基于健的操作的话,那么所传的RDD就必须同样也是DStream才行。SparkStrea原创 2020-05-26 17:14:12 · 1230 阅读 · 1 评论