一文带你了解SparkStreaming窗口函数

SparkStreaming之window滑动窗口应用，Spark Streaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作，本文带大家了解SparkStreaming窗口函数的应用及原理。

窗口函数使用

Window Operations（窗口操作）可以设置窗口大小和滑动窗口间隔来动态的获取当前Streaming的状态。基于窗口的操作会在一个比 StreamingContext 的 batchDuration（批次间隔）更长的时间范围内，通过整合多个批次的结果，计算出整个窗口的结果。下面，通过一张图来描述SparkStreaming的窗口操作，如图所示，每个时间窗口在一个个DStream中划过，每个DSteam中的RDD进入Window中进行合并，操作时生成为窗口化DSteam的RDD。在上图中，该操作被应用在过去的3个时间单位的数据，和划过了2个时间单位。这说明任何窗口操作都需要指定2个参数。

1. window length（窗口长度）：窗口的持续时间（上图为3个时间单位）

2. sliding interval （滑动间隔）- 窗口操作的时间间隔（上图为2个时间单位）

让我们用一个例子来说明窗口操作。假设您想通过每 10 秒生成最后 30 秒数据的来扩展word counts。为此，我们必须对过去 30 秒的数据 (word, 1)应用 reduceByKey 操作。这时可以使用reduceByKeyAndWindow 操作完成的，如下所示：

val windowedWordCounts =

pairs.reduceByKeyAndWindow(

(a:Int,b:Int) => (a + b), Seconds(30), Seconds(10)

)

其他的转换算子如下：

在 Spark Streaming 中，数据处理是按批进行的，而数据采集是逐条进行的，因此在 Spark Streaming 中会先设置好批处理间隔，当超过批处理间隔的时候就会把采集到的数据汇总起来成为一批数据交给系统去处理。

对于窗口操作而言，在其窗口内部会有 N 个批处理数据，批处理数据的大小由窗口大小决定，而窗口大小指的就是窗口的持续时间。

在窗口操作中，只有窗口的长度满足了才会触发批数据的处理。除了窗口的长度，窗口操作还有另一个重要的参数，即滑动间隔，它指的是经过多长时间窗口滑动一次形成新的窗口。

滑动间隔默认情况下和批次间隔相同，而窗口大小一般设置得要比它们两个大。在这里必须注意的一点是，滑动间隔和窗口大小一定得设置为批处理间隔的整数倍。

总结

1. 对于窗口操作而言，窗口大小和滑动间隔是最重要的两个参数，需要我们合理设置。
2. 滑动间隔和窗口大小一定得设置为批处理间隔的整数倍