spark 参数调优11-Spark Streaming

spark参数调优系列 目录地址：

https://blog.csdn.net/zyzzxycj/article/details/81011540

 

11 Spark Streaming

spark.streaming.backpressure.enabled

反压，默认false，详细了解请移步https://blog.csdn.net/zyzzxycj/article/details/82385982

spark.streaming.backpressure.initialRate

当开启反压机制时，每个receiver在最初，能从每个batch接收的最大速率，默认not set。

spark.streaming.blockInterval

对于某个batch，receiver将其转化成数据的时间间隔，默认200ms，不建议调到小于50ms，不然处理数据的时间就会比申请线程的时间还小。

因此可以计算出Tasks=BatchInterval / BlockInterval

spark.streaming.receiver.maxRate

每个receiver接收的最大速率(每秒接收记录数)，如果是<=0 则为无限，默认not set。

spark.streami