spark 参数调优7-Executor behavior

最新推荐文章于 2024-08-16 10:02:14 发布

Deegue

最新推荐文章于 2024-08-16 10:02:14 发布

阅读量2.1w

点赞数

分类专栏： hadoop spark 文章标签： spark

本文链接：https://blog.csdn.net/zyzzxycj/article/details/82256206

版权

本文是Spark参数调优系列的第七部分，主要探讨Executor的行为参数，包括spark.broadcast.blockSize、spark.executor.cores、spark.default.parallelism等。这些参数影响Executor的性能和广播的效率。例如，executor的核数决定了并行度，而broadcast.blockSize则影响广播变量的分发策略。此外，还介绍了其他如心跳间隔、文件超时时间和本地缓存等参数的作用。

摘要由CSDN通过智能技术生成

spark参数调优系列目录地址：

https://blog.csdn.net/zyzzxycj/article/details/81011540

⑦ Executor behavior

spark.broadcast.blockSize

TorrentBroadcastFactory中的每一个block大小，默认4m

过大会减少广播时的并行度，过小会导致BlockManager 产生 performance hit.

（暂时没懂这是干啥用的）

spark.executor.cores

每个executor的核数，默认yarn下1核，standalone下为所有可用的核。

spark.default.parallelism

默认RDD的分区数、并行数。

像reduceByKey和join等这种需要分布式shuffle的操作中，最大父RDD的分区数；像parallelize之类没有父RDD的操作，则取决于运行环境下得cluster manager：

如果为单机模式，本机核数；集群模式为所有executor总核数与2中最大的一个。

spark.executor.heartbeatInterval

executor和driver心跳发送间隔，默认10s，必须远远小