spark 参数调优3-Shuffle Behavior

最新推荐文章于 2023-04-24 19:52:59 发布

Deegue

最新推荐文章于 2023-04-24 19:52:59 发布

阅读量1.2w

点赞数

分类专栏： spark hadoop 文章标签： spark

本文链接：https://blog.csdn.net/zyzzxycj/article/details/82256081

版权

本文详细探讨了Spark参数调优中与Shuffle行为相关的关键参数，包括`spark.reducer.maxSizeInFlight`、`spark.reducer.maxBlocksInFlightPerAddress`、`spark.shuffle.compress`等，旨在优化内存使用、减少磁盘IO和提高性能。通过对这些参数的调整，可以有效管理Shuffle过程中的数据拉取、压缩和重试策略，确保大规模数据处理作业的稳定性和效率。

摘要由CSDN通过智能技术生成

spark参数调优系列目录地址：

https://blog.csdn.net/zyzzxycj/article/details/81011540

③ Shuffle Behavior

spark.reducer.maxSizeInFlight

默认48m。从每个reduce任务同时拉取的最大map数，每个reduce都会在完成任务后，需要一个堆外内存的缓冲区来存放结果，如果没有充裕的内存就尽可能把这个调小一点。。相反，堆外内存充裕，调大些就能节省gc时间。

spark.reducer.maxBlocksInFlightPerAddress

限制了每个主机每次reduce可以被多少台远程主机拉取文件块，调低这个参数可以有效减轻node manager的负载。（默认值Int.MaxValue）

spark.reducer.maxReqsInFlight

限制远程机器拉取本机器文件块的请求数，随着集群增大，需要对此做出限制。否则可能会使本机负载过大而挂掉。。（默认值为Int.MaxValue）

spark.reducer.maxReqSizeShuffleToMem

shuffle请求的文件块大小超过这个参数值，就会被强行落盘，防止一大堆并发请求把内存占满。（默认Long.MaxValue）

spark.shuffle.compress
<