- 博客(1)
- 资源 (1)
- 收藏
- 关注
转载 Spark性能调优之Shuffle调优总结
Spark性能调优之Shuffle调优 • Spark底层shuffle的传输方式是使用netty传输,netty在进行网络传输的过程会申请堆外内存(netty是零拷贝),所以使用了堆外内存。 • shuffle过程中常出现的问题 常见问题一:reduce oom? 问题原因: reduce task 去map端获取数据,reduce一边
2018-02-06 23:34:44 911
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人