【Spark系列8】Spark Shuffle FetchFailedException报错解决方案

最新推荐文章于 2023-09-22 11:03:39 发布

江南小白龙

最新推荐文章于 2023-09-22 11:03:39 发布

阅读量2.1w

点赞数 1

分类专栏： Spark

本文链接：https://blog.csdn.net/zongzhiyuan/article/details/78077098

版权

本文探讨了Spark SQL中shuffle操作引发的FetchFailedException错误，提出了从减少shuffle数据、控制分区数、优化join操作、提升executor内存以及解决数据倾斜问题等方面进行优化的方案。在面对17亿条日志的大数据场景，存在字段数据过长、多次join及数据倾斜等问题时，通过提取字段、预先过滤、随机拆分原始表等方法有效解决了问题。

摘要由CSDN通过智能技术生成

前半部分来源：http://blog.csdn.net/lsshlsw/article/details/51213610

后半部分是我的优化方案供大家参考。

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

SparkSQL shuffle操作带来的报错

org.apache.spark.shuffle.MetadataFetchFailedException: 
Missing an output location for shuffle 0

org.apache.spark.shuffle.FetchFailedException:
Failed to connect to hostname/192.168.xx.xxx:50268

RDD的shuffle操作带来的报错

WARN TaskSetManager: Lost task 17.1 in stage 4.1 (TID 1386, spark050013): java.io.FileNotFoundException: /data04/spark/tmp/blockmgr-817d372f-c359-4a00-96dd-8f6554aa19cd/2f/temp_shuffle_e22e013a-5392-4edb-9874-a196a1dad97c

FetchFailed(BlockManagerId(6083b277-119a-49e8-8a49-3539690a2a3f-S155, spark050013, 8533), shuffleId=1, mapId=143, reduceId=3, message=
org.apache.spark.shuffle.FetchFailedException: Error in opening FileSegmentManagedBuffer{file=/data04/spark/tmp/blockmgr-817d372f-c359-4a00-96dd-8f655

最低0.47元/天解锁文章

江南小白龙

关注

1
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
【Spark系列8】Spark Shuffle FetchFailedException报错解决方案

前半部分来源：http://blog.csdn.net/lsshlsw/article/details/51213610后半部分是我的优化方案供大家参考。+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++SparkSQL shuffle操作带来的报错o
复制链接

扫一扫