Zhuang_zg的博客

本文转载自：https://blog.csdn.net/LW_GHY/article/details/51420027 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。 　　然而，通过Spark开发出高性能的大数据计算作业，并不...

本文转载自：https://blog.csdn.net/LW_GHY/article/details/51419977 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致...

本文转载自：https://blog.csdn.net/LW_GHY/article/details/51419760 调优概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发...

本文转载自：https://blog.csdn.net/LW_GHY/article/details/51419877 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。 数据倾斜发生时的现象 　　1、绝大多数task执行得都非常快，但个别t...

本文转载自： http://blog.csdn.net/yhb315279058/article/details/51035631     Spark中的OOM问题不外乎以下两种情况 map执行中内存溢出shuffle后内存溢出    map执行中内存溢出代表了所有map类型的操作，包括：flatMap，filter，mapPatitions...