spark内存调优

最新推荐文章于 2023-03-04 15:46:18 发布
最新推荐文章于 2023-03-04 15:46:18 发布
阅读量202 收藏
点赞数 1
分类专栏： spark读书笔记
本文为博主原创文章，转载请标明原址
本文链接：https://blog.csdn.net/zheng911209/article/details/98664172
版权

executor内存

1、RDD存储：persist、cache操作，RDD持久化在executor中

注：UnifiedMemoryManager模式可设置spark.storage.memoryFraction调节，默认0.6

2、shuffle操作：缓冲区存储shuffle的输出和聚合的中间结果

注：UnifiedMemoryManager模式可设置spark.shuffle.memoryFraction调节，默认0.2

3、用户代码：用户编写的代码能使用的内存空间

 

spark1.6以后内存管理模式为UnifiedMemoryManager，

堆空间：

1、spark memory：设置Spark.memory.fraction调整，默认0.75

（1）、storage memory：设置Spark.memory.storageFraction调整在spark memory中的比例，默认0.5

（2）、Execution memory：

2、user memory：(Java Heap - spark Memory) * 0.25

9随遇而安
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark内存管理
#include<?>
07-08 1000
概述spark从1.6.0开始内存管理发生了变化，原来的内存管理由StaticMemoryManager实现，现在被称为Legacy,在1.5.x和1.6.0中运行相同代码的行为是不同的，为了兼容Legacy,可以通过spark.memory.useLegacyMode来设置，默认该参数是关闭的。 spark.memory.useLegacyMode=false如果采用1.6之前的模型，这会使用St
spark性能调优
09-30
spark性能调优的一些总结，面试时很实用哦，欢迎大家踊跃下载
Spark(Memory)
weixin_34038293的博客
06-05 134
2019独角兽企业重金招聘Python工程师标准>>> ...
5-spark-memory
github_28583061的博客
04-19 209
5-spark-memory.md 内存分类 堆内内存(On-heap Memory) 默认情况下，Spark 仅仅使用了堆内内存。Executor 端的堆内内存区域大致可以分为以下四大块： Execution 内存：主要用于存放 Shuffle、Join、Sort、Aggregation 等计算过程中的临时数据 Storage 内存：主要用于存储 spark 的 cache 数据，例如RD...
Spark 内存管理
weixin_43900672的博客
06-17 1232
Spark 内存管理 堆内内存和堆外内存 作为一个 JVM 进程，Executor 的内存管理建立在 JVM(最小为六十四分之一，最大为四分之一)的内存管理之上，此外spark还引入了堆外内存（不在JVM中的内存），在spark中是指不属于该executor的内存。 堆内内存：由 JVM 控制，由GC（垃圾回收）进行内存回收，堆内内存的大小，由 Spark 应用程序启动时的 executor-memory 或 spark.executor.memory 参数配置，这些配置在 spark-env.sh 配置文
Spark性能调优
02-26
摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。...（2）RDD大小及内存使用；（3）系统环境信息；（4）正在执行的executor信息。2.historyserver当
Spark 调优攻略上册
12-29
《Spark调优攻略上册》是一本专注于企业级大规模数据计算引擎Spark的调优指南，旨在帮助读者深入了解Spark的优化策略。该书不仅涵盖了Apache Spark的基础知识，还涉及了Data Lake和阿里云EMR团队研发的Jindo-Spark在...
Spark2.2——MemoryManager
Jorocco的博客
01-15 324
占个位
Spark统一内存管理：UnifiedMemoryManager
aijiudu的博客
09-19 2184
@DT大数据梦工厂 Spark统一内存管理：UnifiedMemoryManager，内存管理图： Spark静态内存管理：StaticMemoryManager请看：http://blog.csdn.net/aijiudu/article/details/77885953 一、统一内存管理：Execution和Storage之间是软边界，任一方都可以从另一方借用内存。Execution...
spark内存模型
longlovefilm的博客
09-19 1745
Spark 1.6 开始使用了统一内存管理模块(UnifiedMemoryManager)，并引入了堆外内存(Off-heap memory)，1.6之前的内存管理就不进行介绍了。 spark堆内和堆外内存模型的示意图 （注意：堆外内存是依赖于worker的，而不是executor） spark堆外：（之所以叫spark堆外，是因为后续要和jvm堆外进行区别，也是大家容易弄混淆的地方），为了进一步优化内存的使用以及提高 Shuffle 时排序的效率，Spark 引入了堆外（Off-heap）内
Spark 内存管理 ：Spark如何高效利用有限的内存空间？
Nice的博客
12-04 1619
Spark内存的管理模式 在管理方式上，Spark 会区分堆内内存（On-heap Memory）和堆外内存（Off-heap Memory）。这里的“堆”指的是 JVM Heap，因此堆内内存实际上就是 Executor JVM 的堆内存；堆外内存指的是通过 Java Unsafe API，像 C++ 那样直接从操作系统中申请和释放内存空间。 其中，堆内内存的申请与释放统一由 JVM 代劳。堆外内存则不同，Spark 通过调用 Unsafe 的 allocateMemory 和 freeMemory 方法
嘴说手画Spark的内存模型
epitomizelu的专栏
12-08 515
一，内存模型 Spark的内存模型如下图所示： Reserved Memory 固定为 300MB，不受开发者控制，是启动Spark框架本身所需要的内存空间 UserMemory 是用户空间，即用户定义的数据，通常是用户在代码中定义的变量，可以说，除RDD、广播、全局变量、计算过程中产生的数据之外都是用户定义的数据 Execution Memory 执行计算任务所需要的内存，如源数据加载占用的是这部分内存，以及在计算过程中产生的中间数据使用的内存都是这部分内存 Storage Memory 缓存、广播、
Spark 内存管理模型详解
qq_41982570的博客
03-04 1351
Spark 内存管理模型详解
Spark性能调优之JVM调优 降低cache操作的内存占比 spark.storage.memoryFraction
李献计的博客
06-30 6223
理论基础 Spark就是用scala开发的，scala是运行在java虚拟机（JVM）上的，所以Spark也是运行在JVM上，而且Spark的scala代码中也调用了很多java api。这个理论基础很重要！ 下面介绍通过调节JVM调节来优化Spark性能。   问题背景 JVM中，每次存放创建的对象时，都是先放入Eden区域和其中一个survivor区域；另一个survivor区域是空...
Spark的内存管理机制
qq_41544550的博客
11-16 703
Spark的内存管理机制
spark storage相关配置
xiao_jun_0820的专栏
03-16 1001
Storage相关配置参数 spark.local.dir 这个看起来很简单，就是Spark用于写中间数据，如RDD Cache，Shuffle，Spill等数据的位置，那么有什么可以注意的呢。 首先，最基本的当然是我们可以配置多个路径（用逗号分隔）到多个磁盘上增加整体IO带宽，这个大家都知道。 其次，目前的实现中，Spark是通过对文件名采用hash算法分布到多个路径下的目录中去
13，spark内存管理
北方的大数据之路
10-12 734
122121
spark调优之内存调优
最新发布
05-16
在 Spark 中，内存调优是非常重要的一部分，它可以显著提高 Spark 应用程序的性能。以下是一些内存调优的技巧。 1. 调整堆内存大小 Spark 的默认堆内存大小为 1GB，但是这可能不适用于所有情况。如果您的应用程序需要更多的内存，可以通过设置 `--driver-memory` 和 `--executor-memory` 参数来增加堆内存大小。 2. 调整内存分配比例 Spark 内存分为堆内存和非堆内存，其中非堆内存主要用于缓存和其他临时数据。您可以通过调整 `spark.memory.fraction` 参数来设置内存分配比例。通常情况下，将非堆内存的比例设置为 0.6 左右可以获得最佳性能。 3. 启用内存压缩 Spark 可以使用内存压缩技术来减少内存使用量。您可以通过设置 `spark.io.compression.codec` 参数来启用内存压缩。通常情况下，使用 Snappy 压缩算法可以获得最佳性能。 4. 使用持久化 Spark 可以将 RDD 缓存在内存中，以便快速访问。这可以通过使用 `cache()` 或 `persist()` 方法来实现。如果您的应用程序需要频繁访问同一数据集，那么持久化 RDD 可以显著提高性能。 5. 增加并行度 通过增加并行度，可以将任务分配给更多的执行器，从而减少每个执行器的负载，提高整个应用程序的性能。您可以通过设置 `spark.default.parallelism` 参数来增加并行度。 这些都是 Spark 内存调优的一些技巧，您可以根据您的具体情况来选择适合您的方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值