Spark2 之 memorypool

已于 2025-04-23 12:11:20 修改
阅读量105 收藏
点赞数
分类专栏： Spark Sql 文章标签： spark 大数据
于 2025-04-22 15:19:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhixingheyi_tian/article/details/147422854
版权

cpp/core/memory/ArrowMemoryPool.cc

cpp/core/memory/MemoryAllocator.cc

VeloxMemoryManager

cpp/velox/memory/VeloxMemoryManager.cc

VeloxMemoryManager::VeloxMemoryManager(const std::string& kind, std::unique_ptr<AllocationListe
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark2 code
zhixingheyi_tian的博客
11-23 191
gluten
【硬刚大数据】我们在学习Spark的时候，到底在学习什么？
微信搜：import_bigdata，大数据领域硬核原创作者
08-29 532
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 很多小伙伴在群里或者私信留言问我关于Spark的学习路径问题。 Spark发展至今，应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成..
Spark 内存管理之 MemoryPool
最新发布
houzhizhen的专栏
08-07 261
Spark memory pool 定义了 Execution 内存和 Storage 内存及其相互借用的关系。
spark core 2.0 MemoryPool 源代码分析
houzhizhen的专栏
01-13 314
MemoryPool管理大小可调的内存区域。 这个类被MemoryManager作为内部使用。 参数是一个MemoryManager实例的一个锁，用于同步。我们特意擦除类型信息，变为Object类型，避免程序错误，因为这个对象应当仅作为同步用。 _poolSize 变量保存当前内存区域的大小。memoryUsed 函数用于已经使用的内存，在子类实现。 /** * Manages boo
spark 2.1 MemoryPool, StoragememoryPool
houzhizhen的专栏
05-15 789
MemoryPool /** * Manages bookkeeping for an adjustable-sized region of memory. This class is internal to * the [[MemoryManager]]. See subclasses for more details. * * @param lock a [[MemoryManager]
spark内存管理源码分析系列之详解内存池
进击的数据小白
09-21 534
内存池是Spark内存的抽象，它记录了总内存大小，已使用内存大小，剩余内存大小，提供给MemoryManager进行分配/回收内存。它包括两个实现类：ExecutionMemoryPool和StorageMemoryPool，分别对应execution memory和storage memory。当需要新的内存时，spark通过memoryPool来判断内存是否充足。需要注意的是memoryPool以及子类方法只是用来标记内存使用情况，而不实际分配/回收内存。
Spark 2 内存管理之源码剖析
微步的博客
07-04 412
本课主题 Static MemoryManager 的源码鉴赏　　Unified MemoryManager 的源码鉴赏 引言从源码的角度了解 Spark 内存管理是怎么设计的，从而知道应该配置那个参数让程序运行更适合你的实际需要，我们为什么要把 Spark Memory 这块内存调大，原因很简单，理论上讲你调得愈来，你占用的空间愈大，程序运行时所产生的 IO 就会愈来愈少，理论可以参考第四章 :...
spark2.x-内存管理机制
program哲学
05-18 7211
MemoryManager 管理在jvm内部的spark整体的内存使用,该组件实现了将可用内存按任务划分的策略。在内存（内存使用缓存和数据传输）和执行之间分配内存（计算所使用的内存，如shuffles、joins、sorts和aggregations）。 执行内存指的是计算shuffles、joins、sorts和aggregations，而存储内存指的是用于缓存和传播跨集群的内部数据。...
spark存储管理源码分析系列之MemoryStore
进击的数据小白
10-16 663
内存池MemoryPool是对存储内存的具体管理，内存管理器MemoryManager是提供给外界进行管理内存的接口，而MemoryStore是用来将数据块保存到申请的storage内存中，并提供了从内存获取保存的数据的方法。在storage内存不足时，负责将内存中保存的数据刷新到磁盘上并释放占用的内存。MemoryStore在保存数据之前，会调用MemoryManager的相关acquire方法，判断StorageMemoryPool中是否有足够的内存可以分配，如果可用内存不足则直接返回false，由调.
spark内存管理源码分析系列之内存管理概述
进击的数据小白
09-20 330
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文介绍了Spark的内存框架以及介绍了Spark的哪些模块使用到了内存管理功能，Driver端内存管理比较简单，所以后续的分析都专注于Executor端的内存管理。
spark和flink是什么、区别、共同点以及替换性
热门推荐
桐青冰蝶Kiyotaka的博客
08-25 1万+
spark和flink是什么、区别、共同点以及替换性
Spark 之 Shuffle & AQE
zhixingheyi_tian的博客
06-03 2644
shuffle
Spark-SQL那些事
zhixingheyi_tian的博客
05-18 1362
WITH AS WITH AS短语，也叫做子查询部分，定义一个SQL片断后，该SQL片断可以被整个SQL语句所用到。有的时候，with as是为了提高SQL语句的可读性，减少嵌套冗余。 with A as ( select * from user ) select * from A, customer where customer.userid = user.id** 先执行select * from user把结果放到一个临时表A中，作为全局使用。 with as的将频繁执行的s
Spark 之 InternalRow
zhixingheyi_tian的博客
04-01 937
InternalRow — Abstract Binary Row Format InternalRow is also called Catalyst row or Spark SQL row. abstract class InternalRow extends SpecializedGetters with Serializable { } UnsafeRow UnsafeRow is a...
Spark-SQL 之 join 类型
zhixingheyi_tian的博客
05-31 802
Shuffle Hash Join 启用 Shuffle Hash Join 必须满足以下几个条件： 仅支持等值 Join，不要求参与 Join 的 Keys 可排序； spark.sql.join.preferSortMergeJoin 参数必须设置为 false，参数是从 Spark 2.0.0 版本引入的，默认值为 true，也就是默认情况下选择 Sort Merge Join； 小表的大小（plan.stats.sizeInBytes）必须小于 spark.sql.autoBroadcastJoi
spark sql examples on kubernetes
zhixingheyi_tian的博客
05-07 678
submit sql to thriftserver by beeline run thriftserver in a pod sh sbin/start-thriftserver.sh \ --master k8s://https://kubernetes.default.svc.cluster.local:443 \ --name spark-thriftserver \ ...
spark sql query 剖析
zhixingheyi_tian的博客
11-13 522
生成 unresolved LogicalPlan // abstract class AbstractSqlParser` /** Creates LogicalPlan for a given SQL string. */ override def parsePlan(sqlText: String): LogicalPlan = parse(sqlText) { parser =&amp;amp;amp;amp;amp;amp;amp;amp;amp;gt...
CreateTempViewUsing
zhixingheyi_tian的博客
08-21 507
logicRelation //ddl.scala //viewDefinition 为logicRelation case class CreateTempViewUsing( tableIdent: TableIdentifier, userSpecifiedSchema: Option[StructType], replace: Boolean, global...
Spark 常见 issues solving
zhixingheyi_tian的博客
01-20 431
加载 metastore_db issue Database Class Loader started - derby.database.classpath='' 21/01/20 06:30:33 ERROR PoolWatchThread: Error in trying to obtain a connection. Retrying in 7000ms java.sql.SQLException: A read-only user or a user in a read-only database
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhixingheyi_tian

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值