Spark DAG与RDD

最新推荐文章于 2024-02-01 10:46:28 发布
最新推荐文章于 2024-02-01 10:46:28 发布
阅读量7.2k 收藏 4
点赞数 4
分类专栏： spark 文章标签： spark dag rdd
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyzzxycj/article/details/82734453
版权
本文详细介绍了Spark中的DAG和RDD概念。DAG中的每个节点代表一个RDD，依赖分为窄依赖（如map）和宽依赖（如reduceByKey）。窄依赖允许在同一Executor上顺序执行，而宽依赖需要shuffle，涉及跨节点数据传输。Spark根据宽依赖划分stage，shuffle操作后的数据写入本地文件以确保可靠性。一个Spark任务（job）按宽依赖分为多个stage，每个stage包含多个task。任务完成后，ResultTask返回运算结果，而ShuffleMapTask返回MapStatus用于后续Stage获取数据。
摘要由CSDN通过智能技术生成

1、DAG

DAG图中，每个节点都是RDD

窄依赖（也叫narrow依赖）

从父RDD角度看：一个父RDD只被一个子RDD分区使用。父RDD的每个分区最多只能被一个Child RDD的一个分区使用

从子RDD角度看:依赖上级RDD的部分分区     精确知道依赖的上级RDD分区，会选择和自己在同一节点的上级RDD分区，没有网络IO开销，高效。

窄依赖包括：

OneToOneDependency
PruneDependency
RangeDependency

对应的RDD方法包括：

  map
  mapValues
  flatMap
  filter
  mapPartitions
  mapPartitionsWithIndex

宽依赖（也叫shuffle依赖/wide依赖）

从父RDD角度看：一个父RDD被多个子RDD分区使用。父RDD的每个分区可以被多个Child RDD分区依赖

从子RDD角度看:依赖上级RDD的所有分区     无法精确定位依赖的上级RDD分区，相当于依赖所有分区（例如reduceByKey）  计算就涉及到节点间网络传输。 

宽依赖通常的dependency为ShuffleDependency

对

最低0.47元/天 解锁文章
Deegue
关注
  • 4
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark DAG原理与代码实例讲解
程序员光剑
06-19 873
Spark DAG原理与代码实例讲解 1. 背景介绍 1.1 大数据处理的挑战 在大数据时代,我们面临着海量数据处理的巨大挑战。传统的数据处理方式已经无法满足实时性、高吞吐量的需求。Spark作为一个快速、通用的大规模数据处理引擎,为
spark学习（二）RDD和DAG
weixin_40535323的博客
09-28 3287
一、sparkRDD概念 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集,是spark中最基本也是最重要的概念之一。它是spark中一种基本的数据抽象，有容错机制并可以被并行操作的元素集合，具有只读、分区、容错、高效、无需物化、可以缓存、RDD依赖等特征。RDD的知识较为庞杂，这里只能按我了解的做一些简单介绍。 二、一些基本的熟悉和概念 1、part...
spark认知理解（一）RDD与DAG
zlg358outlook的博客
07-02 1684
目录 1. spark介绍 2. RDD理解 2.1 RDD概念 2.2 Partition分片 2.3 Partitioner 3. 宽窄依赖 4. stage划分 4. spark与DAG 注脚 1. spark介绍 spark是基于内存计算的大数据并行计算框架。 特性：DAG执行引擎，可分布式，基于内存计算。 2. RDD理解 RDD：是弹性分布式数据集（Re...
什么是SparkDAG
python的博客
06-23 8111
对于DAG这个概念现在很多上面都有所应用 概念 在spark里每一个操作生成一个RDD，RDD之间连一条边，最后这些RDD和他们之间的边组成一个有向无环图，这个就是DAG。 在spark的应用 Spark内核会在需要计算发生的时刻绘制一张关于计算路径的有向无环图，也就是DAG。 有了计算的DAG图，Spark内核下一步的任务就是根据DAG图将计算划分成任务集，也就是Stage，这样可
Spark的RDD概要&DAG概述
奔赴彼岸
01-16 1413
Spark的RDD概要&DAG概述1.RDD： 弹性分布式数据集（相当于集合）2.RDD对应HDFS关系图3.DAG概要 1.RDD： 弹性分布式数据集（相当于集合） 弹性：RDD的数据默认是存放在内存中，但是内存资源存在不足的情况，spark会将RDD数据写入磁盘（内存和磁盘切换） 容错：如果任务执行失败，可以自动从失败节点进行恢复，由于某个节点宕机了导致数据丢失，RDD会根据自己的数据来源重新计算一遍，计算失败的partition的数据 基于血缘关系：代表具体的任务的来龙去脉，映射hive 表是
Spark入门必知:DAG、Cache、RDD、CheckPoint
AriesLY0411的博客
03-03 2417
目录 前言 关键字 DAG（有向无环图） 概念 DAG 解决了什么问题 工作流程 Cache 缓存 为什么要用cache cache的使用 注意点 cache存储级别 如何选择存储级别 checkPoint（检查点） cache和checkpoint的区别 RDD（弹性数据集） 宽窄依赖 1.窄依赖（1对1 | N对1） 2.宽依赖（一对多） 分区优化 Stage （阶段） 概念 划分规则 Spark案例 前言 这里只向大家介绍几个关键的关键字知识点，详
Spark之DAG
ChengYanan的博客
05-06 384
DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换处理在Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。 任务...
Spark_DAG
Good_Good_Study
01-21 293
一个action算子一个job 下面是一个job的划分： DAG(有向无环图)： 顾名思义：有方向而没有环路 这里做了DAG优化 ： 就是不切分窄依赖 举例
Apache Spark DAG
大数据流浪法师的学习笔记与分享
04-07 208
DAG概念 DAG(Directed Acyclic Graph有向无环图)指的是数据转换执行的过程，有方向，无闭环(其实就是RDD执行的流程) 原始的RDD通过一系列的转换操作就形成了DAG有向无环图，任务执行时，可以按照DAG的描述，执行真正的计算(数据被操作的一个过程) DAG的边界 开始:通过SparkContext创建的RDD 结束:触发Action，一旦触发Action就形成了一个完整...
Spark之RDD依赖关系及DAG逻辑视图
weixin_30436891的博客
06-17 264
　　RDD依赖关系为成两种：窄依赖（Narrow Dependency）、宽依赖（Shuffle Dependency）。窄依赖表示每个父RDD中的Partition最多被子RDD的一个Partition所使用；宽依赖表示一个父RDD的Partition都会被多个子RDD的Partition所使用。 一、窄依赖解析 　　RDD的窄依赖（Narrow Dependency）是RDD中最常见的依赖...
Spark基础 DAG
热门推荐
zhangvalue的博客
12-03 1万+
      为什么使用spark的原因是早期的编程模式MapReduce缺乏对数据共享的高效元语，会造成磁盘I/O 以及序列号等开销，spark提出了统一的编程抽象---弹性分布式数据集（RDD）,该模型可以令并行计算阶段间高效地进行数据共享。spark处理数据时，会将计算转化为一个有向无环图(DAG)的任务集，RDD能够有效的恢复DAG中故障和慢节点执行的任务，并且RDD提供一种基于粗粒度变换的...
大数据之 Spark DAG
最新发布
代妈炼金术师
02-01 490
Spark Directed Acyclic Graph (DAG) 是 Apache Spark 中的核心概念，它用于描述作业（job）的计算逻辑。在 Spark 中，用户通过对 RDD（Resilient Distributed Datasets）的操作构建一系列转换和动作，这些操作会形成一个有向无环图结构。：DAG 中的边表示节点间的依赖关系。如果一个节点的输出是另一个节点的输入，则它们之间存在一条边。：DAG 中的每个节点代表了对数据的一次转换或动作。等函数应用于 RDD 时创建新的节点；
深入理解Spark(一)：Spark核心概念RDD
weixin_33852020的博客
06-20 112
RDD全称叫做弹性分布式数据集(Resilient Distributed Datasets)，它是一种分布式的内存抽象，表示一个只读的记录分区的集合，它只能通过其他RDD转换而创建，为此，RDD支持丰富的转换操作(如map, join, filter, groupBy等)，通过这种转换操作，新的RDD则包含了如何从其他RDDs衍生所必需的信息，所以说RDDs之间是有依赖关系的。基于RDDs之间的...
Spark DAG和Stage
feizuiku0116的博客
11-22 277
一、什么是DAG 在图论中，如果一个有向无法从任意定点触发经过若干条边回到该点，则这个图是一个有向五环图（DAG图）。而在Spark中，由于计算过程很多时候会有先后顺序，受制于某些任务必须比另一些任务较早执行的限制，必须对任务进行排队，形成一个队列的任务集合，这个队列的任务集合就是DAG图，每一个定点就是一个任务，每一条边代表一种限制约束（Spark中的依赖关系） 二、DAG如何划分Stage 为什么要划分Stage? --并行计算 一个复杂的业务逻辑如果有shuffle，那么就意为着前面阶段产生结
Spark之基本概念篇(RDD ,DAG,Task,TaskSet ,Stage,Shuffer,Job,dependency,Application,SparkContext)(3)
桂林算啦粉的博客
09-30 1268
一 什么是RDD RDD的全称是 Resilient Distributed Dataset ,是一个弹性的 ,可复原的分布式数据集 .是 Spark中最基本的抽象,是一个不可变的 /有多个分区的 / 可以并行计算的集合 . RDD中并不装真正要计算的数据 ,而装的是描述信息 ,描述以后从哪里读取数据 ,调用了什么方法 ,传入了什么函数 ,以及依赖关系等 . 二 RDD的特点 1 有一些列连续的分区 :分区编号从0开始,分区的数量决定了对应阶段Task的并行度 2 有一个函...
spark的RDD、DAG、shuffle等一些知识点的整合
KujyouRuri的博客
04-26 1877
RDD的依赖关系 RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 窄依赖: 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用(子rdd当中一个分去里面的数据来源于父rdd当中一个分区。叫做窄依赖。实际上没有产生shuffle过程) 宽依赖 宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition(子rdd当中一个分区里面的数据来源于父rdd当中好几个
深入理解Spark源码：RDD、Iterator到Job与DAG
2. **Iterator**: 在Spark中，Iterator充当了一个重要的角色，它是RDD与外部世界交互的接口。用户可以通过迭代器逐条访问RDD中的元素，这种方式提供了对大规模数据的低延迟、高效访问，但不实际加载所有数据到内存中...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值