RDD的宽依赖和窄依赖

最新推荐文章于 2023-10-03 10:45:16 发布
最新推荐文章于 2023-10-03 10:45:16 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： 大数据 文章标签： RDD 依赖 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangshuaijun123/article/details/103324514
版权

1、RDD的宽依赖和窄依赖的区别
是否有shuffle操作，也叫洗牌操作
在这里插入图片描述
在这里插入图片描述

窄依赖：
一对一 或者 多对一
在这里插入图片描述

在这里插入图片描述

宽依赖：
一对多
在这里插入图片描述

窄依赖可以进行流水线优化，宽依赖不可以
优化：fork/join 机制
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
一个作业可以划分成多个阶段 每个阶段都是一次fork/join，多次fork/join就是宽依赖
一个作业也可以直接一个阶段完成，这就是窄依赖
宽依赖：有shuffle操作的时候 需要落到磁盘，需要等待，没有办法形成管道型的流水化处理。

在这里插入图片描述

RDD的运行过程：
在这里插入图片描述

zsj.python之路
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark宽依赖与窄依赖的区别
鸿爸爸
11-09 831
窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个父RDD分区。这其中又分两种情况：1个子RDD分区对应1个父RDD分区（如map、filter等算子），1个子RDD分区对应N个父RDD分区（如co-paritioned（协同划分）过的Join）。 宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用，子RDD分区通常对应所有的父RDD分区。这其中又分两种...
Spark中宽依赖和窄依赖的区别
qq_38274166的博客
12-30 9523
一、什么是宽依赖、窄依赖 Spark中RDD的高效与DAG（有向无环图）有着莫大的关系，在DAG调度中我们需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分为宽依赖和窄依赖。那么到底什么是宽依赖和窄依赖的？ 1、宽依赖：是指1个父RDD分区对应多个子RDD的分区 2、窄依赖：是指一个或多个父RDD分区对应一个子RDD分区 简单的说就...
Spark宽依赖窄依赖的区别
最新发布
话数Science
10-03 1625
子RDD的一个分区依赖了父RDD的多个分区，即多个子RDD的分区数据依赖父RDD的同一个分区的数据。NarrowDependency ：parent RDD 的一个或多个分区的数据全部流入到 child RDD 的一个或多个分区；ShuffleDependency： parent RDD 的每个分区的不同部分，分别流入到 child RDD 的不同分区。
详解RDD的两种依赖关系
zy1992As的博客
09-19 716
这里的输入协同划分是指多个父RDD的某一个分区的所有Key，被划分到子RDD的同一分区，而不是指同一个父RDD的某一个分区，被划分到子RDD的两个分区中。当子RDD做算子操作，因为某个分区操作失败导致数据丢失时，只需要重新对父RDD中对应的分区（与子RDD相对应的分区）做算子操作即可恢复数据。也就是说，一个父RDD的一个分区不可能对应一个子RDD的多个分区。从图2可以看出，父RDD做groupByKey和join（输入未协同划分）算子操作时，子RDD的每一个分区都会依赖于所有父RDD的所有分区。
Spark宽依赖和窄依赖深度剖析
u012501054的博客
08-09 595
宽依赖和窄依赖深度剖析.png RDD依赖关系与stage划分 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。 1. 窄依赖与宽依赖 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency）和宽依赖（wide dependency，也成shuffle dependency...
spark 中 宽依赖 和 窄依赖的 区别及优缺点
gjkxd的博客
04-26 943
spark 中 宽依赖 和 窄依赖的 区别及优缺点 原创it_liangsir 最后发布于2018-06-29 17:58:02 阅读数 3315 收藏 展开 窄依赖与宽依赖的概述： rdd 中的–宽依赖—父RDD每个分区的数据可能被多个子RDD分区使用 ，子RDD分区通常对应所有的父RDD分区，这其中分为两种情况：1，一个父RDD的分区对应所有的子RDD的分区（没有core-patitione...
Spark RDD的宽依赖和窄依赖
chuangxinge123的博客
04-01 2493
系列文章目录 Spark RDD 的宽窄依赖关系 文章目录系列文章目录Spark RDD 的宽窄依赖关系前言一、RDD的依赖关系？二、如何区分宽依赖和窄依赖？三、为什么要设计宽窄依赖？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 一、RDD的依赖关系？ 在 Spark 中，RDD 分区的数据不支持修改，是只读的。如果想更新 RDD 分区中的数
Spark基础知识04——窄依赖、宽依赖、DAG、缓存
01-07
RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 窄依赖： 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结：窄依赖我们...
Spark RDD是什么？
01-07
Spark 的核心是建立在统一的抽象弹性分布式数据集（Resiliennt Distributed Datasets，RDD）之上的，这使得 Spark 的各个组件可以无缝地进行集成，能够在同一个应用程序中完成大数据处理。本节将对 RDD 的基本概念及...
【SparkCore篇04】RDD函数传递和依赖关系1
08-04
【其实就是对象在进程间传输需要序列化】valconf:SparkConf=new SparkConf()val rdd: RDD[String] = sc.pa
第二章 Spark RDD以及编程接口
01-07
第二章 Spark RDD以及编程接口 目录 Spark程序”Hello World” Spark RDD 创建操作 转换操作 控制操作 行动操作 注：学习《Spark大数据处理技术》笔记 1. Spark程序”Hello World” 1. 概述 计算存储在HDFS的Log...
Spark源码系列（二）RDD详解
01-30
上一章讲了Spark提交作业的过程，这一章我们要讲RDD。...3、对其他的RDD的依赖列表，依赖还具体分为宽依赖和窄依赖，但并不是所有的RDD都有依赖。4、可选：key-value型的RDD是根据哈希来分区的，类似于mapreduce当中
Spark10：宽依赖和窄依赖以及Spark任务三种提交模式
weixin_40612128的博客
03-09 2110
一、宽依赖和窄依赖 1、窄依赖 窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。 2、 宽依赖(Shuffle Dependency)：父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、reduceB
RDD宽依赖和窄依赖理解
raven_41的专栏
07-25 1476
1）RDD概念：Resilient Distributed Datasets 弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显示的将数据存储到磁盘和内存中，并且能控制数据分区。同时，RDD还提供了一组丰富的操作来操作这些数据。RDD是只读的记录分区集合，只能通过在其他RDD执行确定的转换操作(transformation)而创建。RDD可看作一个spark对象，他本身存在于内存中，如对文件计算是一个RDD。 一个RDD可以包含多个分区，每个分区就是一个dataset片段。RDD可以相互依赖。如
窄依赖和宽依赖
热门推荐
yjgithub的博客
07-23 1万+
目录： 一.简介 二.区别 三.stage划分 一.简介 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency） 二.区别 窄依...
Spark中RDD的宽依赖和窄依赖详解
SOARING
04-25 8976
宽依赖与窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD一般对应父RDD的一个或者多个分区。（与数据规模无关）不会产生shuffle。 下面的join也是窄依赖，虽然有两个父RDD，但是两个 RDD中每个分区都被一个子RDD的分区使用，即使父RDD的分区里面的内容并没有让子RDD的一个分区使用。 宽依赖指父RDD的多个分区可能被子RDD的一个分区所使用，子RDD分...
Spark中的宽依赖和窄依赖的区别
top8488.top大数据
03-13 907
开门见山，本文就针对一个点，谈谈Spark中的宽依赖和窄依赖，这是Spark计算引擎划分Stage的根源所在，遇到宽依赖，则划分为多个stage，针对每个Stage，提交一个TaskSet： 上图：一张网上的图： 基于此图，分析下这里为什么前面的流程都是窄依赖，而后面的却是宽依赖： 我们仔细看看，map和filter算子中，对于父RDD来说，一个分区内的数据，有且仅有一个子RDD的...
使用spark sql 读写数据库（python实现）
python -学习笔记
12-17 2135
#!/usr/bin/evn python3 from pyspark.sql import Row from pyspark.sql.types import * from pyspark import SparkContext, SparkConf from pyspark.sql import SparkSession spark = SparkSession.builder.conf...
RDD的宽依赖、窄依赖？
04-04
RDD的宽依赖和窄依赖是指RDD之间的关系。 窄依赖：指父RDD的每个分区最多只被子RDD的一个分区所依赖，也就是父RDD的每个分区只会被一个子RDD的分区所使用。这种依赖关系可以在同一个节点上进行计算，不需要进行数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值