spark核心构件之Dependency(依赖)

之前的文章说一个spark任务其实就是一系列rdd构成的有向无环图（dag），今天我们来看看，spark是如何表示rdd之间的依赖关系建立这个dag的。

一、rdd如何构成dag

上篇文章讲到了Partition和Partitioner知道了rdd是由一系列分区（partition）组成的，rdd之间的关系主要的其实就是分区之间的关系，也就是子rdd的某个分区数据需要依赖哪些rdd的哪些分区计算得到。

spark将rdd之间的关系抽象成了Dependency这个类，用于连接父子rdd，子rdd持有Dependency对象，Dependency对象里包含了父rdd。也就是dag的构成就像下面这样rdd1是rdd2和rdd3的子rdd

 

 

二、Dependency的定义

 

abstract class Dependency[T] extends Serializable {
  def rdd: RDD[T]
}

只包含了一个rdd，就是父rdd的对象了 。Dependency有两个子类就是大家熟悉的款依赖和窄依赖了。

三、窄依赖 NarrowDependen