1、宽依赖
英文全名:ShuffleDependency。本质如其名,就是Shuffle。每一个父RDD的partition中的数据,都可能会传输一部分,到下一个RDD的partition中,此时会出现,父RDD和子RDD的partition之间,具有交错复杂的关系。那么这两个RDD之间就是宽依赖,他们之间发生的操作是Shuffle。
以wordCount程序为例子,就是reduceBykey(_+_),两个RDD之间的关系。
2、窄依赖
英文全名,NarrowDependency。一个RDD,对他的父RDD,只有简单一对一的依赖关系。RDD的每个partition,仅仅依赖于父RDD中的一个partition。父RDD和子RDD的partition之间的关系是一对一。