宽依赖与窄依赖

1、宽依赖

英文全名：ShuffleDependency。本质如其名，就是Shuffle。每一个父RDD的partition中的数据，都可能会传输一部分，到下一个RDD的partition中，此时会出现，父RDD和子RDD的partition之间，具有交错复杂的关系。那么这两个RDD之间就是宽依赖，他们之间发生的操作是Shuffle。

以wordCount程序为例子，就是reduceBykey（_+_），两个RDD之间的关系。

2、窄依赖

英文全名，NarrowDependency。一个RDD，对他的父RDD，只有简单一对一的依赖关系。RDD的每个partition，仅仅依赖于父RDD中的一个partition。父RDD和子RDD的partition之间的关系是一对一。