RDD依赖关系DAG_大数据培训

DAG

DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换处理在Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。

区块链和DAG的对比

1. 单元：区块链组成单元是Block（区块），DAG组成单元是TX（交易）；

2. 拓扑：区块链是由Block区块组成的单链，只能按出块时间同步依次写入，好像单核单线程CPU； DAG是由交易单元组成的网络，可以异步并发写入交易，好像多核多线程CPU；

3. 粒度：区块链每个区块单元记录多个用户的多笔交易，DAG每个单元记录单个用户交易。

想要了解跟多关于大数据培训课程内容欢迎关注尚硅谷大数据培训，尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习。