RDD是什么

作者：JohneyQ
链接：https://www.zhihu.com/question/37437257/answer/139975355
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

这个问题曾经也困扰我很久，我现在以我的理解来阐述RDD.
如果你熟悉数据库，那么RDD从表现形式上讲最类似于数据库的视图（View)
去除这个RDD在物理结构上的特色，单从逻辑上的表现来说，他就是一个数据集合。
什么是数据集合？可以理解为Java中的一个list，或者是数据库里的一张表（或者视图）等等。
既然是一张表，我们可以理解Spark对RDD的操作，其实类似于SQL里面对表的一些操作。
在最开始的时候我说RDD最类似数据库的视图，那为什么是视图而不是表呢？这就要说说RDD里面的这个R（弹性），什么叫弹性呢，就是一个RDD的数据并不一定是物理上真是存在的，注意是不一定，就像数据库里的视图（view），只有你在query的时候他才会真正计算出这些数据。RDD里的数据也一样，比如一张全是大写地名的表-- {S: SHANGHAI, BEIJING, ...}，可能在RDD里是这样一种形式 {S = S1:{Shanghai, BEIJing, ...}. toUPPERcase }. 前面提到的两个数集合在物理上的内容其实是不一样的，但是你能看到的两个集合是一样的。在Spark里面，类似于toUPPERcase 这样的操作我们叫算子。好了，这样你就理解了这个R，也是RDD最难懂的一个地方。再说说中间的那个D（分布式），这个很好理解，就是一个数据集分别放在几个机器上，而RDD只要存储这些数据的元信息（如那一片在哪个机器上）即可。这样也就不难理解之前“仲晟”的回答：“RDD，包含一组分区列表（实际上是分区到block的映射，具体数据可以是分布式的存储在HDFS各个节点上）以及一组transformation或action算子等。”
不过这样解释似乎缺了些什么，就是为什么RDD要如此麻烦呢？这里我说最明显的两个亮点。1，容错：比如你有一个表，里面是一个公司12个月的平均销售额，存储在12个机器上，突然存储8月数据的机器坏了，那么你通常选择的做法是把整一年的销售资料拿出来，再以月份分组，再把8月的算出来，存在一个好的机器里。而RDD存储8月的数据可能就是（select avg（sales）from t where month = 8） ，在你需要的时侯，如果发现8月数据不在了，可以自动从原数据里把这个数据恢复出来。（这个例子并不是特别真实，只不过很简单的帮你理解容错这个特性）。另一个优点是执行效率优化。假设有这么一个情况，有一个数据表，先把里面的数据都+1，再-1，再+1，再-1. 这样显然数据应该都是不变的。如果你每次都把这个数据表都算出来，这样就要执行4次O(n）效率的查找。然而用RDD的思路，{S'} = {S}+1-1+1-1 => {S'} = {s} + 0, 这样就大大提高了效率。(同样这个例子很弱智，但是能帮助你理解RDD为什么要用数据+算子的形式去描述一个数据集).

在所有解释中我忽略了Spark平台，HDFS等因为穿在一起真的很难讲的通俗易懂。只是尽可能的用大白话来讲。若要深入了解还需要结合Spark的运行机制，Hadoop的HDFS，Scala的语法共同来理解RDD这样东西。