SparkCore

1.RDD

1.1 什么是RDD

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据（计算）抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算（分区同时计算）的集合。

1.2 RDD的属性

1. 一组分区（Partition），即数据集的基本组成单位;

当读取文件很大时，文件需要切片，对应每个切片就对应一个Rdd的一个分区。

1. 一个计算每个分区的函数;（每个分区都有一个计算函数）
2. RDD之间的依赖关系;（例如wordCount, 后一个Rdd依赖前一个Rdd的值）
3. 一个Partitioner，即RDD的分片函数;（针对kv类型的rdd,我们可以给他指定分区函数，默认hash分区）
4. 一个列表，存储存取每个Partition的优先位置（preferred location）。（处理Rdd每个分片计算时，原本数据在哪里，我们尽量在哪里计算，移动计算）

1.3 RDD特点

RDD表示只读的分区的数据集，对RDD进行改动，只能通过RDD的转换操作，由一个RDD得到一个新的RDD，新的RDD包含了从其他RDD衍生所必需的信息。RDDs之间存在依赖，RDD的执行是按照血缘关系延时计算的。如果血缘关系较长，可以通过持久化RDD来切断血缘关系。

2. RDD编程

2.1 RDD创建