Spark的Persist和checkpoint

一、Spark有多种持久化方式

1、memory_only（仅在内存中）

spark会将RDD作为未序列化的java对象存于内存，如果spark估算不是所有的分区能在内存中容纳，那么Spark不会将RDD缓存，以后用到该RDD,会根据血统重新计算

userRDD.cache()
userRDD.persist()
userRDD.persist(StorageLevel.MEMORY_ONLY)

劣势：占用大量内存，如果缓存过多对象，将对垃圾回收产生压力

2、memory_only_ser（仅在内存中，但是经过序列化）

userRDD.persist(StorageLevel.MEMORY_ONLY_SER)

劣势：数据被序列化，再使用的时候需要反序列化，属于CPU密集型操作

3、memory_and_disk（在内存和磁盘）

spark会将RDD作为未序列化的java对象存于内存，如果spark估算不是所有的分区能在内存中容纳，那么Spark会将放不下的对象写入磁盘

userRDD.persist(StorageLevel.MEMORY_AND_DISK)

劣势：读取数据会有IO的负载

4、memory_and_disk_ser（序列化后存于内存和磁盘）

userRDD.persist(StorageLevel.MEMORY_AND_DISK_SER)

5、disk_only（序列化后存于磁盘）

userRDD.persist(StorageLevel.DISK_ONLY)

劣势：需要反序列化，CPU密集，读取磁盘是IO，比较耗性能

6、OFF_HEAP（堆外存储）

userRDD.persist(StorageLevel.OFF_HEAP)

总结：

spark cache是故障可恢复的，如果RDD的分区丢失，会重新计算的丢失的数据。

但是最为关键的是缓存什么数据，以及缓存多少数据，如果缓存了过多不需要的数据，有用的数据分区有可能会被驱逐，再执行action操作的时候，会被重新计算

二、checkpoint

checkpoint前先做一次persist

因为checkpoint时会触发一次job，如果执行的checkpoint的RDD是由其他RDD经过多次迭代计算而来，没有做persist的话，那么会重新计算RDD，即做了重复的计算。

checkpoint会丢弃RDD的父类的血缘，以后只需要恢复RDD时，不需要重新迭代计算出RDD