Spark的5大优势

一、Spark 的5大优势：
1、 更高的性能。因为数据被加载到集群主机的分布式内存中。数据可以被快速的转换迭代，并缓存用以后续的频繁访问需求。在数据全部加载到内存的情况下，Spark可以比Hadoop快100倍，在内存不够存放所有数据的情况下快hadoop10倍。
2、通过建立在Java,Scala,Python,SQL（应对交互式查询）的标准API以方便各行各业使用，同时还含有大量开箱即用的机器学习库。
3、与现有Hadoop 1和2.x(YARN)生态兼容，因此机构可以无缝迁移。
4、方便下载和安装。方便的shell（REPL: Read-Eval-Print-Loop）可以对API进行交互式的学习。
5、借助高等级的架构提高生产力，从而可以讲精力放到计算上。

二、MapReduce与Spark相比，有哪些异同点：
1、基本原理上：
（1） MapReduce：基于磁盘的大数据批量处理系统
（2）Spark：基于RDD(弹性分布式数据集)数据处理，显示将RDD数据存储到磁盘和内存中。
2、模型上：
（1） MapReduceL可以处理超大规模的数据，适合日志分析挖掘等较少的迭代的长任务需求，结合了数据的分布式的计算。
（2） Spark：适合数据的挖掘，机器学习等多轮迭代式计算任务。

在Spark中，一个应用程序包含多个job任务
在MapReduce中，一个job任务就是一个应用