Spark学习笔记（一）——spark简介

Spark是什么

spark是基于内存计算的大数据并行计算框架。09年诞生于加州大学伯克利分校AMPLab.

Spark相较于Hadoop的优点

Spark是MapReduce的替代方案，兼容HDFS、Hive等分布式存储层，可融入Hadoop的生态系统，以弥补MapReduce的不足。其主要优势如下：

1. 中间结果输出
   可以将多stage的任务串联或者并行执行，而无需将Stage中间结果输出到HDFS中。
2. 数据格式和内存分布
   Spark抽象出分布式内存存储结构弹性分布式数据集RDD，进行数据的存储。Spark具有能够控制数据在不同节点上的分区的特性，用户可以自定义分区策略。
3. 执行策略
   MapReduce在数据Shuffle之前花了大量的时间来排序，Spark可以减轻上述问题带来的开销。
4. 任务调度的开销
   在某些极端情况下，hadoop提交一个任务的延迟非常高。Spark采用了事件驱动的类库AKKA来启动任务，通过线程池复用线程来避免进程或线程启动和切换开销。