Hadoop、spark都是一个生态,2者是一个互补的关系,2者有很多相似的部分。
hadoop实现了一个分布式文件系统-高延迟批处理大吞吐-hadoop的mapreduce程序用Java写
Spark基于内存计算的开源的集群计算平台-低延迟小文件处理-spark的mapreduce程序用scala写
学习spark最好有些hadoop的知识,至少目前hadoop是大数据的既定事实标准,spark要处理的数据大部分是在hadoop上,如HDFS、hive、hbase;还有spark standalone集群在生产上很少使用,一般都是将Spark应用程序发布在YARN或MESOS上。另外spark发展很快,几大hadoop厂商纷纷将一些项目转向spark。