Hadoop介绍

Google三架马车： GFS, MapReduce,  BigTable.

Hadoop的实现很简单，一个存储系统(HDFS),一个计算机系统(MapReduce)。

操作Hadoop时，尽管底层是一个巨大的集群，可以我们操作文件时就像在本地一样简单，写MapReduce程序时也只需要也只需要在单线程里实现数据处理。

Hadoop的思想来源于Google的几篇论文，Google在那篇MapReduce论文里说：Our abstraction is inspired by the map and reduce primitives present in Lisp and many other functional languages. MapReduce的灵感来源于函数式语言(比如Lisp)中的内置函数Map和Reduce。在函数式语言里，map表示一个列表(list)中的每个元素做计算，reduce表示对一个列表中的每个元素做迭代计算。他们具体的计算是通过传入的函数来实现的，map和reduce提供的是计算的框架。Reduce既然做的是迭代计算，那就表示列表中的元素是相关的，比如我想对列表中所有元素做相加求和，那么列表中的元素至少应该是数值吧。而map里对列表中每个元素做单独处理，这表示列表中可以是杂乱无章的数据。这样看来，在MapReduce里，Map处理的是原始数据，自然是杂乱无章的，每条数据之间没有关系，到了Reduce阶段，数据是以key后面跟着若干个value来组织的，这些value有相关性，至少它们都在一个key下面，这样我们可以把MapReduce理解为把一堆杂乱无章的数据按照某种特征归纳起来，然后处理并得到最后的结果。Map面对的是杂乱无章的互不相关的数据，它解析每个数据，从中提取出key和value，也就是提取了数据的特征。经过MapReduce的Shuffle阶段之后，在Reduce阶段看到的都是已经归纳好的数据了，在此基础上我们可以做进一步的处理以便得到结果。

Hadoop/MapReduce的Job是一个昙花一现的东西，它仅仅是一个计算过程而已，所有数据都是从HDFS来，到HDFS去。当最后一个Reduce完成之后，整个Job消失了，只在历史日中还保存着它曾经存在的证据。Hadoop中的接点是对等的，因此每个接点都是可替代的。也因此，JobTracker可以把任务分配到任何一个接点执行，而不影响最后的产出结果。Hadoop对数据的操作是原子性的，一个Job跑完之后，最终的数据实在一瞬间呈现的，如果Job失败了，则什么都没有，连部分数据都得不到。由于Job的task是并行的，因此这里适用于木桶理论，最后一个完成的那个task决定了整个Job完成的时刻。所以如果某些task特别慢，会在其他接点运行这些Task的副本，当某个副本完成后，Hadoop会kill其余的副本，这也是基于对等性的一个应用。如果某个task在尝试了若干次之后都失败了，那么整个job就失败了。

Hadoop包括HDFS，MapReduce，HBASE, Hive还有PIG－latin等，普通的应用大概是存储海量的数据，并进行批量的处理，数据挖掘等，不过也可以用Hadoop搭建HTTP下载服务器，或FTP服务器等，还有人用hadoop搭建视频点播服务器，可以降低硬件成本，用廉洁的服务器就可以实现了。

下文会对本文中提到的名词做进一步解释。