大数据中Hadoop能做什么

摘要：本文从Hadoop的初衷、大数据时代背景、Hadoop的使用者来探讨“Hadoop能做什么”这个问题。

关键词：Hadoop   大数据

Hadoop是Doug  Cutting 基于Google公司的GFS和MapReduce思想不断完善项目Nutch中脱胎而出的。

Hadoop是适合于大数据的分布式存储和处理平台，是一种开源的框架。

大数据时代已经到来，给我们的生活、工作、思维方式都带来变革。如何寻求大数据后面的价值，既是机遇又是挑战。不管是金融数据、还是电商数据、又还是社交数据、游戏数据.......这些数据的规模、结构、增长的速度都给传统数据存储和处理技术带来巨大考验。幸运的是，Hadoop的诞生和所构建成的生态系统给大数据的存储、处理和分析带来了曙光。

不管是国外的著名公司Google、Yahoo!、微软、亚马逊、 EBay、FaceBook、Twitter、LinkedIn等和初创公司Cloudera、Hortonworks等，又还是国内的著名公司中国移动、阿里巴巴、华为、腾讯、百度、网易、京东商城等，都在使用Hadoop及相关技术解决大规模化数据问题，以满足公司需求和创造商业价值。

例如：Yahoo! 的垃圾邮件识别和过滤、用户特征建模；Amazon.com（亚马逊）的协同过滤推荐系统；Facebook的Web日志分析；Twitter、LinkedIn的人脉寻找系统；淘宝商品推荐系统、淘宝搜索中的自定义筛选功能......这些应用都使用到Hadoop及其相关技术。

“Hadoop能做什么？” ，概括如下：

1、搜索引擎（Doug Cutting  设计Hadoop的初衷，为了针对大规模的网页快速建立索引）。

2、大数据存储，利用Hadoop的分布式存储能力，例如数据备份、数据仓库等。

3、大数据处理，利用Hadoop的分布式处理能力，例如数据挖掘、数据分析等。

4、科学研究，Hadoop是一种分布式的开源框架，对于分布式计算有很大程度地参考价值。

Hadoop的核心是一个分布式计算和存储平台，从其核心的HDFS和Map/Reduce来说，它可以做下面的事情：
1.日志分析：这是当前用的最多的一个用途，百度就是用Hadoop实现的其日志分析功能。
2.海量数据的查询：从海量数据中找出你需要的那个。
3.数据分析：提供强大的计算功能支持大量的计算分析。

其实，Hadoop能做什么，一是存储，二是计算。

关键是看你想让Hadoop做什么，Hadoop适合什么样的计算，什么样的存储。

HDFS是一个分布式的文件系统，适合的是非结构化数据的存储。
Map/Reduce是一个并行编程模型，适合高并发、高读写的计算。