hadoop理论基础（一）

1.hadoop的组成

2 HDFS概述

HDFS（Hadoop Distributed File System）是一个分布式文件系统

（1）NameNode:存储文件的元数据;如文件名、文件目录结构、文件属性，以及每个文件的块列表和块所在的DataNode等。

(2)DataNode:在本地文件系统存储文件块数据

（3）每隔一段时间对NameNode元数据备份。

3Yarn概述

YARN（Yet Another Resource Negotiater）：另一种资源协调者，是Hadoop的资源管理器。

ResourceManager（RM）：整个集群资源（内存、CPU等）的管理者

NodeManager（NM）：单个节点服务器资源管理者

ApplicationMaster（AM）：单个任务运行的管理者

Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等

4 MapReduce概述

负责海量数据的计算

MapReduce将计算拆成两个阶段：Map和Reduce

• Map阶段并行处理输入数据

• Reduce阶段对Map结果进行汇总

5 HDFS、YARN、MapReduce三者关系

6 大数据技术的生态体系