黑马程序员学习第一天

Hadoop入门

分布式和集群区别?

分布式 ：分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事 集群：集群主要是将同一个业务，部署在多个服务器上 ，多个人在一起做同样的事

大数据体系中，分布式的调度主要有2类架构模式：

• 去中心化模式

去中心化模式，没有明确的中心。 众多服务器之间基于特定规则进行同步协调。

• 中心化模式

有一个中心节点（服务器）来统筹其它服务器的工作，统一指挥，统一调派，避免混乱。

 Hadoop是一个集合了：存储、计算、资源调度为一体的大数据分布式框架

Hadoop框架内容

⚫ 狭义解释

  Hadoop指Apache这款开源框架，它的核心组件有：

➢ HDFS（分布式文件系统）：解决海量数据存储

➢ MAPREDUCE（分布式运算编程框架）：解决海量数据计算

➢ YARN（作业调度和集群资源管理的框架）：解决资源任务调度

⚫ 广义解释 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

Hadoop架构

⚫ Hadoop模块之间的关系

➢ MapReduce计算需要的数据和产生的结果需要HDFS来进行存储

➢ MapReduce的运行需要由Yarn集群来提供资源调度。

数据：人类的行为及产生的事件的一种记录称之为数据

数据的价值

• 对数据的内容进行深入分析，可以更好的帮助了解事和物在现实世 界的运行规律

• 比如，购物的订单记录（数据）可以帮助平台更好的了解消费者， 从而促进交易。