Hadoop入门
分布式和集群区别?
分布式 :分布式的主要工作是分解任务,将职能拆解,多个人在一起做不同的事 集群:集群主要是将同一个业务,部署在多个服务器上 ,多个人在一起做同样的事
大数据体系中,分布式的调度主要有2类架构模式:
• 去中心化模式
去中心化模式,没有明确的中心。 众多服务器之间基于特定规则进行同步协调。
• 中心化模式
有一个中心节点(服务器)来统筹其它服务器的工作,统一指挥,统一调派,避免混乱。
Hadoop是一个集合了:存储、计算、资源调度为一体的大数据分布式框架
Hadoop框架内容
⚫ 狭义解释
Hadoop指Apache这款开源框架,它的核心组件有:
➢ HDFS(分布式文件系统):解决海量数据存储
➢ MAPREDUCE(分布式运算编程框架):解决海量数据计算
➢ YARN(作业调度和集群资源管理的框架):解决资源任务调度
⚫ 广义解释 广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
Hadoop架构
⚫ Hadoop模块之间的关系
➢ MapReduce计算需要的数据和产生的结果需要HDFS来进行存储
➢ MapReduce的运行需要由Yarn集群来提供资源调度。
数据:人类的行为及产生的事件的一种记录称之为数据
数据的价值
• 对数据的内容进行深入分析,可以更好的帮助了解事和物在现实世 界的运行规律
• 比如,购物的订单记录(数据)可以帮助平台更好的了解消费者, 从而促进交易。