hadoop2基本概念

最新推荐文章于 2022-10-19 18:02:24 发布
最新推荐文章于 2022-10-19 18:02:24 发布
阅读量470 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zw421152835/article/details/46628255
版权

hadoop版本
 
 Apache
 Cloudera
 Hortonworks
 MapR
 intel
 
hadoop2
通用 hdfs yarn MapReduce


hadoop1
hdfs mapreduce

hadoop2
hdfs2 yarn(资源管理平台)

hdfs2 负责数据的分布式存储
主节点 有2个 namendoe
从节点 多个 datanode

nameode
接受用户请求，用户操作入口
维护文件系统的目录结构，命名空间

datanode  存储文件

yarn
资源的调度和管理  cpu,内存，网络..

主节点 有2个 ResourceManger
从节点 多个 NodeManager

ResourceManger
集群资源的分配和调度
MapReduce,Storm,Spark等应用必须实现ApplicationMaster接口，才能被RM管理

NodeManager
单节点资源管理


MapReduce
依赖磁盘io的批处理计算模型

主节点，一个 jobTracker
从节点  多个 TaskTracker

JobTracker
接受客户提交的计算任务
把计算任务分个TaskTrackers ,任务调度
监控TaskTracker的执行情况

TaskTracker
 执行JobTarcker分配的计算任务
 

Hadoop的基本概念、架构、优点、缺陷、适应场景和未来发展方向
AI天才研究院
10-11 1028
Hadoop是一个由Apache基金会开发并开源的分布式计算框架，是一个为海量数据的分析而设计的工具。它能够存储海量的数据集、提供高吞吐率的数据处理能力，并且可以在几乎没有限额的情况下进行分布式数据处理。由于其能够同时处理超大规模数据，因此被广泛应用于机器学习、数据仓库、日志处理等领域。Hadoop在2006年成为Apache项目，至今已经发布了十多个版本。它最初起源于Yahoo!内部的搜索引擎项目。目前，Hadoop已成为云计算、大数据分析等众多领域的关键技术。
hadoop2.X新特性介绍
04-19
hadoop2.X新特性介绍
haddop2新特性
aiwujiangjie_job的博客
07-20 251
Hadoop2中新增的两个最重要的特性就是HA和联邦机制： HA是为了解决hdfs主从架构中典型的单点故障问题（当主结点宕机时迅速切换备用结点），联邦机制是允许多台namenode通过共享存储系统zookeeper、NFS(网络文件系统，通过TCP/IP协议共享网络资源)、QJM（Quorum Journal Manager）共享底层DataNode对外提供服务。经典的HA场景是一个集群中有两个
hadoop2新特性
09-16 1428
hdfs联邦/hdfs快照
Hadoop2.0新特性
Co_zy的博客
02-09 1945
Hadoop2.0的改进 不断完善的Hadoop生态系统
hadoop基本概念共10页.pdf.zip
10-29
很抱歉，根据您提供的信息，"hadoop基本概念共10页.pdf.zip"是一个关于Hadoop基本概念的压缩文件，但实际的压缩包子文件名称列表中提到的是"赚钱项目"，这二者之间似乎存在不匹配。为了提供准确的Hadoop相关知识，我...
B05 - 018、Hadoop集群基本概念
吾心持剑，剑锋披靡
06-17 374
0、Hadoop集群基本概念 初学耗时：0.5h 注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。 一、Hadoop集群基本概念     1.1  Hadoop核心组件的概念。     1.2  Hadoop的部署方式。 记忆词：   独立模式、伪分布式、完全分布式  ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Hadoop集群基本概念   1....
Hadoop2简介
caoshi00的博客
08-22 414
组件 Hadoop1.0的问题 Hadoop2.0的改进 HDFS 单一名称节点，存在单点失效问题 设计了HDFS HA，提供名称节点热备机制 HDFS 单一命名空间，无法实现资源隔离 设计了HDFS Federation，管理多个命名空间 MapReduce 资源管理效率低
【Hadoop】基础概念2
littlemichelle
07-03 590
Hadoop简单介绍 Hadoop，你是怎么来的？ 今天的社会产生越来越多的数据，比如：你登录Facebook以后点击了哪些好友，你在Amazon上浏览了哪些产品，你在linkedin上浏览了哪些公司，甚至到从石油矿井里的钻头收集了哪些地质信息。 我们还发现，通过分析这些数据总结规律，我们可以让Facebook和Amazon显示让用户更感兴趣的广告，公司HR会更准确找到合适的求职者，石油公司...
hadoop2 ha概念特点 搭建手工切换ha的hdfs集群
后知后觉的it路
01-11 302
    0 ha简介：   high availibility: 高可靠，有两个namenode节点在运行，一个是active状态 一个是standby状态，此两个namenode要保持内部数据一致性通过journalnode集群实现namenode内部数据一致性，active状态的namenode像journalnode集群写入数据，standby状态的namenode从journa...
Hadoop1和Hadoop2的区别是什么？
mark_to_win的专栏
05-15 2011
Hadoop1和Hadoop2的区别是什么？马 克-to-win @ 马克java社区：原来的Hadoop1的Mapreduce又管资源管理，又管数据处理和计算。而Hadoop2中的MapReduce则只专处理数据 计算。而YARN做资源管理的事。这样其他计算框架比如spark和Tez可以引进了。Hadoop生态圈发展壮大了。谁能拒绝发展呢？ 更多请看下节：https://blog.c...
hadoop2简介 - yarn平台
后知后觉的it路
01-07 185
    1 简介：               yarn架构：        资源： 运行程序需要的CPU,内存，磁盘，网络        resourceManager: 资源管理，只要需要资源我就协调，不管需要资源的应用是 mapreduce/storm/spark        applicationMaster: 应用管理, 只要是应用，不管是mapreduce...
2021-04-10
m0_56391972的博客
04-10 135
1、Hadoop2特点 HDFS1.0存在单点故障问题,第二名称节点无法解决此问题 所以提出了HDFS HA(High Availability) HA集群设置两个名称节点,活跃(Active)和待命(standby) 两种名称节点的状态同步,可以借助于一个共享存储系统来实现 一旦活跃名称节点出现故障,就可以立即切换到待命名称节点 Zookeeper确保一个名称节点对外服务 名称节点用于维护映射信息,数据节点同时向两个数据节点汇报信息 （2）​在Hadoop 1中, HDFS NameNode单点故障问题尤
hadoop 1.0 基本概念了解
fenggfa的博客
10-19 587
hadoop 基本概念了解
Hadoop基本概念
二胖_pro
05-17 270
hadoop引言 存储计算hadoop核心解决两个问题HDFS大数据文件存储 hadoop分布式文件存储系统MapReduce编程框架 hadoop hdfs架构： DataNode NameNodeBlockDataNode 300GBlockDataNode 300GBlockDataNode 300GBlockDataNode 300Gmeta data ip 文件名 block...NameNode1TB数据输入 ...
Hadoop 3相对于hadoop2的 新特性
热门推荐
yongge1981的专栏
05-30 1万+
相对于之前主要生产发布版本Hadoop 2，Apache Hadoop 3整合许多重要的增强功能。 Hadoop 3是一个可用版本，提供了稳定性和高质量的API，可以用于实际的产品开发。下面简要介绍一下Hadoop3的主要变化。最低Java版本要求从Java7变为Java8所有Hadoop的jar都是基于Java 8运行是版本进行编译执行的，仍在使用Java 7或更低Java版本的用户需要升级到J...
hadoop2.0介绍（二）
guxch的专栏
11-26 6651
（接上文） 2. YARN（MapReduce NextGen/MRv2） 这三个名字都在说明一个东西，改进的mapreduce。（注：有些文章中，将YARN与MapReduce分开，认为YARN是MapReduce的基础/支撑，具体的分布式计算的实现依然是MapReduce，这样理解也可以，本文是将它们合在一起介绍。） Mapreduce包含三方面的内容： 终端用户使用的API及使用
hadoop的概念及特点
wow_is_nothing的博客
08-13 9962
1、什么是Hadoop？ Hadoop，简单而言，就是一个用于处理海量数据的分布式框架。他是将一堆海量的数据分发至不同的电脑上进行存储和处理分析，这样就避免了因数据量太大，导致在一台电脑处理数据时出现宕机或者崩溃的情况，不仅提高了海量数据的处理速度，还具有极高的安全性。 他解决了两大难题：海量数据的存储和海量数据的处理分析，这也构成了hadoop的两大核心：HDFS和MapReduce。 2、Hadoop的特点 （1）高可靠性：在处理数据时，Hadoop往往会将数据备份多份分发至不同的机器进行保存，这样就避
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值