自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 YARN环境搭建

1)mapred-site.xml    mapreduce.framework.name    yarn2)yarn-site.xml    yarn.nodemanager.aux-services    mapreduce_shuffle/etc/hadoop/slaves 配置的是从节点3) 启动YARN相关的进程sbin

2018-01-31 22:15:19 611

转载 YARN基础

YARN产生背景 Hadoop1.x中的MapReduce构成图如下:在Hadoop1.x中MapReduce是Master/Slave结构,在集群中的表现形式为:1个JobTracker带多个TaskTracker;JobTracker:负责资源管理和作业调度;TaskTracker:定期向JobTracker汇报本节点的健康状况、资源使用情况以及

2018-01-31 21:56:03 551

原创 YARN架构

1 RM(ResourceManager)+N NM(NodeManager)ResourceManager的职责:一个集群active状态的RM只有一个,负责整个集群的资源管理和调度(1)处理客户端的请求(启动/杀死)(2)启动/监控ApplicationMaster(一个作业对应一个AM)(3)监控NM(4)系统的资源分配和调度NodeManager的职责:整个集群中有

2018-01-31 21:55:09 240

原创 Hadoop伪分布式安装步骤

Hadoop伪分布式安装步骤1)jdk安装解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app添加到系统环境变量: ~/.bash_profileexport JAVA_HOME=/home/hadoop/app/jdk1.7.0_79export PATH=$JAVA_HOME/bin:$PATH使得环境变量生效: source

2018-01-27 16:06:32 392

原创 分布式文件系统HDFS

一、什么是HDFS Hadoop实现了一个分布式文件系统,源自于Google的GFS论文二、HDFS的设计目标 非常巨大的分布式文件系统运行在普通廉价的硬件上易扩展、为用户提供性能不错的文件存储服务三、HDFS的架构1、Master(NameNode) 带N个Slaves(DataNode)NameNode管理文件系统的spaces和客户端访问DataNode管理数

2018-01-27 14:57:47 224

原创 环境搭建以及一些命令的记录

1、在CRT 上传文件只需在shell终端仿真器中输入命令“rz”,即可从弹出的对话框中选择本地磁盘上的文件,利用Zmodem上传到服务器当前路径下。下载文件只需在shell终端仿真器中输入命令“sz 文件名”,即可利用Zmodem将文件下载到本地某目录下。2、解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app3、启动hdfs,启动yarn,启动

2018-01-24 23:58:58 206

原创 【流水】启动hdfs的报错ssh: connect to host master port 22: Connection timed out

报错如下:[hadoop@hadoop000 sbin]$ ./start-dfs.sh18/01/24 22:46:38 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableSta

2018-01-24 23:07:45 6162 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除