- 博客(7)
- 收藏
- 关注
RSS订阅原创 YARN环境搭建
1）mapred-site.xml mapreduce.framework.name yarn2）yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle/etc/hadoop/slaves 配置的是从节点3) 启动YARN相关的进程sbin
2018-01-31 22:15:19
612
转载 YARN基础
YARN产生背景 Hadoop1.x中的MapReduce构成图如下：在Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：1个JobTracker带多个TaskTracker；JobTracker：负责资源管理和作业调度；TaskTracker：定期向JobTracker汇报本节点的健康状况、资源使用情况以及
2018-01-31 21:56:03
551
原创 YARN架构
1 RM（ResourceManager）+N NM（NodeManager）ResourceManager的职责：一个集群active状态的RM只有一个，负责整个集群的资源管理和调度（1）处理客户端的请求（启动/杀死）（2）启动/监控ApplicationMaster（一个作业对应一个AM）（3）监控NM（4）系统的资源分配和调度NodeManager的职责：整个集群中有
2018-01-31 21:55:09
242
原创 Hadoop伪分布式安装步骤
Hadoop伪分布式安装步骤1）jdk安装解压：tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app添加到系统环境变量： ~/.bash_profileexport JAVA_HOME=/home/hadoop/app/jdk1.7.0_79export PATH=$JAVA_HOME/bin:$PATH使得环境变量生效： source
2018-01-27 16:06:32
393
原创 分布式文件系统HDFS
一、什么是HDFS Hadoop实现了一个分布式文件系统，源自于Google的GFS论文二、HDFS的设计目标 非常巨大的分布式文件系统运行在普通廉价的硬件上易扩展、为用户提供性能不错的文件存储服务三、HDFS的架构1、Master（NameNode） 带N个Slaves（DataNode）NameNode管理文件系统的spaces和客户端访问DataNode管理数
2018-01-27 14:57:47
224
原创 环境搭建以及一些命令的记录
1、在CRT 上传文件只需在shell终端仿真器中输入命令“rz”，即可从弹出的对话框中选择本地磁盘上的文件，利用Zmodem上传到服务器当前路径下。下载文件只需在shell终端仿真器中输入命令“sz 文件名”，即可利用Zmodem将文件下载到本地某目录下。2、解压：tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app3、启动hdfs，启动yarn，启动
2018-01-24 23:58:58
206
原创 【流水】启动hdfs的报错ssh: connect to host master port 22: Connection timed out
报错如下：[hadoop@hadoop000 sbin]$ ./start-dfs.sh18/01/24 22:46:38 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableSta
2018-01-24 23:07:45
6165
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人