Hadoop集群搭建，配置

hdfs 集群 文件读写
yarm集群 为mapreduce 程序分配运算硬件资源

推荐三台：

manage-PC datanode-1 datanode-2

name node 端口9000 data node data node

resouce manager node manager node manager

1、关闭防火墙。
2、创建hadoop 用户。
命令 : useradd hadoop
设置密码： passwd hadoop:

3、安装java 环境 ：
1、去 http://www.oracle.com/technetwork/java/javase/downloads/index.html下载最新的jdk .rmp
2、执行命令rpm -ivh jdk-8u121-linux-x64.rpm

结果：

准备中… ################################# [100%]
正在升级/安装…
1:jdk1.8.0_121-2000:1.8.0_121-fcs ################################# [100%]
Unpacking JAR files…
tools.jar…
plugin.jar…
javaws.jar…
deploy.jar…
rt.jar…
jsse.jar…
charsets.jar…
localedata.jar…
配置java_home 环境变量。
4、下载hadoop http://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/ hadoop-2.6.4.tar.gz

解压 hadoop-2.6.4.tar.gz tar -zxvf hadoop-2.6.4.tar.gz -C apps/

5、配置hadoop: 5个地方

1、hadoop-env.sh    修改JAVA_HOME参数、
export JAVA_HOME=${JAVA_HOME} 修改为  export JAVA_HOME=/usr/java/jdk1.8.0_121
2、core-site.xml
<property>
<name>fs.defaultFS</name>
<value>manage-PC:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata</value>
</property>
  3、hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
  4、mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

6、免密码登入
在manage-PC 进行配置 ，配置manage-PC 到manage-PC,datanode-1 ，datanode-2 免密码登入。
ssh-keygen
ssh-copy-id datanode-1
ssh-copy-id datanode-2
ssh-copy-id manage-PC

7、配置批量脚本命令。
把所有datanode 所在的主机名写入/etc/hadoo/slaves文件夹。