hadoop伪分布搭建

准备工作

1.构建三个linux环境作为三个节点

2.三个节点间可相互通信

3.三个节点的IP和hostname绑定（不绑定也可以，直接用IP）

4.关闭所有节点防火墙（service iptables stop，本人在这里犯过错误，浪费好多时间）

开始搭建

一.安装jdk（三个节点均安装）

1.我用的是jdk-8u11-linux-x64.tar.gz，直接解压即安装

2.配置JAVA_HOME,/etc/profile文件中，添加

JAVA_HOME=java安装路径，如/opt/tool/jdk1.8
CLASSPATH=$JAVA_HONE/lib/
PATH=$PATH:$JAVA_HOME/bin:$PATH
保存，退出

3.让配置立即生效：source /etc/profile
4.验证java是否安装成功
java -version 命令,出现java信息及配置成功

二.安装hadoop及配置

1.我用的是hadoop-1.1.2.tar.gz，直接解压即安装（先在作为主节点的环境下操作）

2.修改配置文件

HDFS相关
core-site.xml

<configuration>
        <property>
              <name>fs.default.name</name> 
              <value>hdfs://node1:9000</value>
       </property>
       <property>
             <name>hadoop.tmp.dir</name> 
            <value>/opt/hdfs/tmp</value>
    </property>
</configuration>

fs.default.name是指NameNode结点的URL，由协议、主机名称、端口号组成，集群里的每一台机器都需要知道NameNode的地址。
hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它

hdfs-site.xml

<property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>

dfs.replication表示副本数目，不设置就默认为3，注意的是副本数一定是小于等于datanode节点数

slaves

192.168.......
192.168.......

配置datanode的结点地址

masters

192.168.......

配置secondnamenode的结点地址，注意，不要与namenode在一个结点上

hadoop-env.sh

配置JAVA_HOME

mapreduce相关
mapred-site.xml

<property>
        <name>mapred.job.tracker</name>
        <value>node3:9001</value>
    </property>

jobtracker的地址

3.将hadoop复制给其他两个节点

scp hadoop文件夹 用户名@hostname（比如root@node2）:要复制到的节点的存放hadoop的路径

4.在/etc/profile文件中，添加

HADOOP_HOME=hadoop安装路径，如java
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH  添加到path，可以使用hdfs的命令

三.配置免秘钥登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 生成秘钥
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将id_dsa.pub文件内容追加到authorized_keys
touch authorized_keys
scp 文件名  用户名：路径  如scp id_dsa.pub 用户名@hostname:~  复制本地文件到远程结点

此时，hadoop的伪分布已经搭建好了，在启动hadoop之前，我们需要先格式化namenode （hadoop namenode -format），然后，就可以进入到hadoop的bin文件夹下，执行start-all.sh(./start-all.sh)来启动hadoop。