hadoop2.5.1集群部署（完全分布式）

hadoop2.5完全分布式

环境介绍：

环境介绍：3台虚拟机安装centos6.464位、jdk1.7 64位、hadoop2.5.1 64位

 

主机配置规划

1． 修改主机名和/etc/hosts文件

1）修改主机名（非必要）

vi /etc/sysconfig/network  
HOSTNAME=m1

重启后生效。

2）/etc/hosts是ip地址和其对应主机名文件，使机器知道ip和主机名对应关系，格式如下：

修改/etc/hosts文件，增加如下地址映射：

192.168.0.108        m1
192.168.0.109        s1
192.168.0.110        s2

2．配置免密码登陆SSH

1）生成密钥：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  

以上是两个单引号。

2）将id_dsa.pub（公钥）追加到授权的key中：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  

3）将认证文件复制到其它节点上：

scp ~/.ssh/authorized_keys 192.168.0.109:~/.ssh/  
scp ~/.ssh/authorized_keys 192.168.0.110:~/.ssh/  

3）测试：

ssh s1  

3．各节点上安装jdk

1 ）选择的版本是 jdk-7u71-linux-x64.tar.gz ，
2 ）上传到 usr/local/download 用户目录下，添加执行权限

chmod u+x jdk-7u71-linux-x64.tar.gz  

4） 安装

 

tar –zvxf jdk-7u71-linux-x64.tar.gz–C /usr/local/program/  

 

重命名jdk为jdk1.7 (用mv命令)

 

5） 配置环境变量：vi /etc/profile加入以下三行

 

#JAVA_HOME  
export JAVA_HOME=/usr/local/program/jdk1.7  
export PATH=$JAVA_HOME/bin:$PATH  

5）执行source /etc/profile使环境变量的配置生效
6）执行java –version查看jdk版本，验证是否成功。

 

4. Hadoop安装

每台节点都要安装hadoop。上传hadoop-2.5.1.tar.gz到用户usr/local/download目录下。

1） 解压

 

tar -zvxf hadoop-2.5.1.tar.gz  -C/usr/local/program/

 

2） 添加环境变量：vi  /etc/profile，尾部添加如下

 

export JAVA_HOME=/usr/local/program/jdk1.7
exportHADOOP_HOME=/usr/local/program/hadoop-2.5.1
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
 
exportCLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
exportPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH  

设置立即生效：

 

source /etc/profile  

 

3） 修改Hadoop配置文件

（1） core-site.xml

<configuration>

      <property>

               <name>fs.defaultFS</name>

               <value>hdfs://m1:9000</value>

       </property>

       <property>

               <name>hadoop.tmp.dir</name>

               <value>file:/usr/local/program/hadoop_tmp</value>

       </property>

</configuration>  

（2）    hdfs-site.xml 

 

<configuration>

       <property>

               <name>dfs.replication</name>

                <value>1</value>

       </property>

       <property>

                <name>dfs.namenode.secondary.http-address</name>

               <value>m1:9001</value>

       </property>

       <property>

              <name>dfs.namenode.name.dir</name>

               <value>file:/usr/local/program/dfs/name</value>

       </property>

        <property>

               <name>dfs.datanode.data.dir</name>

               <value>file:/usr/local/program/dfs/data</value>

       </property>

       <property>

               <name>dfs.webhdfs.enabled</name>

                <value>true</value>

       </property>

</configuration> 

 

注：访问namenode的hdfs使用50070端口，访问datanode的webhdfs使用50075端口。要想不区分端口，直接使用namenode的IP和端口进行所有的webhdfs操作，就需要在所有的datanode上都设置hdfs-site.xml中的dfs.webhdfs.enabled为true。

（3） mapred-site.xml

<configuration>

       <property>

             <name>mapreduce.framework.name</name>

                <value>yarn</value>

      </property>

       <property>

             <name>mapreduce.jobhistory.address</name>

               <value>m1:10020</value>

       </property>

       <property>

               <name>mapreduce.jobhistory.webapp.address</name>

               <value>m1:19888</value>

       </property>

</configuration> 

jobhistory是Hadoop自带了一个历史服务器，记录Mapreduce历史作业。默认情况下，jobhistory没有启动，可用以下命令启动：

sbin/mr-jobhistory-daemon.sh start historyserver  

（4）    yarn-site.xml

<configuration>

<!-- Site specific YARN configurationproperties -->

      <property>

              <name>yarn.nodemanager.aux-services</name>

          <value>mapreduce_shuffle</value>

       </property>

       <property>

               <name>yarn.resourcemanager.address</name>

               <value>m1:8032</value>

       </property>

       <property>

              <name>yarn.resourcemanager.scheduler.address</name>

               <value>m1:8030</value>

        </property>

       <property>

               <name>yarn.resourcemanager.resource-tracker.address</name>

               <value>m1:8031</value>

       </property>

       <property>

               <name>yarn.resourcemanager.admin.address</name>

               <value>m1:8033</value>

       </property>

       <property>

               <name>yarn.resourcemanager.webapp.address</name>

               <value>m1:8088</value>

       </property>

</configuration>  

（5） slaves

 

S1  

S2

 

（6） 分别在hadoop-env.sh和yarn-env.sh中添加JAVA_HOME

 

export JAVA_HOME=/usr/local/program/jdk1.7  

 

5.运行Hadoop

1）格式化

hdfs namenode –format  

 

2） 启动Hadoop

 

start-dfs.sh   

start-yarn.sh  

 

也可以用一条命令：

 

start-all.sh  

 

3） 停止Hadoop

 

stop-all.sh  

 

4）jps查看进程

1.  7692 ResourceManager  

2.  8428 JobHistoryServer  

3.  7348 NameNode  

4.  14874 Jps  

5.  7539 SecondaryNameNode  

5 ）通过浏览器查看集群运行状态

（1）http://192.168.0.108:50070

（2）http://192.168.0.108:8088/

（3）192.168.0.108:19888

 

 

6. 运行Hadoop自带的wordcount示例

1）建立输入文件：

1.  vi wordcount.txt 

2.  输入内容为：

3.  hello you 

4.  hello me

5.  hello everyone 

2）建立目录

 

hadoop fs -mkdir /data/wordcount

hadoop fs –mkdir /output/ 

目录 /data/wordcount 用来存放 Hadoop 自带的 WordCount 例子的数据文件，运行这个 MapReduce 任务的结果输出到 /output/wordcount 目录中。

3）上传文件

 

hadoop fs -put wordcount.txt/data/wordcount/ 

 

4）执行wordcount程序

 

hadoop jar usr/local/program/Hadoop-2.5.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /data/wordcount /output/wordcount/  

 

5）查看结果

 

hadoop fs -text /output/wordcount/part-r-00000  

 

1.   [root@m1mydata]# hadoop fs -text /output/wordcount/part-r-00000

2.  everyone        1

3.  hello  3

4.  me     1

5.  you    1