AAA 扛鼎 传智播客 hadoop伪分布式安装笔记

所有的安装教程比如hbase均要参照传智播客的PPT进行安装

通过gedit  /etc/profile这个命令可以查看当前安装环境，文件都安装在哪里了，非常实用、

先把文件下载在要用到的路径，用tar 命令解压包

• tar –xvf file.tar  解压 tar包
• tar -xzvf file.tar.gz 解压tar.gz
• tar -xjvf file.tar.bz2   解压 tar.bz2
• tar –xZvf file.tar.Z   解压tar.Z
• unrar e file.rar 解压rar
• unzip file.zip 解压zip

前言：关闭防火墙的操作是通过一条简单的命令即可，关闭防火墙的自动运行是通过chkconfig iptables off实现的。

第一步：修改静态IP的时候，在centos桌面右上角的图标上，右键修改，注意IP地址前三位要与wmware的IP保持一致，如图所示，其中Gateway就为VMware默认安装IP地址。然后apply后，在dos下执行service network restart让其重新生效。

第二步：更改主机名，双击PieTTY 0.3.26.exe，输入上一步设置的IP地址，即可实现远程登录操作。登录后更改主机名有两种方式：一种是只针对当前会话，用命令hostname 主机名  然后查看主机名，直接用hostname就可以了。另外一种是通过修改配置文件vi   /etc/sysconfig/network。

然后通过命令vi /etc/hosts增加 IP及其主机名 ，如例：192.168.80.100  主机名

用过ping 主机名这个命令可以判断这个过程是否成功。

第三步：hadoop的进程之间通信使用ssh方式，需要每次都要输入密码，为了实现自动化操作，需要配置ssh的免密码登录方式。通过执行以下命令：cd ~ ，ssh-keygen -t rsa回车后，会提示三次输入信息，我们直接回车即可，然后进入密池文件夹，执行命令c .ssh/,  ls -l, cp id_rsa.pub authorized.pub.即可完成配置，如果所示

第四步：通过WinSCP这个软件将jdk,hadoop包上传到linux系统文件目录下，如果所示

第五步：安装hadoop，如果所示

1.hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/
2.core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop0:9000</value>
        <description>change your own hostname</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>  
</configuration>

3.hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

4.mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop0:9001</value>
        <description>change your own hostname</description>
    </property>
</configuration>

使用HDFS时，需要执行hadoop namenode -format就可以实现格式化操作。

执行命令start-all.sh启动，然后输入jps就可以看出hadoop启动的5个java进程，表明启动成功。