Hadoop安装文档
备注:本文档借鉴地址 http://blog.csdn.net/ab198604/article/details/8250461
1:准备:
3台机机器(可以虚拟机)
主:
192.168.180.129 master
从:
192.168.180.130 slave2
192.168.180.131 slave1
jdk安装包
hadoop安装包
2:更改三台机器的名字(有些系统文件你的用户可以没权限访问,你可以切换到你的root用户下修改一下文件的权限 chmod u+w /etc/hosts)
Vi /etc/hosts 3台机器都需要配置
每台机器看一下网卡的对应的hostname 和 本地的名字是否一致 不一致的话修改一下
3:建立hadoop 运行账号
sudo groupadd hadoop //设置hadoop用户组
sudo useradd –s /bin/bash –d /home/hadoopmaster –m hadoopmaster –g hadoop –G root //添加一个hadoopmaster 用户,此用户属于hadoop用户组, 且具有root权限
sudo passwd hadoopmaster //设置用户hadoopmaster用户的密码
su hadoopmaster //切换到 hadoopmaster用户中
以上3台机器都需要进行以上步骤来完成hadoop运行账号建立的操作
4:配置ssh免密码登陆
Id_dsa.pub为公钥,id_dsa为私钥,紧接着将公钥文件复制成authorized_keys文件,这个步骤是必须的,过程如下:
另外两台机器同样的操作
单机回环ssh免密码登陆测试
即在单机结点上用ssh进行登录,看能否登录成功。登录成功后注销退出,过程如下:
第一次 可能会提示问你是否连接 输入 yes 就可以了
第二次 回环登陆的时候就不会再提示
让主结点(master)能通过SSH免密码登录两个子结点(slave)
为了实现这个功能,两个slave结点的公钥文件中必须要包含主结点的公钥信息,这样
当master就可以顺利安全地访问这两个slave结点了。操作过程如下:
//在slave 节点执行
命令:scp hadoopmaster@master:~/.ssh/id_dsa.pub ./master_dsa.pub
Scp 没有权限的时候 在 /etc/sudoers 新加 hadoopmaster ALL(ALL) ALL (前提是修改文件有编辑权限)
接着,将master结点的公钥文件追加至authorized_keys文件中,通过这步操作,如果不出问题,master结点就可以通过ssh远程免密码连接node1结点了。在master结点中操作如下:
第一次 可能会提示问你是否连接 输入 yes 就可以了
第二次 登陆的时候如果不在提示说明配置成功
slave2 节点同样的操作
表面上看,这两个结点的ssh免密码登录已经配置成功,但是我们还需要对主结点master也要进行上面的同样工作,这一步有点让人困惑,但是这是有原因的,具体原因现在也说不太好,据说是真实物理结点时需要做这项工作,因为jobtracker有可能会分布在其它结点上,jobtracker有不存在master结点上的可能性。
所以主节点也需要 对自己做一下免密码登陆认证 和 从节点的操作一下 最后测试
ssh master 能登陆上 说明成功了
5:安装jdk
去官网下载linux的jdk 注意 看自己系统是多少位的 我这里 用到的是32 位的所以下载时选择的是32位的安装包 86 代表的是32 位的
命令:uname -a
验证环境变量
然后下载hadoop安装包 解压
到目前为止,准备工作已经完成,下面开始修改hadoop的配置文件了,即各种site文件,文件存放在/hadoop/conf下,主要配置core-site.xml、hdfs-site.xml、mapred-site.xml这三个文件。
我这里用到用到的是 2.7.2 版本的
上面几个配置文件的地址 ./hadoop/etc/hadoop 下面
下载下来的安装包有可能有的文件没有 或者有的给了个 template 模板 没有的话 自己新建一个就好了
core-site.xml
hdfs-site.xml
mapred-site.xml
紧接着配置 hadoop-env.sh 新加
第一个是jdk的位置
第二个是hadoop的位置
6:配置master和slave 文件 有的版本下载下来可能没有 master 文件,自己新加一个就可以了
master文件中 配置一下 master就可以 之前我们配置的hosts 主机对应的 名字就是 master
slave配置 slave1 slave2 以为我们的从机器是两台,所以这块我没配置两个(每写一个换行)
7:向各个节点复制hadoop
命令:scp –r ./hadoop slave1
scp –r ./hadoop slave2
8:格式换 namenode
命令:hadoop namenode -format
注意:上面只要出现“successfully formatted”就表示成功了。
9:启动hadoop
10 用jps检验 各后台进程是否启动成功
从节点上也看一下
11:通过web页面查看集群情况 访问主节点的ip:/ 50070
温馨提示:如果本机访问不了虚拟机的地址话,把主节点的防火墙关掉就好了。
到这安装就完成了!
备注:本文档借鉴地址 http://blog.csdn.net/ab198604/article/details/8250461
1:准备:
3台机机器(可以虚拟机)
主:
192.168.180.129 master
从:
192.168.180.130 slave2
192.168.180.131 slave1
jdk安装包
hadoop安装包
2:更改三台机器的名字(有些系统文件你的用户可以没权限访问,你可以切换到你的root用户下修改一下文件的权限 chmod u+w /etc/hosts)
Vi /etc/hosts 3台机器都需要配置
每台机器看一下网卡的对应的hostname 和 本地的名字是否一致 不一致的话修改一下
3:建立hadoop 运行账号
sudo groupadd hadoop //设置hadoop用户组
sudo useradd –s /bin/bash –d /home/hadoopmaster –m hadoopmaster –g hadoop –G root //添加一个hadoopmaster 用户,此用户属于hadoop用户组, 且具有root权限
sudo passwd hadoopmaster //设置用户hadoopmaster用户的密码
su hadoopmaster //切换到 hadoopmaster用户中
以上3台机器都需要进行以上步骤来完成hadoop运行账号建立的操作
4:配置ssh免密码登陆
命令:ssh –keygen –t dsa –P ‘’ –f ~/.ssh/id_dsa
以上命令是产生公私密钥,产生目录在用户主目录下的.ssh目录中,如下:
Id_dsa.pub为公钥,id_dsa为私钥,紧接着将公钥文件复制成authorized_keys文件,这个步骤是必须的,过程如下:
命令:cat id_dsa.pub >> authorized_keys
另外两台机器同样的操作
单机回环ssh免密码登陆测试
即在单机结点上用ssh进行登录,看能否登录成功。登录成功后注销退出,过程如下:
第一次 可能会提示问你是否连接 输入 yes 就可以了
第二次 回环登陆的时候就不会再提示
让主结点(master)能通过SSH免密码登录两个子结点(slave)
为了实现这个功能,两个slave结点的公钥文件中必须要包含主结点的公钥信息,这样
当master就可以顺利安全地访问这两个slave结点了。操作过程如下:
//在slave 节点执行
命令:scp hadoopmaster@master:~/.ssh/id_dsa.pub ./master_dsa.pub
Scp 没有权限的时候 在 /etc/sudoers 新加 hadoopmaster ALL(ALL) ALL (前提是修改文件有编辑权限)
接着,将master结点的公钥文件追加至authorized_keys文件中,通过这步操作,如果不出问题,master结点就可以通过ssh远程免密码连接node1结点了。在master结点中操作如下:
第一次 可能会提示问你是否连接 输入 yes 就可以了
第二次 登陆的时候如果不在提示说明配置成功
slave2 节点同样的操作
表面上看,这两个结点的ssh免密码登录已经配置成功,但是我们还需要对主结点master也要进行上面的同样工作,这一步有点让人困惑,但是这是有原因的,具体原因现在也说不太好,据说是真实物理结点时需要做这项工作,因为jobtracker有可能会分布在其它结点上,jobtracker有不存在master结点上的可能性。
所以主节点也需要 对自己做一下免密码登陆认证 和 从节点的操作一下 最后测试
ssh master 能登陆上 说明成功了
5:安装jdk
去官网下载linux的jdk 注意 看自己系统是多少位的 我这里 用到的是32 位的所以下载时选择的是32位的安装包 86 代表的是32 位的
命令:uname -a
配置环境变量 在 /etc/profile 文件中 前提修改文件有编辑权限 HADOOP_HOME是配置的hadoop的环境变量
验证环境变量
然后下载hadoop安装包 解压
到目前为止,准备工作已经完成,下面开始修改hadoop的配置文件了,即各种site文件,文件存放在/hadoop/conf下,主要配置core-site.xml、hdfs-site.xml、mapred-site.xml这三个文件。
我这里用到用到的是 2.7.2 版本的
上面几个配置文件的地址 ./hadoop/etc/hadoop 下面
下载下来的安装包有可能有的文件没有 或者有的给了个 template 模板 没有的话 自己新建一个就好了
core-site.xml
hdfs-site.xml
mapred-site.xml
紧接着配置 hadoop-env.sh 新加
第一个是jdk的位置
第二个是hadoop的位置
6:配置master和slave 文件 有的版本下载下来可能没有 master 文件,自己新加一个就可以了
master文件中 配置一下 master就可以 之前我们配置的hosts 主机对应的 名字就是 master
slave配置 slave1 slave2 以为我们的从机器是两台,所以这块我没配置两个(每写一个换行)
7:向各个节点复制hadoop
命令:scp –r ./hadoop slave1
scp –r ./hadoop slave2
8:格式换 namenode
命令:hadoop namenode -format
注意:上面只要出现“successfully formatted”就表示成功了。
9:启动hadoop
10 用jps检验 各后台进程是否启动成功
从节点上也看一下
11:通过web页面查看集群情况 访问主节点的ip:/ 50070
温馨提示:如果本机访问不了虚拟机的地址话,把主节点的防火墙关掉就好了。
到这安装就完成了!