Hadoop伪分布式安装
一、安装环境说明
1.本例中安装的hadoop版本为Hadoop 0.20.2-cdh3u6,操作系统为Centos 6.4 x64
2.请确保你已经安装了jdk(对于0.20.2版本的Hadoop建议安装jdk 6)
3.建议新建一个hadoop用户,本例中默认的安装用户为hadoop(当然你可以以任一用户的身份安装、运行hadoop,这一点无关紧要)
#adduser hadoop;#passwd hadoop
4.hadoop的安装目录为/opt/hadoop
5.请确保设置了ssh无密码登陆本机,具体设置方法可以参考http://blog.csdn.net/zhu_xun/article/details/19152555
6.请确保设置了本机ip地址和本主机名的映射关系(/etc/hosts)
二、安装
1.下载hadoop
可以到cloudera的官网下载,参考网址:
2.解压文件hadoop-latest.tar.gz:
tar -zxvf hadoop-latest.tar.gz
3.重命名hadoop-latest文件夹:
mv hadoop-latest hadoop
4.移动文件夹hadoop至安装目录:
mv hadoop /opt/
5.设置/opt/hadoop目录所有者为hadoop用户:
chown -R hadoop.hadoop /opt/hadoop
6.添加环境变量(~/.bashrc或者/etc/profile文件):
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
7.修改hadoop配置文件:
(1).conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
(2).conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(3).conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
三、测试
1.格式化hdfs:
hadoop namenode -format
2.启动 hadoop:
start-all.sh
3.通过jps查看hadoop各节点是否正常启动:
jsp
如果出现如下信息,则说明hadoop正确安装并启动成功
2761 TaskTracker
2794 Jps
2440 DataNode
2559 SecondaryNameNode
2642 JobTracker