linux搭建hdfs环境

最新推荐文章于 2024-09-06 22:01:25 发布

zhenren12

最新推荐文章于 2024-09-06 22:01:25 发布

阅读量924

点赞数 1

文章标签： linux hadoop java jdk centos path

本文链接：https://blog.csdn.net/zhenren12/article/details/7768765

版权

最近在学习hadoop，这几天一直在配置hdfs，对linux不是很熟的我，在配置hdfs的过程中，出现了很多问题，有些也很纠结，在此总结下也记录下自己所做的努力！

首先介绍下环境，CentOS6.2 三台：

10.10.80.159 master

10.10.80.18 node1

10.10.80.82 node2

jdk必须的先安装，本人从网上下载的jdk-6u30-linux-i586-rpm.bin的1.6版本，下载到/usr/local/路径下，给予权限chmod 600 jdk-6u30-linux-i586-rpm.bin 并执行./jdk-6u30-linux-i586-rpm.bin，这样jdk已安装成功，再者就是配置环境变量,/etc/profile 内容如下：

export JAVA_HOME=/usr/java/jdk1.6.0_30
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPAT=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

这样jdk完成，java -version测试是否成功！

因为在hadoop的通信都是通过ssh，但ssh总是要输入密码，所以必须配置下使之master操作node下的文件而不用密码，一般ssh都已安装好，就算没有用yum直接安装，首先ssh-keygen生成一个公钥，连按两次回车，这样把密码设为空了，生成了id_rsa和id_rsa.pub，把id_rsa.pub复制到各个node下的/root/.ssh/下并命名为 authorized_keys，可以使用scp复制，scp /root/.ssh/id_rsa.pub node1:/root/.ssh/authorized_keys 这就要注意了，一定要记得先在 /etc/hosts 文件添加这三台机器的ip和域名如上！

接着下载hadoop压缩包hadoop-0.20.203.0rc1.tar.gz，这个直接解压到/usr/local/并改名为hadoop，hadoop需要配置的地方有：

这些文件全在 /usr/local/hadoop/conf （因为本人是把hadoop安装在/usr/local下哦）

首先 hadoop-env.sh 添加
export JAVA_HOME=/usr/java/jdk1.6.0_30 （有时候配置文件已经有直接把#去掉，路径改成自己的jdk安装路径）
core-site.xml 这些添加到configuration里面即可
<property>

<name>fs.default.name</name>

<value>hdfs://master:9000</value>

</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/hadooptmp</value>
    <description></description>
</property>

hdfs-site.xml

<property>
    <name>dfs.name.dir</name>
    <value>/usr/local/hadoop/hdfs/name</value>
    <description>namenode</description>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
    <description>datanode</description>
</property>

<name>dfs.replication</name>

mapred-site.xml

<name>mapred.job.tracker</name>

<value>master:9001</value>

</property>

<property>
    <name>mapred.local.dir</name>
    <value>/usr/local/hadoop/mapred/local</value>
    <description>tasktracker</description>
</property>

   <name>mapred.system.dir</name>
    <value>/tmp/hadoop/mapred/system</value>
    <description></description>
</property>
还有 masters文件写入master

slaves 写入

node1

node2

最后在 /etc/profile文件最后添加

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$PATH