Hadoop安装说明

最新推荐文章于 2024-04-19 15:42:27 发布

Vovis

最新推荐文章于 2024-04-19 15:42:27 发布

阅读量349

点赞数

分类专栏：大数据hadoop/hbase 文章标签： hadoop

本文链接：https://blog.csdn.net/zhouchang3/article/details/53400665

版权

大数据hadoop/hbase 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

1、下载hadoop安装文件（hadoop-2.6.0-cdh5.5.0.tar.gz）并用二进制方式上传需要安装的主机。

2、解压hadoop-2.6.0-cdh5.5.0.tar.gz文件。（tar zxvf hadoop-2.6.0-cdh5.5.0.tar.gz）

3、在用户的环境变量文件中加入jar环境和hadoop的环境设置：（jar需要6及以上版本）

export JAVA_HOME=/usr/java/jdk1.7

export JRE_HOME=/usr/java/jdk1.7/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export HADOOP_HOME=/home/ekafka/hadoop-2.6.0-cdh5.5.0

PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH:$HOME/bin

export PATH

4、在$ HADOOP_HOME/etc/hadoop目录下修改hadoop-env.sh文件，添加jar环境：

export JAVA_HOME=/usr/java/jdk1.7

5、在$ HADOOP_HOME/etc/hadoop目录下修改core-site.xml文件：

<name>fs.default.name</name>

</property>

<name>hadoop.tmp.dir</name>

<value>/home/ekafka/hadoop-2.6.0-cdh5.5.0/tmp</value>

</property>

<name>fs.checkpoint.period</name>

The number of seconds between two periodic checkpoints.

</description>

</property>

<name>fs.checkpoint.size</name>

</property>

<name>hadoop.native.lib</name>

<value>false</value>

<description>Should native hadoop libraries, if present, be used.</description>

</property>

</configuration>

6、在$ HADOOP_HOME/etc/hadoop目录下修改hdfs-site.xml文件：

<name>dfs.namenode.name.dir</name>

<value>/home/ekafka/hadoop-2.6.0-cdh5.5.0/dfs/name</value>

</property>

<name>dfs.namenode.data.dir</name>

<value>/home/ekafka/hadoop-2.6.0-cdh5.5.0/dfs/data</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.http.address</name>

The address and the base port where the dfs namenode web ui will listen on.

If the port is 0 then the server will start on a free port.

</description>

</property>

<name>dfs.namenode.secondary.http-address</name>

</property>

</configuration>

7、在$ HADOOP_HOME/etc/hadoop目录下修改mapred-site.xml文件：（拷贝文件mapred-site.xml.template为mapred-site.xml）

<name>mapred.job.tracker</name>

</property>

</configuration>

8、在$ HADOOP_HOME/etc/hadoop目录下修改yarn-site.xml文件：

<name>yarn.resourcemanager.address</name>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

</property>

<name>yarn.resourcemanager.admin.address</name>

</property>

<name>yarn.resourcemanager.webapp.address</name>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

9、在$ HADOOP_HOME/etc/hadoop目录下修改httpfs-site.xml文件：

<name>dfs.http.address</name>

The address and the base port where the dfs namenode web ui will listen on.

If the port is 0 then the server will start on a free port.

</description>

</property>

10、在$ HADOOP_HOME/etc/hadoop目录下新建masters文件：（设置SecondaryNameNode主机）

app2.ecs.top

11、在$ HADOOP_HOME/etc/hadoop目录下修改slaves文件：（设置DataNode主机）

app2.ecs.top

app3.ecs.top

12、以上就算是配置好了一台机器的hadoop，把整个hadoop目录拷贝到其它需要作为datanode的主机上去，使用命令：

scp -r /home/ekafka/hadoop-2.6.0-cdh5.5.0 ekafka@app2.ecs.top:/home/ekafka

scp -r /home/ekafka/hadoop-2.6.0-cdh5.5.0 ekafka@app3.ecs.top:/home/ekafka

13、其他注意的：如果三台机器都完成，需要修改每台机器的/etc/hosts，添加三台机器的IP和对应机器名：

10.1.236.85 app1.ecs.top

10.1.236.86 app2.ecs.top

XXXX.XXXX.XXXX.XXXX app3.ecs.top

14、剩下的就是将一台namenode机器与2台datanode机器进行相互的无密码访问：

一共3台机器，app1.ecs.top – app3.ecs.top
使用ekafka用户登录，在每台机器上执行
ssh-keygen -t rsa -P ''
在每台机器上执行
cd ~/.ssh
复制其他机器的文件到本机的ssh目录，比如app1上要复制app2-3的，app2要复制app1,3的
第一行的scp需要交互，要单独复制执行
scp app2.ecs.top:/home/ekafka/.ssh/id_rsa.pub tmp
cat tmp >> authorized_keys
最后，在每台机器上执行
rm -fr tmp
chmod 0600 authorized_keys