Hadoop集群安装参考

最新推荐文章于 2021-06-14 11:08:44 发布
最新推荐文章于 2021-06-14 11:08:44 发布
阅读量1.1k 收藏 2
点赞数 1
分类专栏： hadoop 文章标签： Hadoop集群安装参考
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhu_xun/article/details/24960311
版权

Hadoop集群安装参考

一、说明

1.安装环境说明：

 操作系统为Centos 6.4,安装的hadoop 版本为0.20.2-cdh3u6

2.安装后的集群环境说明：

集群内共6台机器，分别为namenode、secondnamenode、jobtrack、datanode(三个节点)，参考如下：

namenode节点：                192.168.8.67（主机名：namenode）

secondnamenode节点：     192.168.8.65 （主机名：secondnamenode）

jobtrack节点：                    192.168.8.68（主机名：jobtrack）

datanode01 节点：              192.168.8.62 （主机名： datanode01 ）
datanode02 节点：              192.168.8.63 （主机名： datanode02 ）
datanode03 节点：              192.168.8.64 （主机名： datanode03 ）
3.安装用户为hadoop

4.安装目录为/opt/hadoop

二、安装

1.下载hadoop-0.20.2-cdh3u6.tar.gz

2.解压hadoop-0.20.2-cdh3u6.tar.gz并将解压后的文件夹重命名为hadoop

3.将hadoop文件夹分别以root身份上传至namenode、secondnamenode、jotrack、datanode01、datanode02、datanode03的/opt目录下

4.更改/opt/hadoop目录的所有者为hadoop用户

参考命令：sudo chown -R hadoop.hadoop /opt/hadoop

5.设置环境变量

参考如下：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

6.设置各个hadoop节点的配置文件，参考如下

分别进入每个节点机器的/opt/hadoop/conf目录下完成如下配置：

(1).namenode：

 a.core-site.xml：

<!--namenode上不需要进行关于lzo的配置-->
<configuration>
 <!-- 
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop/tmp/</value>
  </property>
-->
  <property>
    <name>io.file.buffer.size</name>
    <value>65536</value>
  </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://namenode:9000</value>
  </property>

  <property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
  </property>

  <property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
  </property>
</configuration>

b.hdfs-site.xml： 

<configuration>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>
<property>
  <name>dfs.name.dir</name>
  <value>/home/hadoop/hadoop/data/name</value>
    <final>true</final>
</property>
<!--
<property>
  <name>dfs.data.dir</name>
  <value>/home/hadoop/hadoop/data/data</value>
  <final>true</final>
</property>
-->
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.block.size</name>
  <value>134217728</value>
</property>
</configuration>

c.mapred-site.xml：

<configuration>

<property>
  <name>mapred.child.java.opts</name>
  <value>-Xmx1024m</value>
</property>

<property>
  <name>io.sort.mb</name>
  <value>500m</value>
</property>

<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>4</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>2</value>
    <final>true</final>
  </property>
<property>
    <name>mapred.job.tracker</name>
    <value>jobtrack:9001</value>
    <final>true</final>
  </property>

</configuration>
d.masters： 

#secondnamenode的地址（可以输入主机名或者输入ip）
secondnamenode
#192.168.8.65
e.slaves： 

#各datanode节点的主机名或ip地址
#192.168.8.62
#192.168.8.63
#192.168.8.64
datanode01
datanode02
datanode03
此项配置完成后，先别着急启动hadoop，好多东西还没设置，继续往下走.....

(2).secondnamenode

a.core-site.xml：

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop/tmp/</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>65536</value>
  </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://namenode:9000</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
  </property>
</configuration>
b.hdfs-site.xml： 

<configuration>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>
<property>
  <name>dfs.name.dir</name>
  <value>/home/hadoop/hadoop/data/name</value>
    <final>true</final>
</property>

<property>
  <name>dfs.data.dir</name>
  <value>/home/hadoop/hadoop/data/data</value>
  <final>true</final>
</property>

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

<property>
  <name>dfs.block.size</name>
  <value>134217728</value>
</property>

</configuration>
c.mapred-site.xml： 

<configuration>
<property>
  <name>mapred.child.java.opts</name>
  <value>-Xmx1024m</value>
</property>
<property>
  <name>io.sort.mb</name>
  <value>500m</value>
</property>
<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>4</value>
    <final>true</final>
  </property>
  <property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>2</value>
    <final>true</final>
  </property>
<property>
    <name>mapred.job.tracker</name>
    <value>jobtrack:9001</value>
    <final>true</final>
  </property>
</configuration>
d.masters和slaves无需配置

此项配置完成后，先别着急启动hadoop，好多东西还没设置，继续往下走.....
（3）.jobtrack

a.core-site.xml：

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop/tmp/</value>
  </property>

  <property>
    <name>io.file.buffer.size</name>
    <value>65536</value>
  </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://namenode:9000</value>
  </property>

  <property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
  </property>

  <property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
  </property>

</configuration>

b.hdfs-site.xml： 

<configuration>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>
<property>
  <name>dfs.name.dir</name>
  <value>/home/hadoop/hadoop/data/name</value>
    <final>true</final>
</property>

<property>
  <name>dfs.data.dir</name>
  <value>/home/hadoop/hadoop/data/data</value>
  <final>true</final>
</property>


<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>


<property>
  <name>dfs.block.size</name>
  <value>134217728</value>
</property>

</configuration>
c.mapred-site.xml： 

<configuration>
<property>
  <name>mapred.child.java.opts</name>
  <value>-Xmx1024m</value>
</property>
<property>
  <name>io.sort.mb</name>
  <value>512m</value>
</property>
<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>4</value>
    <final>true</final>
  </property>
  <property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>2</value>
    <final>true</final>
  </property>
<property>
    <name>mapred.job.tracker</name>
    <value>jobtrack:9001</value>
    <final>true</final>
</property>
<!--
<property>
  <name>mapred.task.timeout</name>
  <value>6000000</value>
</property>
-->
<!--设置map输出 -->
   <property>
       <name>mapred.compress.map.output</name>
       <value>false</value>
   </property>
   <property>
       <name>mapred.map.output.compression.codec</name>
       <value>com.hadoop.compression.lzo.LzopCodec</value>
   </property>
   <!--设置reduce输出 -->
   <property>
       <name>mapred.output.compress</name>
       <value>false</value>
   </property>
   <property>
       <name>mapred.output.compression.codec</name>
       <value>com.hadoop.compression.lzo.LzopCodec</value>
   </property>
</configuration>
d.masters文件无需配置

e.slaves：

#配置tasktrack（datanode01、datanode02、datanode03）节点IP或者各节点主机名：
#192.168.8.62
#192.168.8.63
#192.168.8.64
datanode01
datanode02
datanode03
此项配置完成后，先别着急启动hadoop，好多东西还没设置，继续往下走.....
（3）.datanode01

a.core-site.xml：

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop/tmp/</value>
  </property>

  <property>
    <name>io.file.buffer.size</name>
    <value>65536</value>
  </property>

  <property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>
  </property>

  <property>
    <name>io.compression.codec.lzo.class</name>
    <value>com.hadoop.compression.lzo.LzopCodec</value>
  </property>

  <property>
    <name>fs.default.name</name>
    <value>hdfs://namenode:9000</value>
  </property>

  <property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
  </property>

  <property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
  </property>


</configuration>
b.hdfs-site.xml： 

<configuration>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>
<!--
<property>
  <name>dfs.name.dir</name>
  <value>/home/hadoop/hadoop/data/name</value>
    <final>true</final>
</property>
-->
<property>
  <name>dfs.data.dir</name>
  <value>/home/hadoop/hadoop/data/data</value>
  <final>true</final>
</property>
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.block.size</name>
  <value>134217728</value>
</property>
</configuration>

c.mapred-site.xml：

<configuration>
<property>
  <name>mapred.child.java.opts</name>
  <value>-Xmx1024m</value>
</property>
<property>
  <name>io.sort.mb</name>
  <value>512m</value>
</property>
<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>4</value>
    <final>true</final>
  </property>
  <property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>2</value>
    <final>true</final>
  </property>
<property>
    <name>mapred.job.tracker</name>
    <value>jobtrack:9001</value>
    <final>true</final>
  </property>
<!--
 <property>
   <name>mapred.task.timeout</name>
   <value>6000000</value>
 </property>
-->
</configuration>
d.masters和slaves文件无需配置

（5）.其余的datanode节点（datanode02、datanode03）的配置和上面的datanode01的配置完全一致。


7.创建hadoop的数据存放目录：

在上面的配置中，

将dfs.name.dir(hdfs-site.xml)目录设置为~/hadoop/data/name

将dfs.data.dir(hdfs-site.xml)目录设置为~/hadoop/data/data

将hadoop.tmp.dir(core-site.xml)目录设置为~/hadoop/tmp

其中，

namenode需要设置dfs.name.dir，

datanode需要设置dfs.data.dir和hadoop.tmp.dir，

secondnamenode、jobtrack需要设置hadoop.tmp.dir，dfs.name.dir,dfs.data.dir。

建议：以上的配置可以不设置，如果不设置hadoop有自己的默路径，为了方便维护建议设置；

为了避免不确定性的配置问题，建议在每个节点都设置hadoop.tmp.dir，dfs.name.dir,dfs.data.dir

基于以上配置，需要在各个节点上创建如下目录：

mkdir ~/hadoop/data


8.设置节点间的无密码登陆：

分别设置：

namenode对secondnamenode、datanode01、datanode02、datanode03的无密码ssh登陆；

secondnamenode对datanode01、datanode02、datanode03的无密码ssh登陆；

jobtrack对datanode01、datanode02、datanode03的无密码ssh登陆。

建议：为了方便以后对hadoop集群的管理，最好设置成每一个节点都可以对其他所有节点的ssh无密码登陆。

如果不清楚如何设置ssh无密码登陆，请参考本人的博客(Linux栏目下)


9.设置节点的ip和主机名的映射关系：

配置 每个节点的/etc/hosts文件（datanode节点可以不需要配置）：

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.8.62 datanode01
192.168.8.63 datanode02
192.168.8.64 datanode03
192.168.8.65 secondnamenode
192.168.8.67 namenode
192.168.8.68 jobtrack
10.关闭每个节点的防火墙

11.启动hadoop集群：

在namenode节点上执行start-dfs.sh；

在jobtrack节点上执行start-mapred.sh



































jack-zhu
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群安装
Jasper的博客
07-27 251
Hadoop集群安装 机器 如果只有3台主机，可以按照如下规划来部署安装 IP server hadoop1（172.16.185.68） zookeeper journalnode namenode zkfc resourcemanager datanode hadoop2（172.16.185.69） zookeeper ...
Hadoop集群的安装与配置
x1never的博客
11-22 1323
Hadoop集群的安装与配置 一．软硬件准备： 1.软件： centos7光盘映像 Hadoop-3.2.1 jdk1.8.0_251（java配置环境） 虚拟机VMware Workstation Pro软件 2.硬件： pc机一台 虚拟机创建： 创建一台虚拟机，命名为cent88，安装centos7图形化操作系统。 卸载cent88上自带的java： rpm -qa|grep jdk yum -y remove java-1.8.0-openjdk-* 修改主机名，并修改主机名与IP地址
Hadoop常用下载地址
weixin_34050389的博客
02-21 140
组件地址: Apache Hadoop下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/ CDH Hadoop下载地址：http://archive.cloudera.com/cdh5/cdh/5/ Hive下载地址：http://apache.dataguru.cn/...
hadoop-0.20.2-cdh3u6
09-04
hadoop-0.20.2-cdh3u6 cloudera
hadoop-eclipse-plugin-0.20.2-cdh3u6.jar
06-08
最新CDH3u6在eclipse JUNO 下编译的插件，已测正常。 不保证在其他eclipse版本下正常工作。
hadoop CDH
热门推荐
小海的专栏
02-07 3万+
CDH 1、CDH简介 CDH：全称Cloudera’s Distribution Including Apache Hadoop　　CDH版本衍化　　hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。　　Cloudera公司的发行版，我们将该版本称为CDH(Cloudera Distribution Hadoop)。
Hadoop集群（第5期）_Hadoop安装配置
weixin_34060741的博客
05-16 590
1、集群部署介绍 1.1 Hadoop简介   　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 　　对于Hadoop的集群来讲，可以分成...
hadoop集群安装手册
04-07
本手册将详细介绍如何在5台虚拟机上手动安装和配置Hadoop集群，供初学者和专业人士参考。 ### 安装前准备 在开始安装前，确保所有服务器已安装最新操作系统，推荐使用Ubuntu或CentOS。检查硬件资源，至少需要分配...
Hadoop集群安装配置教程_Hadoop2.62
08-03
总之，这个教程详细阐述了Hadoop集群的搭建步骤，涵盖了从基础环境准备到集群启动的全过程，适合初学者和有经验的开发者参考。遵循教程，即使没有太多Linux或Hadoop经验的用户也能成功构建一个运行良好的Hadoop集群...
Hadoop——实验三：Hadoop集群安装部署
maochaofei的博客
06-14 2811
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 安装Hadoop集群 1.1 网络配置 1.2 SSH无密码登录配置 1.3 集群分布式环境配置 1.4 配置文件传输至节点 1.5 启动Hadoop集群 2. 完成分布式实例 2.1 在HDFS上创建用户目录 2.2 运行MapReduce作业分布式实例 一. 实验目的   掌握Hadoop集群集群安装部署技术。 二. 实验内容   参考：http://dblab.xmu.edu.cn/blog/install-hadoop-cluste
hadoop-0.20.2-cdh3u6.rar
05-03
hadoop-0.20.2-cdh3u6.rar
hadoop集群安装-鲁德性能测试.docx
最新发布
11-16
【Hadoop集群安装详解】 Hadoop是一个开源的分布式计算框架，广泛应用于大数据处理领域。要深入学习Hadoop集群数据分析技术，首先要搭建一个Hadoop集群环境。这个环境可以通过在多个物理机器或虚拟机上安装和运行...
Hadoop集群安装指南
03-06
Hadoop集群安装指南是一份详细的安装和配置教程，它适合于新手学习以及经验丰富的技术人员参考使用。该指南涵盖了安装VMWare Workstation 10、配置Ubuntu Kylin操作系统、安装和配置Hadoop集群等多个方面的内容。...
Hadoop发行版选择
每天积累一点，一年后你会发现，自己变化很大
01-22 734
目前Hadoop发行版非常多，有华为发行版、Intel发行版、Cloudera发行版（CDH）等，所有这些发行版均是基于Apache Hadoop衍生出来的，之所以有这么多的版本，完全是由Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布/销售。(http://www.apache.org/licenses/LICENSE-2.0)。 目前而言，绝大
Hadoop套装软件包
云计算?
03-21 196
如果你在使用Hadoop的同时，还想使用HBase，Hive等，一个个的安装实在是费时费力。一个打包的套装就解决了这个问题。下面介绍几个市面上最重量级公司的产品。 建议下载虚拟机版本进行测试或者评估。 Cloudera’s Distribution Including Apache Hadoop (CDH) CDH3 Update 3 Packaging To view the ...
编译CDH3 eclipse插件
沉底的石头
06-21 2616
编译CDH eclipse插件 我下载的CDH 版hadoop  hadoop-0.20.2-cdh3u6.tar.gz 由于Cloudera CDH默认没有提供eclipse插件，需要自己编译，而且它的插件和Apache hadoop插件不兼容。 所以得在网上找有没有人编译好的对应插件版本 如下： http://download.csdn.net/detail/aichaoguy/554
hadoop CDH3版和apache 0.20版本的对比
沉底的石头
06-20 2301
目前hadoop有2个开源版本，一个是Apache的版本，另一个是Cloudera在Apache的基础上进行优化的版本，也称为CDH3版。 两个版本的对比情况如下：   CDH3 版本 Apache 版本 描述 Hadoop Common ● ● The common utilities that sup
Hadoop升级步骤cdh3u3到cdh3u6
923723914
10-23 233
8月份的时候做了下hadoop的升级，小版本升级 参考文档：http://wiki.apache.org/hadoop/Hadoop_Upgrade 原文地址：http://blog.csdn.net/lxpbs8851/article/details/12968997 在此做一个记录： 从版本 hadoop-0.20.2-cdh3u3 升级到 hadoop-0.20.2-cdh3u6...
Hadoop 2.6.0分布式部署参考手册
Jack Zhu
12-22 7327
Hadoop 2.6.0分布式部署参考手册 关于本参考手册的word文档，可以到如下地址下载：http://download.csdn.net/detail/u012875880/8285323 1.环境说明 1.1安装环境说明 本列中，操作系统为Centos 7.0，JDK版本为Oracle HotSpot 1.7，Hadoop版本为Apache Hadoop 2.6.0
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值