Hadoop集群搭建

最新推荐文章于 2024-06-18 16:41:13 发布
最新推荐文章于 2024-06-18 16:41:13 发布
阅读量1.8k 收藏 11
点赞数 1
分类专栏： Hadoop 文章标签： hadoop hdfs yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyk1111/article/details/124986351
版权

文章目录

一、Hadoop集群简介

Hadoop的核心组件

  • Hadoop HDFS（分布式文件存储系统）：解决海量数据存储
  • Hadoop YARN（集群资源管理和任务调度框架）：解决资源任务调度
  • Hadoop MapReduce（分布式计算框架）：解决海量数据计算

Hadoop集群包括两个集群：HDFS集群、YARN集群。两个集群逻辑上分离、通常物理上在一起。两个集群都是标准的主从架构集群。
在这里插入图片描述

  • 逻辑上分离：两个集群互相之间没有依赖、互不影响。
  • 物理上在一起：某些角色进程往往部署在同一台物理服务器上。
  • MapReduce是计算框架、代码层面的组件，没有集群之说。
    在这里插入图片描述

二、Hadoop部署方式

在这里插入图片描述

三、Hadoop源码编译

安装包、源码包下载地址：https://archive.apache.org/dist/hadoop/common/
为什么需要编译Hadoop源码?

  • 匹配不同操作系统本地库环境，Hadoop某些操作比如压缩、IO需要调用系统本地库（*.so | *.dll）
  • 修改源码、重构源码（加入Hadoop的相关依赖）

根据下载的Hadoop源码包当中BUILDING.txt文件所描述的内容，编译Hadoop需要的环境如下：
在这里插入图片描述
由图可知，编译Hadoop源码所需的环境较为复杂，此处我们使用Docker容器化技术来构建一个满足编译Hadoop的环境。好处如下：

  1. 容器内部的环境与主机的环境相互隔离，避免主机安装过多软件
  2. 容器中的环境可以反复使用，同时相应的Dockerfile文件也可以迁移到其他具有Docker的主机上进行快速搭建环境。

四、使用Docker编译Hadoop

Linux操作系统：Centos7
Hadoop版本：3.1.4
Docker版本：1.4.1及以上

安装Docker的步骤可以参考我的另一篇博客：《初识Docker》

4.1软件下载

①不编译native code和documentation

Create binary distribution without native code and without documentation:

mvn package -Pdist -DskipTests -Dtar -Dmaven.javadoc.skip=true

该情况下，仅需安装JDK 1.8，Maven 3.3 or later，ProtocolBuffer 2.5.0即可。

②编译native code和documentation

Create binary distribution with native code and with documentation:

mvn package -Pdist,native,docs -DskipTests -Dtar

除JDK 1.8，Maven 3.3 or later，ProtocolBuffer 2.5.0，还需要安装CMake 3.1 or newer，snappy。

详细内容可以参照源码包当中的BUILDING.txt文件。

以上软件根据构建要求的版本进行下载，否则将导致编译过程出错。

4.2创建Dockerfile文件

软件的版本如下：

  • JDK1.8
  • CMake-3.23.2
  • snappy-1.1.3
  • Maven-3.5.4

目录结构如图所示：
在这里插入图片描述

基于Centos7镜像，创建一个新的包含Hadoop编译所需环境的镜像。Dockerfile文件中的代码如下：

# 镜像来源(上面生成的本地镜像)
FROM centos:7

#定义变量
#定义工作目录
ARG work_dir=/export/software
#定义手动的软件所在的目录
ARG software_dir=./software

#目录挂载(将本地操作系统内的软件同步至容器中)
VOLUME ./software:$work_dir

# 定义进入容器的默认目录
WORKDIR $work_dir

# 配置 yum 源为 阿里源
# 安装编译 hadoop 所需的工具，清理安装包和缓存
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

# 复制 tar 包到镜像内
# 压缩包的名字根据个人下载的情况而定
ADD $software_dir/jdk-8u65-linux-x64.tar.gz $work_dir
ADD $software_dir/apache-maven-3.5.4-bin.tar.gz $work_dir
ADD $software_dir/cmake-3.23.2.tar.gz $work_dir
ADD $software_dir/protobuf-2.5.0.tar.gz $work_dir
ADD $software_dir/snappy-1.1.3.tar.gz $work_dir
ADD $software_dir/hadoop-3.1.4-src.tar.gz $work_dir

# 复制编辑脚本文件到镜像中
COPY ./start.sh $work_dir
COPY ./config.sh $work_dir
COPY ./compile.sh $work_dir
# # 设置脚本文件的可运行权限
RUN chmod +x $work_dir/config.sh
RUN chmod +x $work_dir/compile.sh

# 整个脚本，让他睡十年
# docker 容器想要在后台常驻，需要有一个前台常驻进程
RUN chmod +x  $work_dir/start.sh
CMD ["/usr/bin/bash","$work_dir/start.sh"]
# 每次进入容器更新其中的环境变量
ENTRYPOINT ["source","/etc/profile"]

4.3创建脚本

创建start.sh，该脚本的功能是让容器中一直存在一个线程，不至于容器启动后就自动终止。

# 一直睡眠，保证容器不会挂掉
/usr/bin/sleep 315360000

创建config.sh，该脚本文件的功能是在容器中下载相关依赖，同时编译安装上述的软件（已经挂载至容器），配置环境变量。

#!/bin/bash

# 安装编译依赖
yum install -y  gcc gcc-c++ make && \
        autoconf automake libtool curl lzo-devel zlib-devel openssl* ncurses-devel && \
        snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst

# 定义工作目录
work_dir="/export/software"

# 手动安装cmake
#yum卸载已安装cmake 版本低
yum erase cmake
#编译安装
cd $work_dir/cmake-3.23.2
./configure
make && make install

# 手动安装snappy
#卸载已经安装的
cd /usr/local/lib
rm -rf libsnappy*
#编译安装
cd $work_dir/snappy-1.1.3
./configure
make && make install

# 手动安装ProtocolBuffer
#编译安装
cd $work_dir/protobuf-2.5.0
./configure
make && make install

#配置工作目录
echo "work_dir=/export/software" >> /etc/profile

#配置JAVA环境
echo "export JAVA_HOME=$work_dir/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
" >> /etc/profile

#配置MAVEN环境
echo "export MAVEN_HOME=$work_dir/apache-maven-3.5.4
export MAVEN_OPTS='-Xms2G -Xmx4096m'
export PATH=:$MAVEN_HOME/bin:$PATH
" >> /etc/profile

#配置CMAKE环境
echo "export CMAKE_HOME=$work_dir/cmake-3.23.2" >> /etc/profile

#更新环境变量
source /etc/profile

#查看安装结果
cmake -version
ls -lh /usr/local/lib |grep snappy
protoc --version
java -version
mvn -v

创建compile.sh，该脚本文件的功能是在搭建好环境之后，一键编译。

#版本号可以手动传参
version=${1:-3.1.4}
#定义工作目录
work_dir="/export/software"

# 进入源代码目录
cd $work_dir/hadoop-$version-src

# 开始编译
echo -e "\n\ncompile hadoop $version..."
mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib

# 输出结果
if [[ $? -eq 0]]; then
 echo -e "\n\ncompile hadoop $version success!\n\n"
else
 echo -e "\n\ncompile hadoop $version fail!\n\n"

4.4构建镜像、容器

使用如下命令创建镜像：

docker build -t centos7-hadoop-compiler .

结果如图所示：
在这里插入图片描述
使用如下命令以交互式的方式进入容器：

docker run -it --name hadoop-compiler 容器的id /bin/bash

结果如下图所示：
在这里插入图片描述
我们可以看到挂载至容器内部的软件已经自动解压过了。

4.5编译Hadoop

脚本的执行顺序：

  1. bash config.sh
  2. bash compile.sh

注意：如果环境变量配置出现异常，可以手动编辑/etc/profile文件，将config.sh中的环境变量配置其中，并通过source /etc/profile命令刷新。
会执行比较长的时间。。。。。。。。。。。。。。。。。大约一小时。
在这里插入图片描述
编译后的文件在：/export/software/hadoop-3.1.4-src/hadoop-dist

编译成功后，拷贝编译好的包到宿主机，要先退出当前镜像，或者新开一个shell进程。

exit
docker cp 容器id:/export/software/hadoop-3.1.4-src/hadoop-dist/hadoop-3.1.4.tar.gz /export

最后在宿主机中查看文件
在这里插入图片描述

五、Hadoop集群安装

5.1集群角色规划

角色规划的准则

  • 根据软件工作特性和服务器硬件资源情况合理分配
  • 比如依赖内存工作的NameNode是不是部署在大内存机器上？

角色规划注意事项

  • 资源上有抢夺冲突的，尽量不要部署在一起
  • 工作上需要互相配合的。尽量部署在一起
服务器运行角色
node1namenode datanode resourcemanager nodemanager
node2secondarynamenode datanode nodemanager
node3datanode nodemanager

5.2 服务器基础环境准备

主机名（所有机器）

cat /etc/hostname
#node1.localadmin
hostname
node1.localadmin

Hosts映射（所有机器）

vim /etc/hosts
# 主机ip地址 node1 hostname名称
192.168.277.151 node1 node1.localadmin
192.168.277.152 node2 node2.localadmin
192.168.277.153 node3 node3.localadmin
……

防火墙关闭（所有机器）

systemctl stop firewalld.service   #关闭防火墙
systemctl disable firewalld.service #禁止防火墙开启自启

ssh免密登录（至少需要node1打通其他所有节点）

ssh-keygen #4个回车 生成公钥、私钥 
ssh-copy-id node1、ssh-copy-id node2、ssh-copy-id node3 #

集群时间同步（所有机器）

yum -y install ntpdate 
ntpdate ntp4.aliyun.com

JDK1.8安装（所有机器）

java -version
#java version "1.8.0_65"
#Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
#Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)

5.3上传安装包、解压安装包

创建统一工作目录（所有机器）

mkdir -p /export/server/    #软件安装路径
mkdir -p /export/data/      #数据存储路径
mkdir -p /export/software/  #安装包存放路径

上传、解压安装包（Node1）

hadoop-3.1.4.tar
tar -zxvf hadoop-3.1.4.tar -C /export/server/

5.4安装包目录结构

在这里插入图片描述

5.5编辑Hadoop配置文件

配置文件hadoop-env.sh

cd /export/server/hadoop-3.1.4/etc/hadoop/
vim hadoop-env.sh

# hadoop-env.sh
#配置JAVA_HOME
export JAVA_HOME=/export/server/jdk1.8.0_65
#设置用户以执行对应角色shell命令
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

配置文件lcore-site.xml

cd /export/server/hadoop-3.1.4/etc/hadoop/
vim core-site.xml

<!-- lcore-site.xml-->
<configuration>
    <!-- 默认文件系统的名称。通过URI中schema区分不同文件系统。-->
    <!-- file:///本地文件系统 hdfs:// hadoop分布式文件系统 gfs://。-->
    <!-- hdfs文件系统访问地址：http://nn_host:8020。-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://Node1的hostname:8020</value>
    </property>
    <!-- hadoop本地数据存储目录 format时自动生成 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/data/hadoop-3.1.4</value>
    </property>
    <!-- 在Web UI访问HDFS使用的用户名。-->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
</configuration>

配置文件hdfs-site.xml

cd /export/server/hadoop-3.1.4/etc/hadoop/
vim hdfs-site.xml

<!-- hdfs-site.xml-->
<!-- 设定SNN运行主机和端口。-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
        <value>Node2的hostname:9868</value>
</property>

配置文件mapred-site.xml

cd /export/server/hadoop-3.1.4/etc/hadoop/
vim mapred-site.xml

<!--mapred-site.xml-->
<!-- mr程序默认运行方式。yarn集群模式 local本地模式-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!-- MR App Master环境变量。-->
<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<!-- MR MapTask环境变量。-->
<property>
        <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<!-- MR ReduceTask环境变量。-->
<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

配置文件yarn-site.xml

cd /export/server/hadoop-3.1.4/etc/hadoop/
vim yarn-site.xml

<!--yarn-site.xml-->
<!-- yarn集群主角色RM运行机器。-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Node1的hostname</value>
</property>
<!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运行MR程序。-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 每个容器请求的最小内存资源（以MB为单位）。-->
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>512</value>
</property>
<!-- 每个容器请求的最大内存资源（以MB为单位）。-->
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
</property>
<!-- 容器虚拟内存与物理内存之间的比率。-->
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
</property>

配置文件workers

cd /export/server/hadoop-3.1.4/etc/hadoop/
vim workers

Node1的hostname
Node2的hostname
Node3的hostname
……

5.6分发同步安装包

在node1机器上将Hadoop安装包scp同步到其他机器。

 cd /export/server/
scp -r hadoop-3.1.4 root@node2:/export/server/
scp -r hadoop-3.1.4 root@node3:/export/server/
……

5.7配置Hadoop环境变量

在node1上配置Hadoop环境变量

 vim /etc/profile
export HADOOP_HOME=/export/server/hadoop-3.1.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

将修改后的环境变量同步到其他机器

scp /etc/profile root@node2:/etc/
scp /etc/profile root@node3:/etc/
……

重新加载环境变量，验证是否有效

source /etc/profile
hadoop #验证环境变量是否生效

5.8NameNode format（格式化操作）

首次启动HDFS时，必须对其进行格式化操作。
format本质上是初始化工作，进行HDFS清理和准备工作。

hdfs namenode -format

六、Hadoop集群启动

6.1手动逐个进程启停

每台机器上每次手动启动关闭一个角色进程。

#HDFS集群
hdfs --daemon start namenode|datanode|secondarynamenode
hdfs --daemon stop  namenode|datanode|secondarynamenode

#YARN集群
yarn --daemon start resourcemanager|nodemanager
yarn --daemon stop  resourcemanager|nodemanager

6.2shell脚本一键启停

在node1上，使用软件自带的shell脚本一键启动。
前提：配置好机器之间的SSH免密登录和workers文件。

#HDFS集群
start-dfs.sh 
stop-dfs.sh 

#YARN集群
start-yarn.sh
stop-yarn.sh

#Hadoop集群
start-all.sh
stop-all.sh

启动完毕之后可以使用jps命令查看进程是否启动成功。
Hadoop Web UI页面-HDFS集群

地址：http://namenode_host:9870
​
注意：其中namenode_host是namenode运行所在机器的主机名或者ip，如果使用主机名访问，别忘了在Windows配置hosts。

Hadoop Web UI页面-YARN集群

地址：http://resourcemanager_host:8088

​ 其中resourcemanager_host是resourcemanager运行所在机器的主机名或者ip，如果使用主机名访问，别忘了在Windows配置hosts。

为你暴走
关注
专栏目录
Hadoop大数据集群搭建（超详细）
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
尚硅谷hadoop3.x集群配置笔记及常见错误解决方式
m0_51404279的博客
10-24 4536
1.搭建集群准备工作 总体流程 准备3台客户机（关闭防火墙、静态IP、主机名称） 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 一、模板虚拟机的搭建 配置要求：IP地址192.168.10.100**、主机名称hadoop100、内存4G、**硬盘50G（内存硬盘大小根据电脑配置自行更改） 关于是否安装桌面：未安装桌面的版本需要要执行以下命令,用于配置工具包集合，包含ifconfig等命令以及软件...
Hadoop集群搭建(简单版)
最新发布
weixin_62886691的博客
06-18 643
(3)创建虚拟机,选择自定义,选择稍后安装操作系统,然后都默认,这里选择的是vm16,用的centos17。(2).打开控制面板,在程序与功能,启动或关闭Windows功能中,查看是否选中虚拟机平台。(1).开始时检查电脑是否虚拟化,进入任务管理器,性能,查看CPU,查看是否虚拟化。先不勾使用DHCP服务,进入nat设置,将网关ip最后一个数字默认设置为2,(5).进入控制面板,网络与共享,选择更改适配器,选择vmnet8修改设置。(4).配置网络,进入vm的编辑,虚拟网络编辑器,更改设置进入管理员模式。
Hadoop详细集群搭建
RomanyK的博客
03-16 1万+
Hadoop详细安装 环境：在虚拟机上，或者租一个服务器（用学生证可以认证白嫖喔，阿里云服务器等）
Hadoop集群搭建详细教程
m0_65029172的博客
07-27 3604
Hadoop集群搭建详细教程
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
hadoop集群搭建文档资料
11-15
以上内容是Hadoop集群搭建的基础步骤和关键知识点，具体的实施过程中可能需要根据实际环境进行调整。提供的文档资料应详细记录了每一步的操作，帮助读者理解和实践Hadoop集群的搭建。通过这份文档，你可以学习到...
hadoop集群搭建教程
03-07
在虚拟机上面搭建hdfs 集群亲测可用 记得 修改ip地址就行
Hadoop集群搭建详细简明教程
05-16
本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界，了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目，其核心包括两个主要组件：Hadoop Distributed File ...
hadoop集群搭建步骤
01-10
该文档提供了linux环境中搭建hadoop集群（大数据）的步骤，个人认为比较详细，供大家学习
Hadoop集群的搭建（全网最详细，看了就会）
m0_74343117的博客
08-24 4375
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。在搭建之前请一定要确保Hadoop集群搭建的前置准备已经完成，详细内容可以参考我的这篇文章。Hadoop安装包链接：https://pan.baidu.com/s/12R1q8ygEnosP9pVbX5rvxg提取码：LZZY。
搭建hadoop集群
qq_44715376的博客
05-24 3410
搭建hadoop集群
Hadoop集群的搭建，巨详细的过程,一步步来必成
weixin_68251022的博客
06-02 6382
查看/etc/sysconfig/network-scripts/ifcfg-ens33配置文件的内容。不同于Windows系统采用菜单方式修改网络配置，Linux系统的网络配置参数是写在配置文件里的，ifcfg-ens33是CentOS 7.8版本的Linux系统中的网络配置文件，可以设置IP地址、子网掩码等网络配置信息。
hadoop 集群搭建（详细版）
yujinlong2002的博客
03-16 1885
hadoop 大户据平台的搭建，内容自认为比较详细
Hadoop集群搭建（超级超级详细）
热门推荐
皮埃尔的博客
04-28 3万+
Hadoop集群搭建（超级超级详细）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值