Hadoop环境搭建

最新推荐文章于 2025-05-03 15:30:18 发布
最新推荐文章于 2025-05-03 15:30:18 发布
阅读量818 收藏 14
点赞数 16
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouwentao0520/article/details/147670504
版权

@[TOC]目录

前言

Hadoop定位

Hadoop 是一个开源的 分布式计算框架，专为处理 海量数据 而生。其核心定位是解决传统技术无法应对的大规模数据存储与计算问题，主要应用于以下场景：

  1. 大数据存储
    - 提供分布式文件系统（HDFS），支持 PB/EB 级数据的可靠存储。
  2. 离线批处理
    - 通过 MapReduce 模型实现高吞吐量的批量数据处理（如日志分析、ETL）。
  3. 生态基石
    - 作为大数据生态系统的核心，支持 Hive、HBase、Spark 等工具的底层数据管理。
    -

Hadoop核心优势

高容错性（Fault Tolerance）
HDFS 副本机制：默认每个数据块存储 3 个副本，即使部分节点故障，数据仍可恢复。
任务自动重试：MapReduce/YARN 自动重新分配失败的任务，确保作业完成。
适用场景：适用于硬件可靠性较低的廉价服务器集群。
水平扩展能力（Scalability）
存储扩展：通过增加 DataNode 节点，线性扩展存储容量。
计算扩展：添加 NodeManager 节点即可提升集群计算能力。
成本优势：无需购买高端硬件，使用普通 PC 服务器即可构建集群。
低成本（Cost-Effective）
开源免费：无需支付商业软件授权费用。
硬件成本低：依赖普通 x86 服务器而非高端存储设备。
技术普惠：降低企业进入大数据领域的门槛。
灵活的数据处理
支持多类型数据：结构化（Hive）、半结构化（JSON/XML）、非结构化（文本/图片/视频）。
生态工具丰富：通过 Hive 实现 SQL 查询，HBase 支持实时读写，Spark 加速迭代计算。
成熟的生态系统（*）
核心组件：HDFS（存储）、MapReduce/YARN（计算）、ZooKeeper（协调）。
扩展工具：
数据仓库：Hive、Impala
实时处理：Spark、Flink
数据迁移：Sqoop、Flume
机器学习：Mahout、Spark MLlib

  • 社区支持：Apache 顶级项目，拥有活跃的开发者社区和持续更新。

配置过程

单机模式

安装jdk
上传压缩包
上传到cd /opt下目录在这里插入图片描述解压

tar -zxvf jdk-8u181-linux-x64.tar.gz

在这里插入图片描述

将jdk1.8.0_187改名为jdk1.8

mv jdk1.8.0_181 jdk1.8

在这里插入图片描述

进入vi /etc/profile在末尾增加两行

export JAVA_HOME=/opt/jdk1.8 #填写自己的jdk路径 
export PATH=$JAVA_HOME/bin:$PATH

在这里插入图片描述

下载完成环境生效 查看版本

source /etc/profile

在这里插入图片描述
上传hadoop包并解压

tar -zxvf hadoop-3.3.6.tar.gz -C /opt/

在这里插入图片描述

改名

mv /opt/hadoop-3.3.6 /opt/hadoop

在这里插入图片描述

进入vim ~/.bashrc

在这里插入图片描述

使配置生效并查看hadoop版本

source ~/.bashrc
hadoop version

在这里插入图片描述
创建目录并写入内容

mkdir -p ~/hadoop-input

写入测试文本

echo "Hello World Hello Hadoop" > ~/hadoop-input/test.txt

在这里插入图片描述

执行wordcount

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar \
  wordcount ~/hadoop-input ~/hadoop-output

在这里插入图片描述
查看结果

cat ~/hadoop-output/part-r-00000

在这里插入图片描述
在这里插入图片描述
单机模式配置成功。

伪分布模式

环境准备

配置ssh免密登录

# 生成 SSH 密钥（如果已有密钥可跳过）
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

# 将公钥添加到授权列表
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# 测试免密登录本机
ssh localhost
# 输入 exit 退出

在这里插入图片描述
在这里插入图片描述

修改Hadoop配置文件

cd /opt/hadoop/etc/hadoop

编辑core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop-tmp</value>
  </property>
</configuration>

在这里插入图片描述

编辑 hdfs-site.xml
配置 HDFS 副本数（伪分布式设为 1）：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <!-- 启用 Web 访问接口 -->
  <property>
    <name>dfs.namenode.http-address</name>
    <value>localhost:9870</value>
  </property>
</configuration>

在这里插入图片描述

编辑 mapred-site.xml
指定 MapReduce 使用 YARN 框架

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

在这里插入图片描述

编辑 yarn-site.xml
配置 YARN 资源管理：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

在这里插入图片描述
编辑 Hadoop 环境配置文件

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"
export JAVA_HOME=/opt/jdk1.8  # 替换为你的实际路径

在这里插入图片描述

初始化HDFS

首次启动前需格式化 NameNode：

hdfs namenode -format

在这里插入图片描述

启动服务

./start-all.sh

在这里插入图片描述
查看
输入jps
在这里插入图片描述
伪分布式配置完成。

完全分布模式

服务器准备

准备三台服务器：
node1:192.168.157.136
node2:192.168.157.137
node3:192.168.157.138

服务器基本配置

关闭和禁用防火墙

systemctl stop firewalld && systemctl disable firewalld

在这里插入图片描述
禁用selinux

#编辑selinux
vi /etc/sysconfig/selinux

#修改配置为disabled
SELINUX=disabled

#重启
reboot

三台机子安装vim

yum -y install vim

在这里插入图片描述
安装java
安装 JDK 1.8+（Hadoop 3.x 需 Java 8 或 11）
卸载以前的包

# 查询已安装的 JDK 包
rpm -qa | grep 'java\|jdk\|gcj\|jre'

# 卸载指定包（替换为实际查询结果）
yum -y remove java*

安装jdk并解压

tar -zxvf jdk-8u181-linux-x64.tar.gz

在这里插入图片描述
删除jdk包

#删除jdk包
rm -rf jdk-8u181-linux-x64.tar.gz
#重新命名 
mv jdk1.8.0_181/ jdk1.8

在这里插入图片描述
配置环境变量

sudo vi /etc/profile


export JAVA_HOME=/opt/jdk1.8  #填写自己的jdk路径
export PATH=$JAVA_HOME/bin:$PATH

在这里插入图片描述
环境生效

source /etc/profile

检查

java -version

在这里插入图片描述

Hadoop基本配置

配置主机名和映射主机

修改主机名

vim /etc/hostname

在这里插入图片描述
映射主机

vim /etc/hosts

192.168.157.136 node1 node1.itcast.cn
192.168.157.137 node2 node2.itcast.cn
192.168.157.138 node3 node3.itcast.cn

在这里插入图片描述

重启

reboot

免密登录

#生成公钥和私钥
ssh-keygen    #四个回车

在这里插入图片描述

复制公钥

#复制公钥
 ssh-copy-id node1 、 ssh-copy-id node2、 ssh-copy-id node3

在这里插入图片描述
登录服务器

#登录服务器
 ssh node1
 ssh node2
 ssh node3
#退出登录
 exit

在这里插入图片描述

集群时间同步

安装ntp服务

#安装ntp服务
yum -y install ntpdate

在这里插入图片描述
三台机子都配置环境变量，并使其立即生效

#配置环境变量
echo 'export PATH=$PATH:/usr/sbin' >> ~/.bashrc  # 写入用户环境变量
source ~/.bashrc                        # 立即生效

#使用阿里云同步
ntpdate ntp4.aliyun.com

#验证
date

在这里插入图片描述
创建工作目录

#软件安装路径
mkdir -p /export/server 
#数据存储路径
mkdir -p /export/data
#安装包存放路径
mkdir -p /export/software

在这里插入图片描述

Hadoop安装

切换目录

cd /export/server

下载hadoop

wget https://mirrors.aliyun.com/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

解压删除包

tar -zxvf hadoop-3.3.6.tar.gz
rm -rf hadoop-3.3.6.tar.gz

在这里插入图片描述
进入hadoop

cd hadoop-3.3.6

在这里插入图片描述
配置环境

cd /export/server/hadoop-3.3.6/etc/hadoop
配置 hadoop-env.sh文件
vim  hadoop-env.sh

export JAVA_HOME=/opt/jdk1.8  
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_NAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

在这里插入图片描述

配置core-site.xml
vim core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.6</value>
  </property>
  <property>
    <name>hadoop.https.staticuser.user</name>
    <value>root</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
   <property>
    <name>fs.trash.interval</name>
    <value>1440</value>
  </property>
</configuration>

在这里插入图片描述

配置hdfs-site.xml
<configuration>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868</value>
  </property>
</configuration>

在这里插入图片描述

配置mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
  </property>
  
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
  </property>
  
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
</configuration>

在这里插入图片描述

配置yarn-site.xml
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
  </property>
  <property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
  </property>
  <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
  </property>
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>
  
</configuration>

在这里插入图片描述

配置workers
vim workers

node1.itcast.cn
node2.itcast.cn
node3.itcast.cn

在这里插入图片描述

配置path环境
vim /etc/profile

export HADOOP_HOME=/export/server/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述
在这里插入图片描述
配置生效并验证版本

source /etc/profile
hadoop version

在这里插入图片描述

初始化hadoop
hdfs namenode -format

在这里插入图片描述
node1:启动所有服务并查看系统中正在运行的进程

./start-all.sh
jps

在这里插入图片描述
node2:查看系统正在运行的进程
在这里插入图片描述
node3:查看系统正在运行的进程
在这里插入图片描述

web页面
http://192.168.157.136:9870

在这里插入图片描述
在这里插入图片描述
进入常用目录 文件浏览
在这里插入图片描述
进入yarn网页

http://192.168.157.136:8088

在这里插入图片描述
测试

hadoop fs -ls /
hadoop fs -mkdir /zjjxy34  #目录名可自拟
hadoop fs -ls /

在这里插入图片描述
会在该界面出现刚刚创建的目录
在这里插入图片描述
新建圆周率测试

cd /export/server/hadoop-3.3.6/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-3.3.6.jar pi 2 2

在这里插入图片描述
在这里插入图片描述

结论

伪分布式模式下，虽所有组件部署于单台机器，但各组件以独立进程运行，成功模拟了分布式环境。这种模式优势显著，在搭建方面，配置流程相对简便，极大降低了搭建成本与时间，仅需在一台机器上完成相关配置即可，对硬件资源要求低，在普通个人电脑上便能顺利搭建并运行。在功能验证与调试上，为开发人员提供了便利，可快速验证 Hadoop 相关功能及程序逻辑，如在测试 MapReduce 程序时，能便捷地观察程序运行过程、检查中间结果，快速定位逻辑错误，成为学习 Hadoop 原理与机制的理想选择，让初学者能在简单环境中逐步理解 Hadoop 的分布式理念。

然而，伪分布式模式局限性也较为明显。受限于单台机器的资源，其处理能力有限，无法应对大规模数据处理任务。在高并发场景下，单台机器的性能瓶颈会迅速显现，无法满足实际生产环境中对海量数据高效处理与高并发访问的需求。

完全分布式模式则截然不同，它构建于多台机器组成的集群之上，各节点各司其职，NameNode 与 ResourceManager 运行于主节点，负责管理元数据与计算资源调度；DataNode 与 NodeManager 分布在从节点，承担数据存储与具体任务执行工作。从配置角度看，该模式配置复杂，需考虑网络配置、节点间通信、资源分配等诸多因素，各节点的配置文件需精准设置且保持一致性，任何细微错误都可能导致集群运行异常。但在处理能力上，完全分布式模式优势突出，数据分布存储于多个节点，MapReduce 作业可在多台机器并行执行，能充分利用集群资源，对大规模数据集展现出强大的处理能力。实验中，在处理 TB 级别的数据时，完全分布式模式凭借并行计算优势，相比伪分布式模式，处理时间大幅缩短，展现出卓越的性能表现，在实际生产中，能为企业提供高可靠性与高可用性的数据处理服务，满足企业对海量数据处理的严苛需求。

史上最详细的Hadoop环境搭建
霍力强的专栏
10-10 44万+
GitChat 作者：鸣宇淳原文：史上最详细的Hadoop环境搭建关注公众号：GitChat 技术杂谈，一本正经的讲技术【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署A
3.Hadoop环境搭建之Hadoop的安装和配置
2401_83253656的博客
09-08 3232
创建目录name:mkdir /home/hadoop/hadoop-2.7.4/hdfs/name。创建目录data:mkdir /home/hadoop/hadoop-2.7.4/hdfs/data。到指定目录：cd /home/hadoop/hadoop-2.7.4/etc/hadoop。到指定目录：cd /home/hadoop/hadoop-2.7.4/etc/hadoop。创建目录hdfs:mkdir /home/hadoop/hadoop-2.7.4/hdfs。安装包需要提前准备好。
Hadoop环境搭建详细教程
你爱的程序员的博客
11-04 2872
（1）修改相应的配置文件（core-site.xml、hdfs-site.xml、yarn-site.xml） 进入。（2）配置java_home(yarn-env.sh、hadoop-env.sh、mapred-env.sh)（3）修改JAVA_HOME(yarn-env.sh、hadoop-env.sh、mapred-env.sh)（1）删除hadoop文件夹中的 data、logs文件夹（最后需要重新格式化）（2）修改core-site.xml文件（与前文伪分布式相同，此处不再介绍）
hadoop环境搭建
2301_80911580的博客
04-11 1404
了实现集群中，节点之间的信息交互，我们采用SSH的方式，可以让master节点无密码登录其他slave节点上。workers文件默认为localhost，即默认情况下，namanode和datanode都被部署在同一个节点上，而我们要做完全分布式Hadoop环境，所以，需要将workers中的内容修改为slave节点名称。在master节点上依次执行start-dfs.sh、start-yarn.sh等命令，可以分别在master节点和slave节点上看到对应调起的线程，用jps命令查看如下图所示；
Hadoop环境搭建（保姆级教学）
R.W.Y的博客
06-03 1万+
HADOOP环境搭建过程详解
最新Hadoop环境搭建流程
log1119的博客
08-13 4050
本文介绍了Hadoop环境搭建的基本流程，供学习参考和自检使用
Hadoop环境搭建步骤
qq_36314579的博客
08-26 3603
文章目录前言一、虚拟机安装二、安装JDK和Hadoop1.基本信息配置2.安装JDK和Hadoop三、安装Zookeeper集群四、Hadoop集群的高可用配置五、Hadoop集群的正常启动顺序总结 前言 Hadoop开发环境搭建 为了防止以后每次搭建的时候查看太多教程而导致时间无端消耗，本次重装环境自行进行过程记录。 一、虚拟机安装 基于VMware平台安装centos8，主要就是下载镜像安装打开就行，该过程较为简单不赘述。 二、安装JDK和Hadoop 1.基本信息配置   &.
虚拟机环境+Hadoop环境搭建
m0_51537642的博客
08-04 3338
虚拟机环境+Hadoop环境搭建
Hadoop环境搭建（全网最详细，保姆级教程）
热门推荐
m0_52931616的博客
07-08 2万+
搭建hadoop单机伪分布式环境
hadoop环境搭建.docx
07-29
4. 配置Hadoop环境是关键步骤，主要涉及以下几个文件： - `hadoop-env.sh`: 这个文件用于设置Hadoop相关的环境变量，如`JAVA_HOME`，应确保指向正确的JDK安装路径，例如`/home/tools/jdk1.8.0_221`。 - `hdfs-...
hadoop环境搭建资源
08-30
本资源包含Hadoop环境搭建所需的关键组件，主要为Hadoop 2.7.2和Java Development Kit (JDK) 8u181的Linux版本。 1. **Hadoop 2.7.2**: 这是Hadoop的一个稳定版本，它支持HDFS（Hadoop Distributed File System）和...
三个概念:DataBinding,Dependency Property 与DataTemplate
追赶时代的博客
04-30 606
数据绑定等三个特征
hadoop伪分布式模式
hnlucky的博客
04-30 1414
以下是 Hadoop的环境搭建步骤。伪分布式模式下，Hadoop 的各个组件（如 HDFS、YARN、MapReduce）以独立进程运行，但所有服务均部署在单台机器上，模拟多节点集群的行为。这是学习和开发中最常用的模式。：Linux（如 Ubuntu/CentOS）或 macOS（Windows 需通过 WSL 或虚拟机）。（1）完成的安装（JDK 和 Hadoop 解压配置）。单机模式可以参考本人博客：（2） 配置 SSH 免密登录（用于启动 Hadoop 服务）。
WPF TextBlock控件性能优化指南
冰茶的博客
04-29 1279
通过对TextBlock控件的性能优化，我们可以显著改善WPF应用的响应速度和资源使用效率。控件选择优化：为不同场景选择合适的文本控件属性设置优化：直接在TextBlock上设置属性，避免不必要的Run元素超链接优化：合并超链接，按需显示下划线数据绑定优化：避免绑定到Label.Content，选择合适的绑定模式渲染优化：冻结资源，批量创建，使用缓存长文本处理：合理使用TextWrapping和TextTrimming，避免不必要的自动断字滚动区域优化：使用虚拟化面板，启用延迟滚动。
DotNet 入门：(一) 环境安装
北桥苏的博客
04-29 527
本想用 Go 语言实现一个通过小爱同学操作电脑的，比如我对着手机说打开音乐，或调小音乐，电脑能做相应的处理。奈何我一时间没看懂，就想着用.Net 来试一下，于是就有了下面这篇文章。
Hadoop 单机模式（Standalone Mode）部署与 WordCount 测试
hnlucky的博客
04-28 1118
完成 JDK 和 Hadoop 的安装与配置。验证了 Hadoop 单机模式的基本功能（MapReduce 计算）。
hadoop存储数据文件原理
最新发布
爱酷码的博客
05-03 202
其他节点是DataNode（数据节点），负责存储实际的数据块。：当用户要读取文件时，客户端会向NameNode请求文件的位置信息，NameNode会返回数据块所在的DataNode列表。总的来说，Hadoop存储数据文件的实现原理是通过切块、分布、副本机制和容错机制来实现大规模数据的高可靠性和高可用性。默认情况下，每个数据块会有3个副本存储在不同的节点上，这样即使某个节点发生故障，数据仍然可以访问。：如果某个节点上的数据块损坏或丢失，HDFS会自动从其他节点上的副本中恢复数据，保证数据的完整性和可靠性。
Hadoop 环境搭建
01-06
### 如何搭建Hadoop环境 #### 准备工作 为了成功搭建Hadoop环境，需先准备好必要的软件和硬件资源。具体来说，需要安装VMware虚拟机并在此基础上安装CentOS 7版本的操作系统[^2]。 #### 安装Java环境 由于Hadoop基于Java开发，在配置Hadoop前必须确保已正确设置`JAVA_HOME`变量。这可以通过编辑`yarn-env.sh`, `hadoop-env.sh`, 和`mapred-env.sh`文件来完成。例如： ```bash export JAVA_HOME=/home/hadoop/software/jdk ``` 此命令应在上述提到的shell脚本中执行以确保所有Hadoop组件都能识别到正确的Java路径[^4]。 #### 配置Hadoop集群 进入Hadoop配置目录进行进一步设定： ```bash cd $HADOOP_HOME/etc/hadoop ``` 这里可以修改核心配置文件如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`等，以便适应具体的部署需求[^1]。 #### 节点规划 对于初学者而言，建议从简单的单节点伪分布式模式开始尝试；而对于更复杂的多节点集群，则至少需要准备三台已经配置好的虚拟机作为不同角色（NameNode, DataNode, ResourceManager等）的承载平台。 通过以上步骤能够建立起基本可用的Hadoop运行环境，后续可根据实际应用场景继续优化调整各项参数配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值