03-Hadoop安装

最新推荐文章于 2024-09-22 20:08:28 发布
最新推荐文章于 2024-09-22 20:08:28 发布
阅读量331 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hadoop big data hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanlijuan2015/article/details/121027389

一、Hadoop 的安装有三种方式

  • 单机模式：直接解压，只支持MapReduce的测试，不支持HDFS，一般不用。

  • 伪分布式模式：单机通过多进程模拟集群方式安装，支持Hadoop所有功能。
    ​ 优点：功能完整。
    ​ 缺点：性能低下。学习测试用。

  • 完全分布式模式：集群方式安装，生产级别。

  • HA：高可用

二、伪分布式部署

1 初始环境：

JDK，JAVA_HOME，配置hosts，关闭防火墙，配置免密登录等。

注意：我们只将其安装在hadoop01节点上。

2 上传安装包并解压

安装包下载地址
链接：https://pan.baidu.com/s/1EffVCHanpJd-l6jKMi-lEw
提取码：xwzf

上传安装包到tar -xvzf hadoop-2.7.7 到/opt/softwares/ 目录下
并解压 tar -xvzf hadoop-2.7.7.tar.gz -C /opt/servers/

3 修改配置文件

3.1 修改hadoop-env.sh

vim /opt/servers/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

修改

export JAVA_HOME=/opt/servers/jdk1.8.0_65
export HADOOP_CONF_DIR=/opt/servers/hadoop-2.7.7/etc/hadoop

3.2 修改 core-site.xml

核心配置文件：

  • namenode的所在位置
  • 数据的存储位置
vim /opt/servers/hadoop-2.7.7/etc/hadoop/core-site.xml

增加namenode配置、文件存储位置配置：粘贴代码部分到标签内

<property>
<!--用来指定hdfs的老大，namenode的地址-->
<name>fs.default.name</name>
<value>hdfs://hadoop01:8020</value>
</property> 

<property>
<!--用来指定hadoop运行时产生文件的存放目录-->  
<name>hadoop.tmp.dir</name>
<value>/opt/servers/hadoop-2.7.7/tmp</value>
</property>

3.3 修改 hdfs-site.xml

  • 设置副本数
  • 设置访问权限
vim /opt/servers/hadoop-2.7.7/etc/hadoop/hdfs-site.xml

配置包括自身在内的备份副本数量到标签内

<property>
<!--指定hdfs保存数据副本的数量，包括自己，默认为3-->
<!--伪分布式模式，此值必须为1-->
<name>dfs.replication</name>
<value>1</value>
</property>
 
<!--设置hdfs操作权限，false表示任何用户都可以在hdfs上操作文件-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

3.4 修改 mapred-site.xml

  • mapreduce执行环境，任务

说明：在/opt/servers/hadoop-2.7.7/etc/hadoop的目录下，只有一个mapred-site.xml.template文件，复制一个。

cp mapred-site.xml.template mapred-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/mapred-site.xml

配置mapreduce运行在yarn上：粘贴高亮部分到标签内

<property> 
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

3.5 修改 yarn-site.xml

  • resourcemanager所在节点位置
  • nodemanager获取数据的方式
vim /opt/servers/hadoop-2.7.7/etc/hadoop/yarn-site.xml

配置：粘贴高亮部分到标签内

<property>
<!--指定yarn的老大resourcemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>

<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

3.6 修改slaves

vim /opt/servers/hadoop-2.7.7/etc/hadoop/slaves

修改

hadoop01

3.7 配置hadoop的环境变量

vim /etc/profile

export HADOOP_HOME=/opt/servers/hadoop-2.7.7
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效 source /etc/profile

环境变量配置完成，测试环境变量是否生效 echo $HADOOP_HOME

执行 hadoop 或 hadoop version

4 启动

4.1 初始化

hdfs namenode -format

在这里插入图片描述

4.2 启动

start-all.sh  #启动所有服务

# jps查看启动的进程

单独启动一个服务

start-dfs.sh  #启动hdfs服务
start-yarn.sh #启动yarn服务
hadoop-daemon.sh start namenode

4.3 停止

stop-all.sh

4.4访问浏览器

windows的浏览器中访问 http://hadoop01:50070/
在这里插入图片描述
安装成功

4.5 安装失败

如果没有成功（进程数不够）
1.stop-all.sh 停掉hadoop所有进程
2.删掉hadoop2.7.7下的tmp文件
3.hdfs namenode -format 重新初始化（出现successfully证明成功），如果配置文件报错，安装报错信息修改相应位置后重新执行第二步。
4.start-all.sh 启动hadoop

三、完全分布式部署

安装环境服务部署规划

服务器IP192.168.65.101192.168.65.102192.168.65.103
NameNode
HDFS
DataNodeDataNodeDataNode
YARNResourceManager
NodeManagerNodeManagerNodeManager
MapReduceJobHistoryServer

先在第一台机器hadoop01进行部署

注意：如果已安装伪分布模式，先删除格式化后生成的数据文件，其他请略过。

执行命令停掉所有服务 stop-all.sh
删除tmp目录 rm -rf tmp

1进入目录

cd /opt/servers

2 上传安装包并解压

tar -xvzf hadoop-2.7.7.tar.gz -C ../servers/

3 修改配置文件

位置：/opt/servers/hadoop-2.7.7/etc/hadoop

3.1修改hadoop-env.sh

vim /opt/servers/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

修改

export JAVA_HOME=/opt/servers/jdk1.8.0_65
export HADOOP_CONF_DIR=/opt/servers/hadoop-2.7.7/etc/hadoop

3.2 修改 core-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/core-site.xml

增加namenode配置、文件存储位置配置：粘贴代码部分到标签内

<property>
<!--用来指定hdfs的老大，namenode的地址-->
<name>fs.default.name</name>
<value>hdfs://hadoop01:8020</value>
</property> 
<property>
<!--用来指定hadoop运行时产生文件的存放目录-->  
<name>hadoop.tmp.dir</name>
<value>/opt/servers/hadoop-2.7.7/tmp</value>
</property>

3.3 修改 hdfs-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
  • 配置包括自身在内的备份副本数量到标签内
<property>
<!--指定hdfs保存数据副本的数量，包括自己，默认为3-->
<!--伪分布式模式，此值必须为1-->
<name>dfs.replication</name>
<value>2</value>
</property>
<!--设置hdfs操作权限，false表示任何用户都可以在hdfs上操作文件-->
 <property>
<name>dfs.permissions</name>
<value>false</value>
</property>

3.4 修改 mapred-site.xml

说明：在/opt/servers/hadoop-2.7.7/etc/hadoop的目录下，只有一个mapred-site.xml.template文件，复制一个。

cp mapred-site.xml.template mapred-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/mapred-site.xml

配置mapreduce运行在yarn上：粘贴高亮部分到标签内

<property> 
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

3.5 修改 yarn-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/yarn-site.xml
  • 配置：粘贴高亮部分到标签内
<property>
<!--指定yarn的老大resourcemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

3.6 修改slaves

vim /opt/servers/hadoop-2.7.7/etc/hadoop/slaves

修改

hadoop01
hadoop02
hadoop03

3.7 配置hadoop的环境变量

vim /etc/profile

export HADOOP_HOME=/opt/servers/hadoop-2.7.7
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效

source /etc/profile

环境变量配置完成，测试环境变量是否生效

echo $HADOOP_HOME

3.8 分发文件到hadoop02、hadoop03服务器

cd /opt/servers/
scp -r hadoop-2.7.7/ hadoop02:$PWD
scp -r hadoop-2.7.7/ hadoop03:$PWD

3.9 hadoop02、hadoop03服务器配置hadoop的环境变量

vim /etc/profile

export HADOOP_HOME=/opt/servers/hadoop-2.7.7
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效

source /etc/profile

环境变量配置完成，测试环境变量是否生效

echo $HADOOP_HOME

4 启动

4.1 初始化

hdfs namenode -format

4. 2 启动

start-all.sh

4.3 停止

stop-all.sh

4.4 测试

jps

4.5 停止服务

stop-all.sh

4.6 补充：可以按照组件启动服务

start-dfs.sh
start-yarn.sh

也可以单独启动一个服务

在主节点上使用以下命令启动 HDFS NameNode：
hadoop-daemon.sh start namenode 
在每个从节点上使用以下命令启动 HDFS DataNode： 
hadoop-daemon.sh start datanode 
在主节点上使用以下命令启动 YARN ResourceManager： 
yarn-daemon.sh  start resourcemanager 
在每个从节点上使用以下命令启动 YARN nodemanager： 
yarn-daemon.sh start nodemanager

5 访问浏览器

windows的浏览器中访问
hdfs集群访问地址
http://hadoop01:50070/
yarn集群访问地址
http://hadoop01:8088/
安装成功！

四、hadoop集群初体验

1 HDFS 使用初体验

从Linux 本地上传一个文本文件到 hdfs 的/test/input 目录下

hadoop fs -mkdir -p /test/input
hadoop fs -put README.txt /test/input

在这里插入图片描述

2 mapreduce程序初体验

在 Hadoop 安装包的

hadoop2.7.7/share/hadoop/mapreduce 下有官方自带的mapreduce 程序。我们可以使用如下的命令进行运行测试。

示例程序jar:

 hadoop-mapreduce-examples-2.7.7.jar

计算圆周率:

hadoop jar /opt/servers/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 2 5

关于圆周率的估算，感兴趣的可以查询资料 Monte Carlo 方法来计算 Pi 值。

Hadoop三种模式安装(Linux)
little_cookie_a的博客
05-19 260
一、单机模式 安装jdk 下载地址 rz 上传 tar -zxvf 文件名 解压文件*[记得删除安装包]* 配置环境 vi /etc/profile #JAVA_HOME export JAVA_HOME=jdk路径 export PATH=PATH:{PATH}:PATH:{JAVA_HOME}/bin 或 JAVA_HOME=jdk路径 CLASSPATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/dt.jar:JAVAH​OME/lib/dt.jar:JAVA_HOME
Hadoop三种安装模式
热门推荐
liumm0000的专栏
10-28 2万+
Hadoop三种安装模式：单机模式，伪分布式，真正分布式 一 单机模式standalone 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守
Hadoop——三种模式安装教程
weixin_39025328的博客
09-23 369
集群搭建 本地模式 本地模式，也称为是单机版本。主要是为了测试使用的，基本不需要进行配置。 以下的安装、配置，都在1节点上完成！ 1. 上传Hadoop的二进制文件安装包到/root/data/software中 2. 将二进制文件解压安装到/usr/local下 tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/ 重命名这个文件夹，去掉版本号，为了方便后面的使用 mv /usr/local/hadoop-2.7.6 /usr/local/had
Hadoop三种模式安装教程(详解)
m0_67401746的博客
04-03 1120
一、预备 安装java环境，jdk1.8.0_171 首先去Oracle下载jdk，复制到虚拟机 root@hadoopmaster module]# pwd /opt/module [root@hadoopmaster module]# ll total 186424 drwxr-xr-x. 8 root root 4096 Mar 28 17:18 jdk1.8.0_171 -rwxrw-rw-. 1 root root 190890122 Jun 1 06:10 jdk-8u171-lin
hadoop三种模式搭建安装-vbox-openEuler、centos
Siobhan_Mxin的博客
03-09 2435
Hadoop三种模式的安装搭建（单机模式、伪分布模式、完全分布式）
Hadoop系统应用之安装---Hadoop集群安装配置和详细搭建过程
m0_57464618的博客
03-09 1996
Hadoop集群安装配置和详细搭建过程
Spark 新版本（ spark-3.0.1-bin-hadoop3.2）本地部署步骤
bwf317的博客
12-22 2437
准备工作：下载新版本（建议使用国内镜像站下载，例如清华大学镜像站等） 部署安装步骤如下： 1.上传压缩包并解压 ，然后进入spark-3.0.1-bin-hadoop3.2/conf/目录修改配置文件 修改 spark-env.sh.template 名 ：mv spark-env.sh.template spark-env.sh 修改 slaves.template 名 ：mv slaves.template slaves 2.在spark-3.0.1-bin-hadoo...
麒麟操作系统-03-Hadoop3.5.5安装与部署
Jason1511的博客
06-01 1227
虚拟机也可以，但是要确保运行内存是够用的，建议主节点node1给4G，其他最少2G。注意修改ip们可以参照我的另一篇博文：http://t.csdn.cn/6ohFp。下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5/注意：以上的配置都是些简单配置，很多参数都是可以根据情况去修改的，包括端口号。清华源下载的快，点进去选择 hadoop-3.3.5.tar.gz 下载，674M的，不要选择错了。
Hadoop之“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform“问题解决办法
sinat_40875078的博客
08-22 1991
如上面两个图所示，每次启动hdfs或者使用hdfs命令的时候总是会出现警告WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable。对于一个码农来说这是不可接受的。 有很多大神在博客中给出了集中解决办法，但是个人都觉得相对复杂。本人通过多次阅读了hadoop官方文档，了解到出现这一警告是因为hadoop/..
hadoop离线day03--Hadoop HDFS
weixin_54527017的博客
05-25 850
hadoop离线day03--Hadoop HDFS 目录 hadoop离线day03--Hadoop HDFS 今日内容大纲 Apache HDFS入门 概念 HDFS重要特性 分块存储 副本机制 HDFS shell操作 命令 shell常见命令操作 文件限额操作 相关的命令 HDFS工作机制 读写流程图见画图。 NameNode与DataNode通信机制 HDFS Java API 核心类 HDFS辅助工具 跨集群复制数据 distcp（distributed
Hadoop安装
cingdy0124的博客
09-22 2514
Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，分布式模式。
Hadoop自学笔记（四）安装Hadoop
陈浩的自学笔记
04-24 1750
Hadoop安装在一台机器上搭建实验环境教程
hadoop基础和相关环境
weixin_52033496的博客
12-02 721
Hadoop 一· 简介：是一个开源的分布式计算和存储框架，为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集，并且支持在单台计算机到几千台计算机之间进行扩展。并且Hadoop使用Java开发所以可爱在多种不同硬件上部署和使用。作用就是在多计算机集群环境中营造一个统一而稳定的存储和计算环境，并能为其他分布式应用服务提供平台支持。 二· 1相关运行环境:由于 Hadoop 是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配
Hadoop学习笔记(2) ——解读Hello World
weixin_33800593的博客
07-22 161
Hadoop学习笔记(2) ——解读Hello World 上一章中，我们把hadoop下载、安装、运行起来，最后还执行了一个Hello world程序，看到了结果。现在我们就来解读一下这个Hello Word。 OK，我们先来看一下当时在命令行里输入的内容： $mkdir input $cd input $echo "hello world...
安装Hadoop：Hadoop的单机模式、伪分布式模式——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项
ZhiYilang的博客
12-31 1083
Hadoop单机模式：只在一台机器上运行，存储是采用本地文件系统，没有采用分布式文件系统HDFS；伪分布式模式：存储采用分布式文件系统HDFS，但是，HDFS的名称节点和数据节点都在同一台机器上；分布式模式：存储采用分布式文件系统HDFS，而且，HDFS的名称节点和数据节点位于不同机器上。这篇笔记适合于原生 Hadoop3.1.3，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。
5.3- echo命令详解
yaoyelinger0912的博客
10-08 639
大多数shell命令生成自己的输出，这些输出在运行该脚本的控制台监视器上显示。 有时候需要添加自己的文本消息帮助脚本用户了解脚本中发生了什么。 使用echo命令可以完成此操作。 如果在echo命令后添加字符串，echo命令就能显示一个简单的文本字符串： [root@hadoop ~]# echo this is test show mess this is test show mess 默认情况...
Hadoop的三种安装模式
fanyun2009的博客
01-01 4960
Hadoop的三种安装模式一、本地模式二、伪分布模式三、全分布模式 一、本地模式 本地模式的特点：没有HDFS, 只能测试MapRduce (不是运行在Yarn中, 做一个独立的Java程序来运行), 只需配置etc/hadoop/hadoop-env.sh中的JAVA_HOME 二、伪分布模式 伪分布模式的特点：在单机上，模拟一个分布式的环境，具备Hadoop的所有功能，只需要一台机器（主机名为...
Hadoop三种模式安装配置
weixin_44091346的博客
05-20 443
JDK+Hadoop安装配置、单机模式配置 以下操作在SecureCRT里面完成 1.关闭防火墙 firewall-cmd --state 显示防火墙状态running/not running systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙 systemctl disable firewalld 禁止防火墙服务。 2.传输JDK和HADOOP压缩包 Sec...
Apache hadoop集群安装的三种方式：本地、伪分布、完全分布
qq_37873221的博客
05-08 4114
四 Hadoop运行模式1）官方网址（1）官方网站：http://hadoop.apache.org/（2）各个版本归档库地址 https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/（3）hadoop2.7.2版本详情介绍http://hadoop.apache.org/docs/r2.7.2/2）Hadoop运行模式（1）本地模式（...
025-03-23 01:12:01,973 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
最新发布
03-23
### 解决方案概述 Hadoop 的警告消息“Unable to load native-hadoop library for your platform”通常表示 Hadoop 尝试加载其本地库失败。这可能是由于缺少必要的依赖项、不兼容的操作系统版本或配置错误引起的。 以下是针对此问题的分析和解决方案： --- #### 1. **确认操作系统支持** Hadoop 的原生库可能需要特定的操作系统环境和支持的 GLIBC 版本。如果系统的 GLIBC 版本低于所需版本，则会触发 `java.lang.UnsatisfiedLinkError` 错误[^2]。 可以通过以下命令检查当前系统的 GLIBC 版本： ```bash ldd --version ``` 如果发现 GLIBC 版本较低（例如低于 2.14），则需要升级操作系统的 GLIBC 或考虑使用其他替代方法运行 Hadoop。 --- #### 2. **验证 libhadoop.so 文件是否存在** 确保 Hadoop 安装目录下的 `lib/native` 子目录存在并包含文件 `libhadoop.so.*`。如果没有该文件，可以从官方 Apache Hadoop 镜像站点下载对应平台的二进制包[^4]，或者重新编译适合目标平台的 Hadoop 原生库。 --- #### 3. **设置 JAVA_LIBRARY_PATH 环境变量** 即使 `libhadoop.so` 文件存在于指定路径下，Java 进程仍可能找不到它。此时可以尝试通过设置 `JAVA_LIBRARY_PATH` 来显式指向本地库的位置。修改 Hadoop 启动脚本中的环境变量部分如下： ```bash export JAVA_LIBRARY_PATH=/path/to/hadoop/lib/native:$JAVA_LIBRARY_PATH export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH:$LD_LIBRARY_PATH ``` 上述更改应添加到 `$HADOOP_HOME/etc/hadoop/hadoop-env.sh` 文件中以持久化生效。 --- #### 4. **忽略 Native Library 警告** 如果不希望强制启用本地库功能，也可以禁用对它的加载需求。编辑核心配置文件 `core-site.xml` 并加入以下属性定义： ```xml <property> <name>hadoop.native.lib</name> <value>false</value> </property> ``` 这样虽然不会利用某些性能优化特性，但能有效避免因缺失而产生的日志干扰[^1]。 --- #### 5. **测试集群状态与 Web UI 访问** 完成以上调整之后重启整个 Hadoop 集群服务，并访问管理界面来检验修复效果。对于单机模式部署而言，默认情况下 NameNode 和 ResourceManager 应分别监听端口 50070 及 8088；然而实际地址可能会依据具体安装方式有所差异[^3]。因此建议先查阅文档再确定确切链接形式。 --- ### 总结 综上所述，“unable to load native-hadoop library”的根本原因多源于基础软件栈适配不当所致。按照前述指导逐一排查即可定位症结所在进而妥善处理之。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值