03-Hadoop安装

最新推荐文章于 2024-09-22 20:08:28 发布
最新推荐文章于 2024-09-22 20:08:28 发布
阅读量289 收藏 1
点赞数
分类专栏： 大数据 文章标签： hadoop big data hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanlijuan2015/article/details/121027389
版权

一、Hadoop 的安装有三种方式

  • 单机模式：直接解压，只支持MapReduce的测试，不支持HDFS，一般不用。

  • 伪分布式模式：单机通过多进程模拟集群方式安装，支持Hadoop所有功能。
    ​ 优点：功能完整。
    ​ 缺点：性能低下。学习测试用。

  • 完全分布式模式：集群方式安装，生产级别。

  • HA：高可用

二、伪分布式部署

1 初始环境：

JDK，JAVA_HOME，配置hosts，关闭防火墙，配置免密登录等。

注意：我们只将其安装在hadoop01节点上。

2 上传安装包并解压

安装包下载地址
链接：https://pan.baidu.com/s/1EffVCHanpJd-l6jKMi-lEw
提取码：xwzf

上传安装包到tar -xvzf hadoop-2.7.7 到/opt/softwares/ 目录下
并解压 tar -xvzf hadoop-2.7.7.tar.gz -C /opt/servers/

3 修改配置文件

3.1 修改hadoop-env.sh

vim /opt/servers/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

修改

export JAVA_HOME=/opt/servers/jdk1.8.0_65
export HADOOP_CONF_DIR=/opt/servers/hadoop-2.7.7/etc/hadoop

3.2 修改 core-site.xml

核心配置文件：

  • namenode的所在位置
  • 数据的存储位置
vim /opt/servers/hadoop-2.7.7/etc/hadoop/core-site.xml

增加namenode配置、文件存储位置配置：粘贴代码部分到标签内

<property>
<!--用来指定hdfs的老大，namenode的地址-->
<name>fs.default.name</name>
<value>hdfs://hadoop01:8020</value>
</property> 

<property>
<!--用来指定hadoop运行时产生文件的存放目录-->  
<name>hadoop.tmp.dir</name>
<value>/opt/servers/hadoop-2.7.7/tmp</value>
</property>

3.3 修改 hdfs-site.xml

  • 设置副本数
  • 设置访问权限
vim /opt/servers/hadoop-2.7.7/etc/hadoop/hdfs-site.xml

配置包括自身在内的备份副本数量到标签内

<property>
<!--指定hdfs保存数据副本的数量，包括自己，默认为3-->
<!--伪分布式模式，此值必须为1-->
<name>dfs.replication</name>
<value>1</value>
</property>
 
<!--设置hdfs操作权限，false表示任何用户都可以在hdfs上操作文件-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

3.4 修改 mapred-site.xml

  • mapreduce执行环境，任务

说明：在/opt/servers/hadoop-2.7.7/etc/hadoop的目录下，只有一个mapred-site.xml.template文件，复制一个。

cp mapred-site.xml.template mapred-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/mapred-site.xml

配置mapreduce运行在yarn上：粘贴高亮部分到标签内

<property> 
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

3.5 修改 yarn-site.xml

  • resourcemanager所在节点位置
  • nodemanager获取数据的方式
vim /opt/servers/hadoop-2.7.7/etc/hadoop/yarn-site.xml

配置：粘贴高亮部分到标签内

<property>
<!--指定yarn的老大resourcemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>

<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

3.6 修改slaves

vim /opt/servers/hadoop-2.7.7/etc/hadoop/slaves

修改

hadoop01

3.7 配置hadoop的环境变量

vim /etc/profile

export HADOOP_HOME=/opt/servers/hadoop-2.7.7
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效 source /etc/profile

环境变量配置完成，测试环境变量是否生效 echo $HADOOP_HOME

执行 hadoop 或 hadoop version

4 启动

4.1 初始化

hdfs namenode -format

在这里插入图片描述

4.2 启动

start-all.sh  #启动所有服务

# jps查看启动的进程

单独启动一个服务

start-dfs.sh  #启动hdfs服务
start-yarn.sh #启动yarn服务
hadoop-daemon.sh start namenode

4.3 停止

stop-all.sh

4.4访问浏览器

windows的浏览器中访问 http://hadoop01:50070/
在这里插入图片描述
安装成功

4.5 安装失败

如果没有成功（进程数不够）
1.stop-all.sh 停掉hadoop所有进程
2.删掉hadoop2.7.7下的tmp文件
3.hdfs namenode -format 重新初始化（出现successfully证明成功），如果配置文件报错，安装报错信息修改相应位置后重新执行第二步。
4.start-all.sh 启动hadoop

三、完全分布式部署

安装环境服务部署规划

服务器IP192.168.65.101192.168.65.102192.168.65.103
NameNode
HDFS
DataNodeDataNodeDataNode
YARNResourceManager
NodeManagerNodeManagerNodeManager
MapReduceJobHistoryServer

先在第一台机器hadoop01进行部署

注意：如果已安装伪分布模式，先删除格式化后生成的数据文件，其他请略过。

执行命令停掉所有服务 stop-all.sh
删除tmp目录 rm -rf tmp

1进入目录

cd /opt/servers

2 上传安装包并解压

tar -xvzf hadoop-2.7.7.tar.gz -C ../servers/

3 修改配置文件

位置：/opt/servers/hadoop-2.7.7/etc/hadoop

3.1修改hadoop-env.sh

vim /opt/servers/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

修改

export JAVA_HOME=/opt/servers/jdk1.8.0_65
export HADOOP_CONF_DIR=/opt/servers/hadoop-2.7.7/etc/hadoop

3.2 修改 core-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/core-site.xml

增加namenode配置、文件存储位置配置：粘贴代码部分到标签内

<property>
<!--用来指定hdfs的老大，namenode的地址-->
<name>fs.default.name</name>
<value>hdfs://hadoop01:8020</value>
</property> 
<property>
<!--用来指定hadoop运行时产生文件的存放目录-->  
<name>hadoop.tmp.dir</name>
<value>/opt/servers/hadoop-2.7.7/tmp</value>
</property>

3.3 修改 hdfs-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
  • 配置包括自身在内的备份副本数量到标签内
<property>
<!--指定hdfs保存数据副本的数量，包括自己，默认为3-->
<!--伪分布式模式，此值必须为1-->
<name>dfs.replication</name>
<value>2</value>
</property>
<!--设置hdfs操作权限，false表示任何用户都可以在hdfs上操作文件-->
 <property>
<name>dfs.permissions</name>
<value>false</value>
</property>

3.4 修改 mapred-site.xml

说明：在/opt/servers/hadoop-2.7.7/etc/hadoop的目录下，只有一个mapred-site.xml.template文件，复制一个。

cp mapred-site.xml.template mapred-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/mapred-site.xml

配置mapreduce运行在yarn上：粘贴高亮部分到标签内

<property> 
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

3.5 修改 yarn-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/yarn-site.xml
  • 配置：粘贴高亮部分到标签内
<property>
<!--指定yarn的老大resourcemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

3.6 修改slaves

vim /opt/servers/hadoop-2.7.7/etc/hadoop/slaves

修改

hadoop01
hadoop02
hadoop03

3.7 配置hadoop的环境变量

vim /etc/profile

export HADOOP_HOME=/opt/servers/hadoop-2.7.7
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效

source /etc/profile

环境变量配置完成，测试环境变量是否生效

echo $HADOOP_HOME

3.8 分发文件到hadoop02、hadoop03服务器

cd /opt/servers/
scp -r hadoop-2.7.7/ hadoop02:$PWD
scp -r hadoop-2.7.7/ hadoop03:$PWD

3.9 hadoop02、hadoop03服务器配置hadoop的环境变量

vim /etc/profile

export HADOOP_HOME=/opt/servers/hadoop-2.7.7
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效

source /etc/profile

环境变量配置完成，测试环境变量是否生效

echo $HADOOP_HOME

4 启动

4.1 初始化

hdfs namenode -format

4. 2 启动

start-all.sh

4.3 停止

stop-all.sh

4.4 测试

jps

4.5 停止服务

stop-all.sh

4.6 补充：可以按照组件启动服务

start-dfs.sh
start-yarn.sh

也可以单独启动一个服务

在主节点上使用以下命令启动 HDFS NameNode：
hadoop-daemon.sh start namenode 
在每个从节点上使用以下命令启动 HDFS DataNode： 
hadoop-daemon.sh start datanode 
在主节点上使用以下命令启动 YARN ResourceManager： 
yarn-daemon.sh  start resourcemanager 
在每个从节点上使用以下命令启动 YARN nodemanager： 
yarn-daemon.sh start nodemanager

5 访问浏览器

windows的浏览器中访问
hdfs集群访问地址
http://hadoop01:50070/
yarn集群访问地址
http://hadoop01:8088/
安装成功！

四、hadoop集群初体验

1 HDFS 使用初体验

从Linux 本地上传一个文本文件到 hdfs 的/test/input 目录下

hadoop fs -mkdir -p /test/input
hadoop fs -put README.txt /test/input

在这里插入图片描述

2 mapreduce程序初体验

在 Hadoop 安装包的

hadoop2.7.7/share/hadoop/mapreduce 下有官方自带的mapreduce 程序。我们可以使用如下的命令进行运行测试。

示例程序jar:

 hadoop-mapreduce-examples-2.7.7.jar

计算圆周率:

hadoop jar /opt/servers/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 2 5

关于圆周率的估算，感兴趣的可以查询资料 Monte Carlo 方法来计算 Pi 值。

Hadoop三种模式安装(Linux)
little_cookie_a的博客
05-19 220
一、单机模式 安装jdk 下载地址 rz 上传 tar -zxvf 文件名 解压文件*[记得删除安装包]* 配置环境 vi /etc/profile #JAVA_HOME export JAVA_HOME=jdk路径 export PATH=PATH:{PATH}:PATH:{JAVA_HOME}/bin 或 JAVA_HOME=jdk路径 CLASSPATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/dt.jar:JAVAH​OME/lib/dt.jar:JAVA_HOME
Hadoop三种安装模式
热门推荐
liumm0000的专栏
10-28 2万+
Hadoop三种安装模式：单机模式，伪分布式，真正分布式 一 单机模式standalone 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守
Hadoop安装
最新发布
cingdy0124的博客
09-22 1678
Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，分布式模式。
Hadoop——三种模式安装教程
weixin_39025328的博客
09-23 315
集群搭建 本地模式 本地模式，也称为是单机版本。主要是为了测试使用的，基本不需要进行配置。 以下的安装、配置，都在1节点上完成！ 1. 上传Hadoop的二进制文件安装包到/root/data/software中 2. 将二进制文件解压安装到/usr/local下 tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/ 重命名这个文件夹，去掉版本号，为了方便后面的使用 mv /usr/local/hadoop-2.7.6 /usr/local/had
Hadoop三种模式安装教程(详解)
m0_67401746的博客
04-03 1087
一、预备 安装java环境，jdk1.8.0_171 首先去Oracle下载jdk，复制到虚拟机 root@hadoopmaster module]# pwd /opt/module [root@hadoopmaster module]# ll total 186424 drwxr-xr-x. 8 root root 4096 Mar 28 17:18 jdk1.8.0_171 -rwxrw-rw-. 1 root root 190890122 Jun 1 06:10 jdk-8u171-lin
hadoop三种模式搭建安装-vbox-openEuler、centos
Siobhan_Mxin的博客
03-09 2352
Hadoop三种模式的安装搭建（单机模式、伪分布模式、完全分布式）
spark-2.2.2-bin-hadoop2.7 安装
drl_blogs的博客
06-14 3468
1.上传spark-2.2.2-bin-hadoop2.7.tgz 2.解压文件 tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /usr/local/ 3.进入conf/下把spark-env.sh.template改为spark-env.sh cd /usr/local/spark-2.2.2-bin-hadoop2.7/conf/ mv s...
麒麟操作系统-03-Hadoop3.5.5安装与部署
Jason1511的博客
06-01 972
虚拟机也可以，但是要确保运行内存是够用的，建议主节点node1给4G，其他最少2G。注意修改ip们可以参照我的另一篇博文：http://t.csdn.cn/6ohFp。下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5/注意：以上的配置都是些简单配置，很多参数都是可以根据情况去修改的，包括端口号。清华源下载的快，点进去选择 hadoop-3.3.5.tar.gz 下载，674M的，不要选择错了。
Spark 新版本（ spark-3.0.1-bin-hadoop3.2）本地部署步骤
bwf317的博客
12-22 2372
准备工作：下载新版本（建议使用国内镜像站下载，例如清华大学镜像站等） 部署安装步骤如下： 1.上传压缩包并解压 ，然后进入spark-3.0.1-bin-hadoop3.2/conf/目录修改配置文件 修改 spark-env.sh.template 名 ：mv spark-env.sh.template spark-env.sh 修改 slaves.template 名 ：mv slaves.template slaves 2.在spark-3.0.1-bin-hadoo...
hadoop离线day03--Hadoop HDFS
weixin_54527017的博客
05-25 766
hadoop离线day03--Hadoop HDFS 目录 hadoop离线day03--Hadoop HDFS 今日内容大纲 Apache HDFS入门 概念 HDFS重要特性 分块存储 副本机制 HDFS shell操作 命令 shell常见命令操作 文件限额操作 相关的命令 HDFS工作机制 读写流程图见画图。 NameNode与DataNode通信机制 HDFS Java API 核心类 HDFS辅助工具 跨集群复制数据 distcp（distributed
Hadoop之“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform“问题解决办法
sinat_40875078的博客
08-22 1906
如上面两个图所示，每次启动hdfs或者使用hdfs命令的时候总是会出现警告WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable。对于一个码农来说这是不可接受的。 有很多大神在博客中给出了集中解决办法，但是个人都觉得相对复杂。本人通过多次阅读了hadoop官方文档，了解到出现这一警告是因为hadoop/..
Hadoop自学笔记（四）安装Hadoop
陈浩的自学笔记
04-24 1708
Hadoop安装在一台机器上搭建实验环境教程
hadoop基础和相关环境
weixin_52033496的博客
12-02 691
Hadoop 一· 简介：是一个开源的分布式计算和存储框架，为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集，并且支持在单台计算机到几千台计算机之间进行扩展。并且Hadoop使用Java开发所以可爱在多种不同硬件上部署和使用。作用就是在多计算机集群环境中营造一个统一而稳定的存储和计算环境，并能为其他分布式应用服务提供平台支持。 二· 1相关运行环境:由于 Hadoop 是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配
大数据平台入门--hadoop虚拟机伪分布式安装
馒 的技术空间
07-18 2103
参考帖子：https://blog.csdn.net/hliq5399/article/details/78193113 里面我遇到的几个问题： 1、因为没有配置主机名，所以文中所有涉及到配置主机名的地方“bigdata-senior01.chybinmy.com”均应修改成“localhost”，否则启动namenode的时候会报错： Failed to start namenode. ...
Hadoop学习笔记(2) ——解读Hello World
weixin_33800593的博客
07-22 129
Hadoop学习笔记(2) ——解读Hello World 上一章中，我们把hadoop下载、安装、运行起来，最后还执行了一个Hello world程序，看到了结果。现在我们就来解读一下这个Hello Word。 OK，我们先来看一下当时在命令行里输入的内容： $mkdir input $cd input $echo "hello world...
安装Hadoop：Hadoop的单机模式、伪分布式模式——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项
Zhiyilang的博客
12-31 916
Hadoop单机模式：只在一台机器上运行，存储是采用本地文件系统，没有采用分布式文件系统HDFS；伪分布式模式：存储采用分布式文件系统HDFS，但是，HDFS的名称节点和数据节点都在同一台机器上；分布式模式：存储采用分布式文件系统HDFS，而且，HDFS的名称节点和数据节点位于不同机器上。这篇笔记适合于原生 Hadoop3.1.3，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。
关于Linux的总结(三)
weixin_33675507的博客
06-09 119
1.man_page.txt 1.内部命令：echo 查看内部命令帮助：help echo 或者 man echo 2.外部命令：ls 查看外部命令帮助：ls --help 或者 man ls 或者 info ls 3.man文档的类型(1~9) man 7 man man 5 passwd 4.快捷键： ctrl + c：停止进程 ctrl + l：清屏 ...
Hadoop安装教程与实践-徐培成IT十八掌
资源摘要信息:"【IT十八掌徐培成】Hadoop第01天-03.hadoop安装.zip"是一份关于Hadoop安装的教学资料，由IT十八掌徐培成制作。这份资料主要涉及的内容是Hadoop的基本安装流程，适合初学者从零开始学习Hadoop的相关...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值