hadoop HA高可用集群实战

已于 2023-01-02 17:38:26 修改
阅读量1.3k 收藏 11
点赞数 1
分类专栏： 云计算大数据虚拟化 文章标签： hadoop 大数据 hdfs
于 2022-10-12 16:12:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zx77588023/article/details/127257592
版权

文章目录

1 概述

  1. HA（high available），即高可用（24h不中断服务）
  2. 实现高可用最关键的策略是消除单点故障。HA严格来说是应该分成各个组件的HA机制
  3. hadoop2.0之前，在HDFS集群中NamNode存在单点故障（SPOF）
  4. NameNode主要存在以下两个方敏影响HDFS集群。
    • NameNode机器发生意外，如宕机，集群无法使用，直到管理员重启。
    • NameNode机器需要升级，包括软件，硬件升级，此时集群也将无法使用。

HDFS HA功能通过配置Active/Standby两个nameNode实现在集群中对NameNode的热备份来解决上述问题。如果机器出现故障，这是可通过此种方式将NameNode很快切换到另一台机器。

2 HDFS-HA工作机制

通过双NameNode消除单点故障

2.1 HDFS-HA工作要点

1、元数据管理方式需要改变

  • 内存中各自保存一份元数据；
  • Edits日志只有Active状态的NameNode节点可以做写操作。
  • 两个NameNode都可以读取Edits
  • 共享的Edit放在一个共享存储中管理（qjournal和NFS两个主流实现）

2、需要一个状态管理功能模块

  • 实现了一个zkfailover，常驻在每一个namenode所在的节点，每一个zkfailover负责监控自己所在NameNode节点，利用zk进行状态表示，当需要进行装填切换时，由zkfaiover来负责切换，切换时需要防止brain split想想发生。

3、必须保证两个 NameNode 之间能欧ssh无密码登录
4、隔离（Fence），即同一时刻仅仅有一个 NameNode对外提供服务。

2.2 HDFS 自动故障转移工作

通过命令 hdfs haadmin -failover 进行手动故障转移的模式下，即使现役 NameNode已经失效，系统也不会自动从现役 NameNode转移到待机NameNode，因而下面介绍自动故障转移。

自动故障颛臾为HDFS部署增加了两个新组件：

  • ZooKeeper进程
  • ZKFailoverController(ZKFC)进程

其中ZK负责维护少量协调数据，通知客户端这些数据的改变和客户端故障的高可用服务。HA的自动故障转移依赖于ZK以下功能：

1、故障检测
集群中每个 NameNode 在Zookeeper 中维护了一个持久回话，如果机器崩溃，ZK中的会话将终止，ZK通知另一个NameNode需要除法故障转移。

2、现役 NameNode选择
ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为 active 状态。如果目前现役 NameNode崩溃，另一个节点可能从 ZK获得特殊的排外锁，以表名它应该称为现役 NameNode。

ZKFC是自动故障转移中的另一个新组建，是ZK的客户端，也监视和管理 NameNode的装填

3、健康检测
ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode，只要该NameNode及时回复健康状态，ZKFC认为该节点是健康的。如果该节点崩溃、冻结或进入不健康状态，健康检测器标识该节点为非健康的。

4、ZooKeeper会话管理
当本地NameNode是将康的，ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态，ZKFC也保持一个特殊的znode锁，该锁使用了ZooKeeper对对该节点的支持，如果会话终止，锁节点将自动删除。

5、基于 ZooKeeper的选择
如果本地 NameNode是健康的，且ZKFC发现没有其他节点持有znode锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地 NameNode为Active。故障转移进程与前面描述的手动付账转移相似，首先如果必要保护之前的嫌疑NameNode，然后本地NameNode转换为Active状态。

在这里插入图片描述

3 HDFS-HA集群配置

3.1 环境准备

  • 映射主机ip、 安装jdk、ssh免密、防火墙（按具体情况配置，安全第一）

  • 搭建 ZooKeeper集群

3.2 搭建ZooKeeper集群

详细请阅读ZK秘籍8.2节：古传送阵

启动

$ZK_HOME/bin/zkServer.sh start $ZK_HOME/conf/zoo.cfg

3.3 配置 HDFS-HA集群

3.3.1 配置环境
# hadoop-HA
export $HADOOP_HA_HOME=/usr/local/hadoop-HA/hadoop-2.8.4
export PATH=$PATH:$HADOOP_HA_HOME/bin:$HADOOP_HA_HOME/sbin

# hadoop
#export HADOOP_HOME=/usr/local/hadoop-2.8.4
#export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

vim $HADOOP_HA_HOME/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_151

export HADOOP_CONF_DIR=/usr/local/hadoop-HA/hadoop-2.8.4/etc/hadoop

scp -r $HADOOP_HA_HOME/etc/hadoop/hadoop-env.sh root@slave1:$HADOOP_HA_HOME/etc/hadoop/

scp -r $HADOOP_HA_HOME/etc/hadoop/hadoop-env.sh root@slave2:$HADOOP_HA_HOME/etc/hadoop/
3.3.2 配置core-site.xml
mkdir /usr/local/hadoop-HA/data

vim $HADOOP_HA_HOME/etc/hadoop/core-site.xml

<configuration> 

	<!-- 把两个 NameNode 的地址组装成一个集群 mycluster --> 
	<property> 
		<name>fs.defaultFS</name> 
		<value>hdfs://mycluster</value> 
	</property> 
	
	<!-- 指定 hadoop运行时产生文件的存储目录 --> 
	<property> 
		<name>hadoop.tmp.dir</name> 
		<value>/usr/local/hadoop-HA/data</value> 
	</property> 
	
</configuration>
3.3.3 配置 hdfs-site.xml

NameNode：master、slave1
DataNode：master、slave1、slave2

mkdir /usr/local/hadoop-HA/data/jn

vim $HADOOP_HA_HOME/etc/hadoop/hdfs-site.xml

<configuration> 
	<!-- 完全分布式集群名称 --> 
	<property> 
		<name>dfs.nameservices</name> 
		<value>mycluster</value> 
	</property> 
	
	<!-- 集群中 NameNode节点都有哪些 --> 
	<property> 
		<name>dfs.ha.namenodes.mycluster</name> 
		<value>nn1,nn2</value> 
	</property> 
	
	<!-- nn1的 RPC通信地址 --> 
	<property> 
		<name>dfs.namenode.rpc-address.mycluster.nn1</name> 
		<value>master:9000</value> 
	</property> 
	
	<!-- nn2的 RPC通信地址 --> 
	<property> 
		<name>dfs.namenode.rpc-address.mycluster.nn2</name> 
		<value>slave1:9000</value> 
	</property> 
	
	<!-- nn1的 http 通信地址 --> 
	<property> 
		<name>dfs.namenode.http-address.mycluster.nn1</name> 
		<value>master:50070</value> 
	</property> 
	
	<!-- nn2的 http 通信地址 --> 
	<property> 
		<name>dfs.namenode.http-address.mycluster.nn2</name> 
		<value>slave1:50070</value> 
	</property> 
	
	<!-- 指定 NameNode元数据在 JournalNode上的存放位置 --> 
	<property> 
		<name>dfs.namenode.shared.edits.dir</name> 
		<value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value> 
	</property> 
	
	<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 --> 
	<property> 
		<name>dfs.ha.fencing.methods</name> 
		<value>sshfence</value> 
	</property> 
	
	<!-- 使用隔离机制时需要 ssh无秘钥登录--> 
	<property> 
		<name>dfs.ha.fencing.ssh.private-key-files</name> 
		<value>~/.ssh/id_rsa</value> 
	</property> 
	
	<!-- 声明 journalnode 服务器存储目录--> 
	<property> 
		<name>dfs.journalnode.edits.dir</name> 
		<value>/usr/local/hadoop-HA/data/jn</value> 
	</property> 
	
	<!-- 关闭权限检查--> 
	<property> 
		<name>dfs.permissions.enable</name> 
		<value>false</value> 
	</property> 
	
	<!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式--> 
	<property> 
		<name>dfs.client.failover.proxy.provider.mycluster</name> 
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
	</property> 
</configuration>

配置发送到其他机器

scp -r /usr/local/hadoop-HA/ root@slave1:/usr/local/
scp -r /usr/local/hadoop-HA/ root@slave2:/usr/local/
3.3.4 启动 HDFS-HA集群

在各个JournalNode节点商，输入以下命令启动journalnode服务

1、在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务

$HADOOP_HA_HOME/sbin/hadoop-daemon.sh start journalnode

2、在[nn1]上，对其进行格式化，并启动

# 格式化
$HADOOP_HA_HOME/bin/hdfs namenode -format

$HADOOP_HA_HOME/sbin/hadoop-daemon.sh start namenode

3、在[nn2]上，同步nn1的元数据信息

$HADOOP_HA_HOME/bin/hdfs namenode -bootstrapStandby

4、启动[nn2]

$HADOOP_HA_HOME/sbin/hadoop-daemon.sh start namenode

5、查看web页面（此时2个NameNode均为standby状态）

http://192.168.56.20:50070
http://192.168.56.21:50070

6、在 [nn1] 上，启动所有 datanode

# 配置节点域名
vim $HADOOP_HA_HOME/etc/hadoop/slaves
master
slave1
slave2

$HADOOP_HA_HOME/sbin/hadoop-daemons.sh start datanode

7、将 [nn1] 切换为 Active

$HADOOP_HA_HOME/bin/hdfs haadmin -transitionToActive nn1

8、查看是否Active

$HADOOP_HA_HOME/bin/hdfs haadmin -getServiceState nn1
3.3.5 配置 HDFS-HA自动故障转移
1 具体配置

在hdfs-site.xml 增加

vim $HADOOP_HA_HOME/etc/hadoop/hdfs-site.xml

<!-- 配置 HDFS-HA自动故障转移 -->
<property> 
	<name>dfs.ha.automatic-failover.enabled</name> 
	<value>true</value> 
</property>

在core-site.xml 增加

vim $HADOOP_HA_HOME/etc/hadoop/core-site.xml

<!-- 配置 HDFS-HA自动故障转移 -->
<property> 
	<name>ha.zookeeper.quorum</name> 
	<value>master:2181,slave1:2181,slave2:2181</value> 
</property>
2 同步配置
scp -r $HADOOP_HA_HOME/etc/hadoop/hdfs-site.xml root@slave1:$HADOOP_HA_HOME/etc/hadoop/
scp -r $HADOOP_HA_HOME/etc/hadoop/core-site.xml root@slave1:$HADOOP_HA_HOME/etc/hadoop/
3 启动

1、关闭所有 HDFS服务

$HADOOP_HA_HOME/sbin/stop-dfs.sh

在这里插入图片描述
2、启动 ZooKeeper集群

$ZK_HOME/bin/zkServer.sh start $ZK_HOME/conf/zoo.cfg

3、初始化 HA 在 ZooKeeper 中状态(NameNode节点)

$HADOOP_HA_HOME/bin/hdfs zkfc -formatZK

4、启动 HDFS 服务

$HADOOP_HA_HOME/sbin/start-dfs.sh

5、在各个 NameNode节点上启动 DFSZK Failover Controller，先在哪台机器启动，哪个机器的 NameNode就是Active NameNode

$HADOOP_HA_HOME/sbin/hadoop-daemon.sh start zkfc
4 验证

1、将 Active NameNode 进程 kill

kill -9 (namenode进程id)

2、恢复NameNode

$HADOOP_HA_HOME/sbin/hadoop-daemon.sh start namenode
5 其他处理

1、Standby所在的namenode不会自动切换为active状态。

检查服务器时间是否同步，同步需要在root用户下。

hdfs namenode -initializeSharedEdits

3.4 YARN-HA配置

工作机制
在这里插入图片描述

在这里插入图片描述

3.4.1 yarn-site.xml
vim $HADOOP_HA_HOME/etc/hadoop/yarn-site.xml

<configuration> 
	
	<property> 
		<name>yarn.nodemanager.aux-services</name> 
		<value>mapreduce_shuffle</value> 
	</property> 
	
	<!--启用 resourcemanager ha--> 
	<property> 
		<name>yarn.resourcemanager.ha.enabled</name> 
		<value>true</value> 
	</property> 
	
	<!--声明两台 resourcemanager 的地址--> 
	<property> 
		<name>yarn.resourcemanager.cluster-id</name> 
		<value>cluster-yarn1</value> 
	</property> 
	
	<property> 
		<name>yarn.resourcemanager.ha.rm-ids</name> 
		<value>rm1,rm2</value> 
	</property> 
	
	<property> 
		<name>yarn.resourcemanager.hostname.rm1</name> 
		<value>master</value> 
	</property> 
	
	<property> 
		<name>yarn.resourcemanager.hostname.rm2</name> 
		<value>slave1</value> 
	</property> 
	
	<!--指定 zookeeper 集群的地址--> 
	<property> 
		<name>yarn.resourcemanager.zk-address</name> 
		<value>master:2181,slave1:2181,slave2:2181</value> 
	</property> 
	
	<!--启用自动恢复-->  
	<property> 
		<name>yarn.resourcemanager.recovery.enabled</name> 
		<value>true</value> 
	</property> 
	
	<!--指定 resourcemanager 的状态信息存储在 zookeeper集群--> 
	<property> 
		<name>yarn.resourcemanager.store.class</name>     
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
	</property> 

</configuration>

同步更新其他节点的配置信息

scp -r $HADOOP_HA_HOME/etc/hadoop/yarn-site.xml root@slave1:$HADOOP_HA_HOME/etc/hadoop/

scp -r $HADOOP_HA_HOME/etc/hadoop/yarn-site.xml root@slave2:$HADOOP_HA_HOME/etc/hadoop/
3.4.2 启动hdfs

1、关闭所有 HDFS服务

$HADOOP_HA_HOME/sbin/stop-dfs.sh

1、在各个 JournalNode节点上，输入以下命令启动 journalnode服务：

$HADOOP_HA_HOME/sbin/hadoop-daemon.sh start journalnode

2、在 [nn1] 上，对其进行格式化，并启动

$HADOOP_HA_HOME/bin/hdfs namenode -format
$HADOOP_HA_HOME/sbin/hadoop-daemon.sh start namenode

3、在 [nn2] 上，同步 nn1 的元数据信息

$HADOOP_HA_HOME/bin/hdfs namenode -bootstrapStandby

4、启动 [nn2]

$HADOOP_HA_HOME/sbin/hadoop-daemon.sh start namenode

5、启动所有 DataNode

$HADOOP_HA_HOME/sbin/hadoop-daemons.sh start datanode

6、将 [nn1]切换为 Active

$HADOOP_HA_HOME/bin/hdfs haadmin -transitionToActive nn1
3.4.3 启动 YARN

进程：ResourceManager、NodeManager、NodeManager

$HADOOP_HA_HOME/sbin/start-yarn.sh

slave2执行（非NameNode节点）

$HADOOP_HA_HOME/sbin/yarn-daemon.sh start resourcemanager

3、查看服务状态

$HADOOP_HA_HOME/bin/yarn rmadmin -getServiceState rm1

3.5 查看集群

http://192.168.56.20:8088/cluster

在这里插入图片描述

报错处理

重新格式化

1、查看hdfs-site.xml：

<!-- 指定 hadoop运行时产生文件的存储目录 --> 
<property> 
	<name>hadoop.tmp.dir</name> 
	<value>/usr/local/hadoop-HA/data</value> 
</property>

将 dfs.name.dir所指定的目录删除、dfs.data.dir所指定的目录删除

rm -rf /usr/local/hadoop-HA/data/dfs/name/*
rm -rf /usr/local/hadoop-HA/data/dfs/data/*

2、查看core-site.xml：

<property> 
    <name>hadoop.tmp.dir</name> 
    <value>/usr/local/hadoop-HA/data</value> 
    <description>namenode上本地的hadoop临时文件夹</description> 
</property>

将Hadoop.tmp.dir所指定的目录删除。

rm -rf /usr/local/hadoop-HA/data/jn/*

致谢：
感谢尚硅谷教程

有勇气的牛排
关注
专栏目录
Hadoop高可用集群
千锋教育
06-02 1131
当发生故障的时候, Active节点挂掉, 此时Standby节点在成为新的Active节点之前, 会将读取到的EditLog文件在自己的内存中进行推演, 得到最新的目录树结构. 此时再升为Active节点, 可以无缝的继续对外提供服务.当有任何的操作发生在Active节点上的时候, JN会记录这些操作到半数以上的节点中. Standby节点检测JN中的log日志文件发生了变化, 会读取JN中的数据到自己的内存中, 维护最新的目录树结构与元数据信息。要是有一个能监视Active节点的服务功能就好了。
一篇搞定，Hadoop高可用集群搭建及API调用，超详细
最新发布
mrcool2012的博客
07-21 831
在Hadoop1中NameNode存在一个单点故障问题，如果NameNode所在的机器发生故障，整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNode，但是它并不是NameNode的备份，它只是NameNode的一个助理，协助NameNode工作，SecorndaryNameNode会对fsimage和edits文件进行合并，并推送给NameNode，防止因edits文件过大，导致NameNode重启变慢),这是Hadoop1的不可靠实现。
Hadoop生态圈-高可用集群
热门推荐
未昔的博客
07-29 6万+
Hadoop生态圈-高可用集群 Hadoop生态圈即全部组件 - 原创wnagwei（qq：140691703@qq.com） 转载复制请联系作者，未经允许擅自操作，将追究法律责任 高可用集群自动故障转移工作 机制 1） 故障检测： 故障检测：集群中的每个 NameNode 在 ZooKeeper 中维护了一个持久会话，如果 机器崩溃，ZooKeeper 中的会话将终止，ZooKeeper 通知另一个 NameNode 需要触发故障转 移。 2）现役 NameNode 选择： 现役 Name
hadoop高可用集群搭建
浅抒流年的博客
08-20 7816
主机配置环境如下表 主机名 IP 系统 软件版本 安装目录 数据目录 hadoop-01 192.168.10.51 Centos 7.6 hadoop-2.7.7、jdk1.8、zookeeper-3.4.6 /usr/local/hadoop /data/hadoop hadoop-02 192.168.10.52 Centos 7.6 hadoop-2.7.7、jdk1....
Hadoop HA 高可用之旅
记录点点滴滴
11-19 1015
Hadoop HA 高可用之旅概述HDFS-HA 集群搭建HDFS-HA 核心问题HDFS-HA 手动模式环境准备规划集群配置 HDFS-HA 集群启动 HDFS-HA 集群HDFS-HA 自动模式HDFS-HA 自动故障转移工作机制HDFS-HA 自动故障转移的集群规划配置 HDFS-HA 自动故障转移解决 NN 连接不上 JN 的问题YARN-HA 配置YARN-HA 工作机制配置 YARN-HA 集群环境准备规划集群核心问题具体配置启动 YARNHADOOP HA 的最终规划 概述 所谓 HA（Hig
Hadoop高可用集群搭建
m0_50744317的博客
05-08 3988
一、集群节点分布。 三个服务器组成一个Zookeeper集群。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。 二、hadoop高可用集群 （1）先搭建普通的hadoop集群。 （2）修改core-site.xml文件。 该文件是Hadoop的核心配置文件，配置HDFS地址、端口号，以及临时文件 目录。打开该配置文件，添加如下配置内容。 zookeeper地址就是你的三台主机名 cd /export/...
2024年大数据最新Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
2401_84181536的博客
05-02 762
服务的逻辑名称,使用mycluster替换master:9000作为逻辑名称。通过SSH连接到Active NameNode并终止进程。存放namenode、datanode数据的根路径。列出运行 ZooKeeper 服务的主机端口对。存放journalnode数据的地址。两个namenode的rpc通信地址。hdfs分布式文件系统名字/地址。两个namenode的名称。切换namenode代理类。启动自动故障转移机制。
【亲测】Hadoop 高可用集群搭建 与 开发环境部署
2401_84097427的博客
04-20 1021
核心竞争力，怎么才能提高呢？成年人想要改变生活，逆转状态？那就开始学习吧~万事开头难，但是程序员这一条路坚持几年后发展空间还是非常大的，一切重在坚持。为了帮助大家更好更高效的准备面试，特别整理了《前端工程师面试手册》电子稿文件。
Hadoop-HA集群安装部署
RomanyK的博客
04-21 4242
HA高可用集群安装部署 两台主节点一台从节点（即一台active、一台standby，条件允许也可配多台standby）解决单点故障
Hadoop 搭建高可用集群--zookeeper
m0_73469590的博客
02-19 1331
Hadoop 搭建高可用集群--zookeeper
Hadoop分布式高可用HA集群搭建笔记（含Hive之构建）
2401_84407902的博客
04-18 677
jps是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。我们使用一下我们发现每个节点上都出先了JPS进程和QuorumPeerMain。JPS是这条命令本身拉起的进程，QuorumPeerMain则是zookeeper拉起的，那么QuorumPeerMain是什么呢？根据官方文档来看，是个入口类。用来加载myid二、Hadoop三节点搭建2.1 环境准备还是需要JDK，这个在1.2.6中已经完成。
Hadoop(25)-高可用集群配置,HDFS-HA和YARN-HA
weixin_30856725的博客
12-16 157
一. HA概述 1. 所谓HA（High Available），即高可用（7*24小时不中断服务）。 2. 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3. Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4 . NameNode主要在以下两个方面影响HDFS集群 N...
Hadoop的高可用集群搭建
dagebaobao的博客
01-16 1874
一、搭建规划： hadoop 高可用集群的搭建依赖于 zookeeper，所以选取三台当做 zookeeper 集群 ，这里总共准备了八台主机(可按实际规划，不一定要这么多台)，分别是 hadoop01，hadoop02，hadoop03，hadoop04， hadoop05，zk01，zk02，zk03。其中 hadoop01 和 hadoop02 做 namenode 的主备切换，hadoop...
安装Hadoop HA集群
~~~的博客
05-08 426
1、Hadoop基本安装配置 该项的所有操作步骤使用专门用于集群的用户admin进行 此项只在一台主机操作，然后在下一步骤进行同步安装与配置 首先，Hadoop软件包“hadoop-2.7.3.tar.gz”，上节课传到用户家目录的“setups”目录下，然后进行解压和环境变量设置。 $mkdir ~/hadoop #创建用于存放Hadoop相关文件的目录 $cd ~/h...
[Hadoop]一、Hadoop3.x高可用集群
weixin_44428807的博客
05-05 670
Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。（1）NameNode：存储文件的元数据信息，如文件名、目录结构、文件属性（生成时间、副本数、文件权限等）、每个文件的块列表和块所在的DataNode等。（2）DataNode：在本地文件系统中存储文件块数据，以及块数据的校验和。（3）SecondaryNameNode：每隔一段时间对NameNode元数据备份（在高可用模式中不需要）。
Hadoop 从 0 到 1 学习 ——第八章 HDFS HA高可用
dwjf321的博客
11-26 323
HDFS-HA工作机制 自动故障转移工作机制 HDFS-HA 集群配置
Hadoop集群部署实战
weixin_38920945的博客
01-24 196
Hadoop 集群搭建目录集群简介服务器准备环境和服务器设置JDK环境安装Hadoop安装部署启动集群测试集群简介在进行集群搭建前，我们需要大概知道搭建的集群都是些啥玩意。HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者在逻辑上分离，但物理上常在一起（啥意思？就是说：HDFS集群和YARN集群，他们俩是两个不同的玩意，但很多时候都会部署在同一台物理机器上...
Hadoop分布式集群实战
weixin_33994444的博客
01-25 107
HAdoop集群实战一:Zookeeper集群部署 HAdoop集群实战二:Hadoop集群部署 HAdoop集群实战三:Namenode高可用HA部署 HAdoop集群实战四:Hbase集群部署 HAdoop集群实战五:Hive集群部署 HAdoop集群实战六:Kafka集群部署 [HAdoop集群实战七:Hive、Hbase集群整合...待更新]() [HAdoop集群实战八:Hive、Hba...
Hadoop 集群搭建实战
Dunk.Wan
12-31 912
Hadoop 集群搭建实战 环境准备： 1. VMware 搭建三台CentOS 7.8主机 2. 静态IP，关闭防火墙，修改主机名，配置免密登录，集群时间同步 3. 在/opt目录下创建文件夹 mkdir -p /opt/apps/software --软件安装包存放目录 mkdir -p /opt/apps/servers --软件安装目录 4. Hadoop下载地址： https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2
Hadoop 2.6.4 高可用集群配置实战指南
"这篇文档详细介绍了如何在Linux环境中搭建Hadoop 2.6.4版本的高可用(HA)集群，包括配置HDFS和YARN的HA特性，以及集群中的节点角色分配。" 在大数据处理领域，Apache Hadoop是一个开源框架，它允许分布式存储和处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有勇气的牛排

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值