Haddop完全分布式集群搭建

《haddop集群搭建详解》
Hadoop完全分市式集群是典型的主从架构(master-slave),一般需要使用多台服务器来组建。我们准备3台服务器(关闭防火墙、静态IP、主机名称)。如果没有这样的环境,可以在一台电脑上安装VMWare Workstation。在VM上安装三台Linux,分别是1个主节点,2个从节点,如下图所示。
节点类型 IP地址 主机名
NameNode 192.168.86.150 master
DataNode 192.168.86.160 slave1
DataNode 192.168.86.170 slave2
注意:这3个节点的IP地址在实际搭建时会有所不同。
12.2集群搭建步骤
12.2.1在VMware Workstation上创建3台虚拟机
(1)找到桌面的虚拟机图标,双击后,启动VMware界面,选择“创建新的虚拟机”,如下图,即会弹出向导。

(2)点击下一步,初学者使用典型配置。
在这里插入图片描述
(3)点击浏览,找到我们给的iso镜像文件。
在这里插入图片描述

(4)选择镜像文件。
在这里插入图片描述

(5)打开虚拟机向导。

在这里插入图片描述

(6)填写用户信息。
在这里插入图片描述
备注:写上全名,用户名,密码(用户名是用来登录Linux系统的,配合密码可以完成登录。全名只是对用户名的一个备注说明。)

在这里插入图片描述

(7)设置虚拟机名称和位置。

集群规划: 主机名 IP 安装的软件 运行的进程 weekend01 192.168.1.201 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) weekend02 192.168.1.202 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) weekend03 192.168.1.203 jdk、hadoop ResourceManager weekend04 192.168.1.204 jdk、hadoop ResourceManager weekend05 192.168.1.205 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain weekend06 192.168.1.206 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain weekend07 192.168.1.207 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain 说明: 1.在hadoop2.0中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,而Standby NameNode则不对外提供服务 仅同步active namenode的状态,以便能够在它失败时快速进行切换。 hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。这里我们使用简单的QJM。在该方案中,主备NameNode之间通过一组JournalNode同步元数据 信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode 这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为standby状态 2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个 是Standby,状态由zookeeper进行协调
Spring Boot和Hadoop是两个不同的技术,Spring Boot是一个Java Web开发框架,而Hadoop是一个大数据处理框架。它们并没有直接的联系。如果您想要使用Spring Boot来操作Hadoop集群,则可以使用Hadoop提供的Java API,或者使用一些第三方的Java库来完成操作。 如果您要使用Hadoop 3.x版本,可以按照以下步骤进行操作: 1. 在pom.xml文件中添加hadoop-client依赖: ``` <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.x.x</version> </dependency> ``` 2. 配置Hadoop集群的信息,例如core-site.xml、hdfs-site.xml、mapred-site.xml等,可以通过以下方式: ``` @Configuration public class HadoopConfig { @Bean public Configuration hadoopConfiguration() throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://namenode:8020"); conf.set("mapreduce.framework.name", "yarn"); conf.set("yarn.resourcemanager.address", "resourcemanager:8032"); conf.set("yarn.resourcemanager.scheduler.address", "resourcemanager:8030"); conf.set("mapreduce.jobhistory.address", "historyserver:10020"); conf.set("mapreduce.jobhistory.webapp.address", "historyserver:19888"); return conf; } } ``` 3. 编写Java程序,使用Hadoop提供的API进行操作: ``` @Configuration public class HadoopConfig { @Autowired private Configuration hadoopConfiguration; @Bean public FileSystem fileSystem() throws Exception { return FileSystem.get(hadoopConfiguration); } } ``` 以上是一个简单的示例,您可以根据自己的需求进行修改和扩展。如果您还有其他问题,请随时提出。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值