大数据学习3.1 Hadoop环境准备

最新推荐文章于 2023-10-20 16:44:05 发布

zl202111

最新推荐文章于 2023-10-20 16:44:05 发布

阅读量744

点赞数

文章标签： hadoop 大数据学习

本文链接：https://blog.csdn.net/zl202111/article/details/127715719

版权

Hadoop集群拓扑

1、集群拓扑

一个主节点，两个从节点

2、角色分配

完全分布式Hadoop集群搭建需要在集群的每个节点都安装Hadoop，集群角色分配如下表所示。

节点	角色
master	NameNode, DataNode
slave1	DataNode
slave2	DataNode

一、虚拟机安装

安装虚拟机CentOS 7

配置了静态IP地址（192.168.1.100）和主机名（ied）
关闭与禁用了防火墙
安装了vim编辑器

二、虚拟机克隆

1、克隆类型

（1）完整克隆

完整克隆是对原始虚拟机完全独立的一个拷贝，它不和原始虚拟机共享任何资源，可以脱离原始虚拟机独立使用。

（2）链接克隆

链接克隆需要和原始虚拟机共享同一虚拟磁盘文件，不能脱离原始虚拟机独立运行。但是采用共享磁盘文件可以极大缩短创建克隆虚拟机的时间，同时还节省物理磁盘空间。

2、克隆步骤

（1）克隆出master虚拟机

关闭CentOS 7虚拟机，在VMware工具左侧系统资源库中右键单击CentOS 7，选择“管理”列表下的“克隆”选项，弹出克隆虚拟机向导。
选择克隆源——虚拟机中的当前状态
选择克隆类型——创建链接克隆
设置新虚拟机名称和位置
单击【完成】按钮
单击【关闭】，查看master虚拟机

（2）克隆出slave1虚拟机

按照克隆master虚拟机的步骤克隆出slave1虚拟机

（3）克隆出slave2虚拟机

按照克隆master虚拟机的步骤克隆出slave2虚拟机

三、虚拟机配置

1、配置master虚拟机

启动master虚拟机

（1）设置主机名

执行命令：hostnamectl set-hostname master
重启虚拟机，提示符变成[root@master ~]#

（2）设置静态IP地址

查看IP地址可选范围
查看网关配置
执行命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33
存盘退出，执行命令：systemctl restart network
执行命令：ip addr，查看设置的静态IP地址

（3）配置主机名与IP地址映射

执行命令：vim /etc/hosts，添加三个映射（集群有三个虚拟机）
存盘退出，验证配置效果

2、配置slave1虚拟机

启动slave1虚拟机

（1）设置主机名

执行命令：hostnamectl set-hostname slave1
重启虚拟机，提示符变成[root@slave1~]#

（2）设置静态IP地址

执行命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33
存盘退出，执行命令：systemctl restart network
执行命令：ip addr，查看设置的静态IP地址

（3）配置主机名与IP地址映射

执行命令：vim /etc/hosts，添加三个映射（集群有三个虚拟机）
存盘退出，验证配置效果
slave1虚拟机可以通过主机名来ping通master虚拟机和slave1虚拟机
master虚拟机可以通过主机名来ping通slave1虚拟机

3、配置slave2虚拟机

启动slave2虚拟机

操作与slave1相同

slave2虚拟机可以通过主机名来ping通master虚拟机、slave1虚拟机和slave2虚拟机
master虚拟机可以通过主机名来ping通slave1虚拟机和slave2虚拟机

四、关闭SeLinux安全机制

安全增强型 Linux（Security-Enhanced Linux）简称 SELinux，它是一个 Linux 内核模块，也是 Linux 的一个安全子系统。
SELinux 主要作用就是最大限度地减小系统中服务进程可访问的资源（最小权限原则）。
SELinux 有三种工作模式，分别是enforcing：强制模式；permissive：宽容模式；disabled：关闭 SELinux。
/etc/sysconfig/selinux 文件里SELINUX=enforcing，将enforcing改成disabled，就可以关闭SeLinux安全机制