centos7 jdk8 搭建hadoop-3.3.0集群

最新推荐文章于 2022-08-28 04:02:26 发布
最新推荐文章于 2022-08-28 04:02:26 发布
阅读量272 收藏 1
点赞数
分类专栏： 大数据 文章标签： hadoop linux centos 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhoujianhui008/article/details/114090978
版权

目录

一、环境准备

0.配置说明

软体名称软体版本号
jdk1.8.0_281
centos73.10.0-1160.15.2.el7.x86_64
hadoop3.3.0

hadoop的运行环境：

节点主机名IP
ResourceManager、DataNode、NameNode、NodeManagemaster192.168.81.193
DataNode、NodeManageslave1192.168.81.194
DataNode、NodeManageslave2192.168.4.139
DataNode、NodeManageslave3192.168.4.140
SecondaryNameNode、DataNode、NodeManageslave4192.168.4.141

1.关闭防火墙

systemctl stop firewalld && systemctl disable firewalld

2.关闭selinux

setenforce 0

3.关闭swap

sed -ri 's/.*swap.*/#&/' /etc/fstab

4.设置host

192.168.81.193 master
192.168.81.194 slave1
192.168.4.139 slave2
192.168.4.140 slave3
192.168.4.141 slave4

建议设置完重启下服务器

5.下载安装jdk、hadoop

  1. 下载jdk(每台服务器操作相同)
    在这里插入图片描述

上传至服务器 (也可以wget 方式多样，灵活处理，不再赘述)

scp -r jdk-8u281-linux-x64.tar.gz root@192.168.81.193:/data/hadoop

解压（目录随意）

tar -xzvf jdk-8u281-linux-x64.tar.gz

我的文件解压目录为/opt/jdk

配置环境变量
vi /etc/profile

JAVA_HOME=/opt/jdk
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

文件末尾添加如下内容：
在这里插入图片描述

配置立即生效

source /etc/profile

输入 java 命令 测试，如图则配置成功

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  1. 下载hadoop(每台服务器操作相同)
    在这里插入图片描述
    在这里插入图片描述

上传安装包至服务器

scp -r hadoop-3.3.0.tar.gz master:/data/hadoop

解压

tar -xzvf hadoop-3.3.0.tar.gz

解压目录为/opt/hadoop

配置环境变量
vi /etc/profile

export HADOOP_HOME=/home/hadoop/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

配置立即生效

source /etc/profile

输入 hadoop version 测试，如图则配置成功

在这里插入图片描述

6.配置免密登录

# 输入命令回车
ssh-keygen 
# 按照提示先输入yes,再输入服务器用户对应密码
# 每两台配置双向ssh(包含自己，自己也是个数据节点) 
ssh-copy-id root@master

二、集群搭建

1.修改配置

注意：每台服务器操作相同，不再赘述

  • 修改core-site.xml
vim /opt/hadoop/hadoop-3.3.0/etc/hadoop/core-site.xml
# 添加如下配置
 <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>

在这里插入图片描述

  • 修改hdfs-site.xml
# 添加如下配置
<property>
   <name>dfs.replication</name>
   <value>5</value>
</property>

 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>slave4:50090</value>
</property>

<property>
   <name>dfs.permissions</name>
   <value>false</value>
   <description>need not permissions</description>
</property>
  • 修改 mapred-site.xml
# 添加如下配置
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>
  • 修改yarn-site.xml
<property>
        <description>指定YARN主节点（ResourceManager）的地址</description>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
   </property>
 <property>
   <name>yarn.resourcemanager.address</name>
   <value>master:8032</value>
</property>
<!-- NodeManager上运行的附属服务。需要配置成mapreduce_shfffle,才可运行MapReduce程序默认值 -->
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>

   <property>
        <discription>每个节点可用内存,单位MB,默认8182MB</discription>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
   </property>

   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
   </property>
<property>
        <name>yarn.application.classpath</name>
        <value>/opt/hadoop/hadoop-3.3.0/etc/hadoop:/opt/hadoop/hadoop-3.3.0/share/hadoop/common/lib/*:/opt/hadoop/hadoop-3.3.0/share/hadoop/common/*:/opt/hadoop/hadoop-3.3.0/share/hadoop/hdfs:/opt/hadoop/hadoop-3.3.0/share/hadoop/hdfs/lib/*:/opt/hadoop/hadoop-3.3.0/share/hadoop/hdfs/*:/opt/hadoop/hadoop-3.3.0/share/hadoop/mapreduce/*:/opt/hadoop/hadoop-3.3.0/share/hadoop/yarn:/opt/hadoop/hadoop-3.3.0/share/hadoop/yarn/lib/*:/opt/hadoop/hadoop-3.3.0/share/hadoop/yarn/*</value>
    </property>

修改启动、停止脚本，使其能以root身份运行（不推荐生产环境如此操作）

  • 修改stop-dfs.sh，start-dfs.sh
vim /opt/hadoop/hadoop-3.3.0/sbin/start-dfs.sh
# 文件开头添加如下配置
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

vim /opt/hadoop/hadoop-3.3.0/sbin/stop-dfs.sh
# 文件开头添加如下配置
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
  • 修改start-yarn.sh，stop-yarn.sh
vim /opt/hadoop/hadoop-3.3.0/sbin/start-yarn.sh
# 文件开头添加如下配置
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

vim /opt/hadoop/hadoop-3.3.0/sbin/stop-yarn.sh
# 文件开头添加如下配置
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

2.执行脚本

执行 格式化

hdfs namenode -format

执行如下脚本 （每个节点执行相同操作）

start-dfs.sh
在这里插入图片描述
在这里插入图片描述
启动完成

2.测试

  • 访问地址：

在这里插入图片描述
在这里插入图片描述

zhoujianhui008
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Centos7 + Hadoop3 搭建伪分布式集群
01-07
操作系统：Centos7 Java：jdk-8u162-linux-x64 hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;iptables -Z;iptables -L、iptables-save、setenforce 0 vi /etc/selinux/config 改：SELINUX=Enfocing—>SELINUX=disable 三、ssh免密登录
Centos7.0系统配置Hadoop集群（以3节点为例）
06-16
Centos7.0系统下配置Hadoop集群（以3节点为例）超详细过程
CentOS7下搭建Hadoop(3.3.1)集群
weixin_43747691的博客
08-11 760
CentOS7 下搭建Hadoop(3.3.1)集群，三台虚拟机
Centos7安装Hadoop 3.3.0
titan585的博客
09-24 1718
安装环境 系统环境 CentOS 7.8     安装Java （openjdk 1.8） 安装JDK 搜索1.8版本可安装的文件 yum list java-1.8*   安装JDK 1.8.0 yum install java-1.8.0-openjdk* -y   修改系统变量 查找JDK的安装路径 which java ls -lrt /usr/bin/java ls -lrt /etc/alternatives/java 编辑/etc/prof
华为云Centos7搭建hadoop集群一：云服务器准备
embelfe_segge的博客
08-28 564
控制台显示的内网IP要配置可以互相连接，像我买了三台就直接配置三台的连接，另外最好不要开放很多端口，可以对自己的IP配置开放所有端口，如自己IP：192.168.1.1。ssh端口可以开放，但是密码一定不要是简单的密码，云服务不是自己的虚拟机，一定要注意系统安全问题，可以在随机密码网站。如果以上有问题，可以在华为云提交工单，人工反馈还是很快的，另外安全组，建议所有端口开放的只对自己的IP进行设置，查看自己IP方法，百度本机IP，就可以了，因为小伙伴和我一起学习，所以22端口我开了所有，不过不建议这么做。..
Hadoop虚拟机搭建Hadoop-3.3.0集群环境
06-07
在搭建Hadoop集群之前，我们需要准备以下要素： 1. **虚拟机环境**：通常我们会使用VirtualBox或VMware等虚拟化软件创建多台虚拟机来模拟集群环境。 2. **操作系统**：一般选择Linux发行版，如Ubuntu、CentOS等，...
hadoop-3.3.0.tar.gz
08-21
这个压缩包文件“hadoop-3.3.0.tar.gz”包含了Hadoop的3.3.0版本，这是一个重要的更新，提供了许多改进和新特性。在Linux环境中，我们可以使用tar命令来解压这个文件，以便在本地系统上安装和运行Hadoop。 Hadoop的...
hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
06-14
这个名为“hadoop-3.3.0-Centos7-64-with-snappy.tar.gz”的压缩包文件，是专为CentOS 7 64位系统优化的Hadoop 3.3.0版本，内含Snappy压缩算法支持。 Hadoop 3.3.0是Hadoop发展中的一个重要里程碑，它引入了许多...
CentOS JAVA jdk-8u202-linux-x64 脚本安装包
10-28
这里我们关注的是在CentOS操作系统上安装Java开发工具包（JDK）的过程，具体来说是Oracle JDK 1.8的版本8u202。这个过程通常涉及到下载、解压和配置环境变量等步骤。下面我们将详细探讨这些知识点。 首先，`CentOS`...
Hadoop-3.3.0-Centos7-64bit_编译安装详解.md
11-14
Hadoop-3.3.0-Centos7-64bit_编译安装详解.md
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
09-18
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
CentOS7 下搭建hadoop集群
donkeyboy001的博客
01-27 135
1.准备虚拟机： #yum upgrade 升级系统 慎用，装的是 7.2 升级后变成 7.6 yum install net-tools #ifconfig模块 yum install vim 2修改为静态ip,修改网卡信息(克隆机) #查看网卡信息 ip addr #修改 /etc/sysconfig/network-scripts/ 中 ifcfg-eno16777736 文...
CentOS7搭建Hadoop集群
KeithRong的博客
02-20 207
1. 前置准备 1.准备三台虚拟机 – node-1 (主节点) , node-2, node-3 2.JDK环境 3.修改主机名称 hostnamectl set-hostname node-1 vi /etc/hosts <!-- hosts末尾添加 --> 192.168.25.111 node-1 192.168.25.112 node-2 192.168.25.113 no...
centos7虚拟机搭建hdfs集群
u010783161的博客
12-29 482
采用VMware安装虚拟机，具体安装过程，centos镜像下载、虚拟机网络配置等环节省略.... hdfs角色-节点规划如下： 角色-节点规划 节点 节点IP NameNode DataNode NameSecondary node1 192.168.17.191 * node2 192.168.17.1...
CentOS7虚拟机实现Hadoop3.0分布式集群安装
qq_34885184的博客
08-07 451
虚拟机环境配置 静态IP配置 主机名设置 hosts文件配置 防火墙 ssh免密码登陆 jdk 安装
记一次 Centos7.x Hadoop 3.x HDFS 读取文件
一花一世界
12-20 408
集群搭建 集群搭建过程 在客户端节点上 上传实例文件 提示：这里可以添加要学的内容 例如： 1、 搭建 Java 开发环境 2、 掌握 Java 基本语法 3、 掌握条件语句 4、 掌握循环语句 学习时间： 提示：这里可以添加计划学习的时间 例如： 1、 周一至周五晚上 7 点—晚上9点 2、 周六上午 9 点-上午 11 点 3、 周日下午 3 点-下午 6 点 学习产出： 提示：这里统计学习计划的总量 例如： 1、 技术笔记 2 遍 2、CSDN 技术博客 3 篇 3、 学习的 vlog 视频 1
CentOS7下Hadoop分布式集群搭建（友好型）
weixin_44283054的博客
03-19 615
a.虚拟机VMware16.0 b.操作系统CentOS-7-x86 c. hadoop3.0 d. jdk1.8 一. 环境基础 1.安装虚拟机：https://mp.weixin.qq.com/s/mkt3HjLgXmqxBP4_tucReQ。 2.安装CentOS7可以去官网下载，因为一些限制这里上传不了 3.hadoop3.0和jdk1.8 链接：https://pan.baidu.com/s/15ZlxfymyR8vsJZ7ucvBOkg 提取码：u32b 复制这段内容后打开百度网盘手机App，操
centos7安装配置hadoop-3.2.2(单机安装、伪分布式安装)
qq_37675219的博客
04-22 1055
前言，看着官网的教程还是有坑的，so总结了一下 一.环境准备 centos7 hadoop3.2.2 jdk1.8 yum install rsync -y ssh:最小化安装的系统中已有ssh,不用安装 二.开始安装 1 首先安装rsync yum install rsync -y 2 关闭防火墙 systemctl stop firewalld.service 3.hadoop地址 下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache..
hadoop与jdk版本对应关系
m0_67402236的博客
04-03 5071
hadoop-3.1.3 JDK 1.8 hadoop-2.10.2JDK 1.7 or 1.8 hadoop-2.9.2 JDK 1.7 or 1.8 hadoop-2.8.2 JDK 1.7+ hadoop-2.7.1 JDK 1.7+
centos7搭建hadoop-3.3.0集群手记
最新发布
06-28
很高兴为您提供CentOS 7搭建Hadoop 3.3.集群的手记。 1. 安装Java 首先，需要安装Java。可以使用以下命令安装OpenJDK 8： sudo yum install java-1.8.-openjdk-devel 2. 下载Hadoop 下载Hadoop 3.3.版本，并将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值