Hadoop在CentOS7上安装与集群搭建实践

已于 2024-07-27 21:56:53 修改
阅读量709 收藏 19
点赞数 15
分类专栏： 系统运维 Hadoop 文章标签： linux 运维 hadoop
于 2024-07-20 09:56:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyf1203/article/details/140565787
版权

前提条件（安装jdk、配置好静态IP、服务器名称hostsname）

安装epel-release 相当于一个软件仓库

yum install -y epel-release

一、下载

http://archive.apache.org/dist/hadoop/common/

二、解压缩

mkdir /opt/module
tar -zxvf /opt/software/hadoop-3.3.5.tar.gz -C /opt/module/

三、配置环境变量

cd /etc/profile.d/
vim my_env.sh

内容如下：

#JAVA_HOME
export JAVA_HOME=/usr/local/java/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存后刷新环境变量

source /etc/profile

四、检测是否安装成功

hadoop version

本地模式演示

cd /opt/module/hadoop-3.3.5
mkdir ./zyfinput
cd zyfinput/
vim word.txt

内容如下：

zhangsan zhangsan
lisi
wangwu  wangwu
zhaoliu
xiaoqi
huba

执行

 hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar wordcount zyfinput/ ./zyfoutput

此时会产生zyfoutput文件夹，用来保存执行结果

查看执行结果（每个单词的统计结果）

cat ./zyfoutput/part-r-00000

差异化拷贝hadoop（可不执行，作为扩充记录）

rsync -av /opt/module/hadoop-3.3.5/ root@hadoop104:/opt/module/hadoop-3.3.5/

在/usr/local/bin/目录下创建xsync.sh（用来将文件目录同步其他机器的脚本）

cd /usr/local/bin/
vim xsync.sh

内容如下：

#!/bin/bash
#1.判断参数个数
if [ $# -lt 1 ]
then
	echo Not Enough Arguement!
	exit;
fi

#2.遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
	echo ====================$host====================
	#3.遍历所有目录，挨个发送
	for file in $@
	do
		#4.判断文件是否存在
		if [ -e $file ]
			then
				#5.获取父目录
				pdir=$(cd -P $(dirname $file); pwd)

				#6.获取当前文件名称
				fname=$(basename $file)
				ssh $host "mkdir -p $pdir"
				rsync -av $pdir/$fname $host:$pdir
			else
				echo $file does not exists!
		fi
	done
done

刷新环境变量，使得刚才创建的xsync.sh生效

source /etc/profile
chmod 777 xsync.sh

使用/xsync.sh命令，同步配置文件到hadoop103 hadoop104

xsync.sh /etc/profile.d/my_env.sh

在每台机器上刷新环境变量

source /etc/profile

配置免密登录其他机器

进入home（家）目录

cd ~

查看隐藏文件

ls -al

cd ./.ssh

生成公钥、私钥

ssh-keygen -t  rsa

拷贝公钥到其他服务器（hadoop103）

ssh-copy-id hadoop103

此时 hadoop2登录hadoop3就不需要密码了

五、hadoop集群搭建

前提条件（克隆三台【hadoop102/103/104】机器配置好hostname、固定ip、安装好jdk）

hostname、固定ip配置，可参看“centos虚拟机克隆配置.docx”文档

1、配置其他节点

拷贝102的hadoop到103节点、104节点（在hadoop102节点执行）

scp -r /opt/module/hadoop-3.3.5/ root@hadoop103:/opt/module/

scp -r /opt/module/hadoop-3.3.5/ root@hadoop104:/opt/module/

每台机器检查hadoop 是否安装成功

hadoop version

2、配置文件

都在/opt/module/hadoop-3.3.5/etc/hadoop目录下

2.1、核心配置文件 core-site.xml的配置
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

       <!-- 指定NameNode的地址 -->

       <property>
              <name>fs.defaultFS</name>
              <value>hdfs://hadoop102:8020</value>
       </property>

       <!-- 指定hadoop数据的存储目录  -->
       <property>
              <name>hadoop.tmp.dir</name>
              <value>/opt/module/hadoop-3.3.5/data</value>
       </property>

       <!-- 配置HDFS网页登录使用的静态用户为 root -->
       <property>
              <name>hadoop.http.staticuser.user</name>
              <value>root </value>
       </property>
</configuration>

2.2、HDFS配置文件 hdfs-site.xml 文件
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- nn web 端访问地址 -->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>hadoop102:9870</value>
	</property>
	<!-- 2nn web端访问地址  -->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>hadoop104:9868</value>
	</property>
</configuration>

2.3、配置yarn-site.xml文件

2.4、MapReduce配置文件 mapred-site.xml 如下

执行以下两句，输出的内容即为mapreduce.application.classpath的value内容

export HADOOP_CLASSPATH=$(hadoop classpath)

echo $HADOOP_CLASSPATH


<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!--  指定MapReduce 程序运行在Yarn上   -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
	  <name>yarn.app.mapreduce.am.env</name>
	  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
	  <name>mapreduce.map.env</name>
	  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
	  <name>mapreduce.reduce.env</name>
	  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
		<name>mapreduce.application.classpath</name>
		<value>/opt/module/hadoop-3.3.5/etc/hadoop:/opt/module/hadoop-3.3.5/share/hadoop/common/lib/*:/opt/module/hadoop-3.3.5/share/hadoop/common/*:/opt/module/hadoop-3.3.5/share/hadoop/hdfs:/opt/module/hadoop-3.3.5/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.3.5/share/hadoop/hdfs/*:/opt/module/hadoop-3.3.5/share/hadoop/mapreduce/*:/opt/module/hadoop-3.3.5/share/hadoop/yarn:/opt/module/hadoop-3.3.5/share/hadoop/yarn/lib/*:/opt/module/hadoop-3.3.5/share/hadoop/yarn/*</value>
	</property>
</configuration>

2.5、配置workers文件内容

hadoop102

hadoop103

hadoop104

3、在集群上分发配置好的Hadoop配置文件

xsync.sh /opt/module/hadoop-3.3.5/etc/hadoop/

去103和104查看文件分发情况

cat /optmodule/hadoop-3.3.5/etc/hadoop/core-site.xml

4、启动集群

hdfs namenode -format  （name格式化）

如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不大已有的数据。如果集群在运行过程中保持，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化）

初始化成功后，会多出一个data和logs文件夹

4.1、将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数

vim ./sbin/start-dfs.sh

vim ./sbin/stop-dfs.sh

在文件头部添加如下内容（否则启动时会报错）

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

4.2、将start-yarn.sh，stop-yarn.sh两个文件顶部添加以下参数

vim ./sbin/start-yarn.sh

vim ./sbin/stop-yarn.sh

在文件头部添加如下内容（否则启动时会报错）

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

4.3、同步到其他节点上（hadoop103、hadoop104）
xsync.sh /opt/module/hadoop-3.3.5/sbin/start-dfs.sh

xsync.sh /opt/module/hadoop-3.3.5/sbin/stop-dfs.sh

xsync.sh /opt/module/hadoop-3.3.5/sbin/start-yarn.sh

xsync.sh /opt/module/hadoop-3.3.5/sbin/stop-yarn.sh
4.4、启动HDFS(hadoop102节点上)
./sbin/start-dfs.sh

在hadoop102上 执行jps命令

在hadoop103上 执行jps命令

在hadoop104上 执行jps命令

4.5、在配置了ResourceManager的节点上（hadoop103）启动YARN

./sbin/start-yarn.sh

jps （hadoop103节点）

jps （hadoop102节点）

jps （hadoop104节点）

启动的节点要与下图对应上

Web端查看HDFS的NameNode

浏览器输入：http://192.168.154.102:9870/

Web端查看YARN的ResourceManager

浏览器输入：http://192.168.154.103:8088

5、集群测试

5.1、在hadoop102节点上执行（上传文件word到zyfinput文件夹下）
hadoop fs -mkdir /zyfinput

hadoop fs -put ./zyfinput/word.txt  /zyfinput

文件存储在/opt/module/hadoop-3.3.5/data/dfs/data/current/BP-929129054-192.168.154.102-1698241909747/current/finalized/subdir0/subdir0/ blk_1073741825

5.2、执行计算测试
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar wordcount /zyfinput /zyfoutput

执行过程中可看到进度

执行完毕后，可查看执行结果

六、异常处理

当在使用中发生错误，

  1. 先停掉进程 用stop-dfs.sh  stop-yarn.sh
  2. 删除集群中每个节点的data 和logs目录，

3、name格式化：hdfs namenode -format

4、再次启动

七、配置历史服务器

在mapred-site.xml文件中追加一下配置信息

vim ./etc/hadoop/mapred-site.xml

<!-- 历史服务器地址 -->

<property>
         <name>mapreduce.jobhistory.address</name>
         <value>hadoop102:10020</value>
</property>


<!-- 历史服务器web端地址 -->

<property>
         <name>mapreduce.jobhistory.webapp.address</name>
         <value>hadoop102:19888</value>
</property>

同步到其他节点

xsync.sh ./etc/hadoop/mapred-site.xml

在hadoop103节点上停掉yarn，然后重新启动后，用jps检查是否启动

./sbin/stop-yarn.sh

./sbin/start-yarn.sh

jps

在hadoop102节点上启动历史数据服务

./bin/mapred --daemon start historyserver

jps

多了个jobHistorySever

八、配置日志的聚集

在yarn-site.xml文件下添加如下配置

vim ./etc/hadoop/yarn-site.xml

同步到其他节点

xsync.sh ./etc/hadoop/yarn-site.xml

在hadoop102节点上停掉历史服务器

mapred --daemon stop historyserver

在hadoop103节点上停掉yarn后重新启动

./sbin/stop-yarn.sh

./sbin/start-yarn.sh

在hadoop102节点上启动历史服务器

mapred --daemon starthistoryserver

测试

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar wordcount /zyfinput /zyfoutput2

删除一个文件

hadoop fs -rm /zyfinput/word.txt  

hadoop fs -rm / zyfinput /*.txt

#删除目录和子文件

hadoop fs -rm -r /zyfinput/

hdfs dfs -rm -r /zyfoutput

九、单节点服务组件的启动/停止（配置ssh是前提）

1、分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

2、启动/停止 YARN

yarn --daemon start/stop resourcemanager/nodemanager

3、整体启动/停止HDFS （在hadoop102上启动）

./sbin/start-dfs.sh   ./sbin/stop-dfs.sh

4、整体启动/停止YARN（在hadoop103上启动）

./sbin/start-yarn.sh   ./sbin/stop-yarn.sh

十、hadoop 常用命令

hadoop fs 命令 等同于 hdfs dfs 命令

创建目录sanguo

hadoop fs -mkdir /sanguo

剪切上传（shuguo.txt上传到HDFS的sanguo目录）

hadoop fs -moveFromLocal ./test_sanguo/shuguo.txt /sanguo

拷贝上传（weiguo.txt上传到HDFS的sanguo目录）

 hadoop fs -copyFromLocal ./test_sanguo/weiguo.txt /sanguo

 hadoop fs -put ./test_sanguo/wuguo.txt /sanguo

内容追加（将本地的liubei.txt文件的内容追加到HDFS的shuguo.txt）

hdfs dfs -appendToFile ./test_sanguo/liubei.txt /sanguo/shuguo.txt

下载(将HDFS的wuguo.txt 下载到test_sanguo目录下)

hadoop fs -copyToLocal /sanguo/wuguo.txt ./test_sanguo

下载可更改名称(将HDFS的wuguo.txt 下载到test_sanguo目录下,名字为shuguo2.txt)

hadoop fs -get /sanguo/wuguo.txt ./test_sanguo/shuguo2.txt

查看HDFS列表(sanguo目录的列表)

hdfs dfs -ls /sanguo

查看HDFS根列表

hadoop fs -ls /

显示内容（显示HDFS上wuguo.txt的内容）

hadoop fs -cat /sanguo/wuguo.txt

修改权限（修改shuguo.txt未666）

hadoop fs -chmod 666 /sanguo/shuguo.txt

修改文件所属权限（-chgrp -chmod  -chown)与linux文件系统操作一样

hadoop fs -chown zyf:zyf /sanguo/shuguo.txt

创建路径 （创建jinguo目录）

hadoop fs -mkdir /jinguo

从HDFS一个路径拷贝到HDFS的另一个路径（从sanguo拷贝到jinguo）

hadoop fs -cp /sanguo/shuguo.txt /jinguo

从一个路径移动到HDFS的另一个路径（从sanguo目录把wuguo.txt移动到jinguo目录）

hadoop fs -mv /sanguo/wuguo.txt /jinguo

显示一个HDFS文件的末尾1kb的数据

hdfs dfs -tail /sanguo/weiguo.txt

删除文件

hdfs dfs -rm /jingguo/*

hdfs dfs -rm /jingguo/shuguo.txt

删除目录及目录里面的内容（递归删除）

hadoop fs -rm -r /jingguo

统计目录的大小信息

hdfs dfs -du  /sanguo

hdfs dfs -du -h /sanguo

hdfs dfs -du -s -h /sanguo

设置HDFS中文件的副本数量(只有节点数量增加到5时，才可以设置5）

haoop fs -setrep 5 /shanguo/wuguo.txt

附代码实践包：https://download.csdn.net/download/zyf1203/89588796

风雨无阻1203
关注
  • 15
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 4498
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
CentOS下安装hadoop
赤龙绕月的专栏
07-23 646
CentOS下安装hadoop用户配置添加用户adduser hadoop passwd hadoop 权限配置chmod u+w /etc/sudoers vi /etc/sudoers 在 root ALL=(ALL) ALL 下添加 hadoop ALL=(ALL) ALL chmod u-w /etc/sudoers 关闭防火墙查看防火墙状态service iptables st
搭建hadoop环境（保姆级教程）
weixin_44961033的博客
09-17 330
搭建Hadoop环境
Hadoop集群搭建(一)-创建虚拟机+安装CentOS
weixin_49001740的博客
04-29 3428
hadoop集群搭建基础准备
Centos中Hadoop安装详细过程（含图文）
热门推荐
weixin_43333607的博客
01-12 1万+
CentOS中hadoop的安装 安装环境 虚拟机上三台centos系统 使用NET模式连接有线网络 在命令行使用ifconfig命令查看静态IP地址 Xshell5安装在Windows上，用于连接虚拟机 所需软件下载 Hadoop官网下载Hadoop：http://hadoop.apache.org/ JDK官网下载：https://www.oracle.com/technet...
在CentOS上安装Hadoop集群
Well's Column
11-22 2014
Hadoop是Apache组织的一个顶级项目，它是一个分布式系统架构。Hadoop实现了一个分布式文件系统（HDFS），易于部署在低廉的硬件设备上，并且极易扩充。Hadoop的核心是HDFS和MapReduce。本篇文章主要介绍如何安装Hadoop集群，伪分布模式的安装应该是简单的，因此这里旨在在3台互通的centOS平台上安装完全分布模式的Hadoop集群。 准备工作：3台装有cent
零基础在Centos上安装Hadoop
宋发元
11-08 747
最近在学习Hadoop的知识，现将安装过程记录下，安装Hadoop需要安装java。使用的机器是在VM上安装的Centos 7 64位。 一、准备所需要的软件: 1、JDK:1.8 2、Hadoop:2.8.2 二、在VM上装三台虚拟机 其中三台的IP是： Master:192.168.2.212 Worker1:192.168.2.231 Worker2:192.168.2.12
Centos中hadoop安装
幻染雨停轻的博客
05-18 635
首先要配置好Java环境变量，配置好后就可以进行hadoop的安装了下载好hadoop的压缩包，导入到虚拟机中（这里我导入到了/home/hyxy/InstallationPackage中了）将压缩包解压到# tar -zxvf hadoop-2.8.3.tar.gz -C /usr/local/之后查看一下是否解压到了指定目录修改文件# vi /etc/profile在最下面添加：HADOOP_...
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
细细品味Hadoop_Hadoop集群CentOS安装配置.rar_hadoop
09-24
本篇文章将详细讲解Hadoop在CentOS操作系统上的安装与配置，帮助你深入理解Hadoop集群的搭建过程。 首先，我们要了解Hadoop的基本概念。Hadoop是由Apache软件基金会开发的一个开源框架，它允许分布式存储和处理大量...
centos安装hadoop超级详细
09-20
在centos环境下安装hadoop。有详细的过程，代码分析。还有详细的操作逻辑。
Centos7下安装hadoop-2.8.3详细步骤
03-19
CentOS下安装hadoop-2.8.3详细步骤，包括如何调用原生CountWord并输出
Linux上CentOS 7 安装CDH 5.12.1进行集群搭建
07-04
在Linux上的CentOS 7操作系统中安装CDH 5.12.1是构建Hadoop集群的关键步骤。CDH（Cloudera Distributed Hadoop）是由Cloudera公司提供的一个全面的大数据管理平台，包含了多种开源大数据处理项目，如Hadoop、HBase、...
基于CentOS 7的Hadoop集群配置的研究与实现.docx
最新发布
11-07
同时，通过在CentOS 7上的实践，读者可以掌握Hadoop集群的搭建步骤。 1.3 **研究意义** 掌握Hadoop的使用不仅对于计算机科学和技术、软件工程专业的学生，对于任何需要处理大数据的企业和研究者都有重大价值。通过...
Centos7中安装hadoop资源包
01-20
在CentOS7上安装Hadoop，首先确保系统满足必要的依赖条件。你需要安装Java开发套件（JDK），因为Hadoop需要Java环境才能运行。我们看到文件列表中有`jdk-8u281-linux-x64.rpm`，这正是Oracle JDK的rpm包。可以使用...
Centos安装Hadoop
m0_56256471的博客
03-13 2993
Centos安装Hadoop 本文采用xshell来操作 先使用xshell连接虚拟机的ip地址，登录root账号 1. 安装上传下载插件 使用该命令进行安装上传下载的功能 yum -y install lrzsz 2.安装vim插件 大部分centos安装时已经安装好 yum -y install vim 3.下载Hadoop安装包 可以去官网查询自行查询 4.上传Hadoop安装包到Linux内 直接拖拽即可（安装了上传下载插件） 5.解压Hadoop安装包 1)先创建一个目录export
【Hadoop】第二篇--Centos下安装Hadoop
检哥说IT的博客
06-06 1478
Centos6.8下安装Hadoop2.7，大致分为三个步骤：①虚拟机环境准备②安装JDK③安装Hadoop前提条件：具备Linux操作系统基础，并且已安装虚拟机。
CentOS下搭建Hadoop集群入门教程：安装与配置
Hadoop集群构建的第一步是在CentOS操作系统上进行安装和配置。CentOS是一个开源的、企业级的Linux发行版，源于Red Hat Enterprise Linux (RHEL) 的源代码，但不包含封闭源代码软件。它提供长达七年的安全更新支持，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值