Hadoop集群+Spark集群搭建（一篇文章就够了）

最新推荐文章于 2023-09-12 11:03:15 发布
最新推荐文章于 2023-09-12 11:03:15 发布
阅读量398 收藏
点赞数 3
分类专栏： 大数据 文章标签： hadoop 大数据 linux centos 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhang90522/article/details/119665090
版权

本文档环境基于ubuntu16.04版本，(转发请注明出处：http://www.cnblogs.com/zhangyongli2011/ 如发现有错，请留言，谢谢)

一、准备

1.1 软件版本

  • Ubuntu 16.04.6 (ubuntu-16.04.6-server-amd64.iso)
  • JDK 1.8 (jdk-8u201-linux-x64.tar.gz)
  • Hadoop 2.7.7 (hadoop-2.7.7.tar.gz)
  • Spark 2.1.0 (spark-2.1.0-bin-hadoop2.7.tgz)

1.2 网络规划

本文规划搭建3台机器组成集群模式，IP与计算机名分别为, 如果是单台搭建，只需填写一个即可

192.168.241.132 master
192.168.241.133 slave1
192.168.241.134 slave2

1.3 软件包拷贝

可将上述软件包拷贝到3台机器的opt目录下

  • JDK 1.8
  • Hadoop 2.7.7
  • Spark 2.1.0

1.4 SSH设置

修改/etc/ssh/sshd_config文件，将以下三项开启yes状态

PermitRootLogin yes
PermitEmptyPasswords yes
PasswordAuthentication yes

重启ssh服务

service ssh restart

这样root用户可直接登陆，以及为后续ssh无密码登录做准备。

1.5 绑定IP和修改计算机名

1.5.1 修改/etc/hosts,添加IP绑定，并注释127.0.1.1(不注释会影响hadoop集群)

root@master:/opt# cat /etc/hosts
127.0.0.1	localhost
#127.0.1.1	ubuntu
# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

192.168.241.132 master
192.168.241.133 slave1
192.168.241.134 slave2

1.5.2 修改/etc/hostname,为绑定计算机名。(计算机名和上面hosts绑定名必须一致)

1.6 SSH无密码登陆(需提前安装ssh)

1.用rsa生成密钥，一路回车。

ssh-keygen -t rsa

2.进到当前用户的隐藏目录(.ssh)

cd ~/.ssh

3.把公钥复制一份，并改名为authorized_keys

cp id_rsa.pub authorized_keys

这步执行完后，在当前机器执行ssh localhost可以无密码登录本机了。
如本机装有ssh-copy-id命令，可以通过

ssh-copy-id root@第二台机器名

然后输入密码，在此之后在登陆第二台机器，可以直接

ssh[空格]第二台机器名

进行登录。初次执行会提示确认，输入yes和登陆密码，之后就没提示了。

1.7 JDK安装(三台机器可同步进行)

下载：jdk-8u201-linux-x64.tar.gz 包，放到/opt下解压

1.7.1 将解压后的文件夹重命名

mv jdk1.8.0_201 jdk

1.7.2 将JDK环境变量配置到/etc/profile中

export JAVA_HOME=/opt/jdk
export JRE_HOME=/opt/jdk/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

1.7.3 检查JDK是否配置好

source /etc/profile
java -version

提示以下信息代表JDK安装完成：

java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)

1.8 其他配置

1.8.1 网络配置

修改为固定IP ，/etc/network/interfaces

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
auto eth0
#iface eth0 inet dhcp
iface eth0 inet static
address 192.168.241.132
netmask 255.255.255.0
gateway 192.168.20.1

重启网络

service networking restart

1.8.2 DNS配置

第一种方法，永久改

修改/etc/resolvconf/resolv.conf.d/base(这个文件默认是空的)

nameserver 119.6.6.6

保存后执行

resolvconf -u

查看resolv.conf 文件就可以看到我们的设置已经加上

cat /etc/resolv.conf

重启resolv

/etc/init.d/resolvconf restart

第二种方法，临时改

修改 /etc/resolv.conf文件，增加

nameserver 119.6.6.6

重启resolv

/etc/init.d/resolvconf restart

二、Hadoop部署

2.1 Hadoop安装(三台机器可同步进行)

  1. 下载hadoop2.7.7(hadoop-2.7.7.tar.gz)
  2. 解压 tar -zxvf hadoop-2.7.7.tar.gz ，并在主目录下创建tmp、dfs、dfs/name、dfs/node、dfs/data
cd /opt/hadoop-2.7.7
mkdir tmp
mkdir dfs
mkdir dfs/name
mkdir dfs/node
mkdir dfs/data

2.2 Hadoop配置

以下操作都在hadoop-2.7.7/etc/hadoop下进行

2.2.1 编辑hadoop-env.sh文件，修改JAVA_HOME配置项为JDK安装目录

export JAVA_HOME=/opt/jdk

2.2.2 编辑core-site.xml文件，添加以下内容

其中master为计算机名，/opt/hadoop-2.7.7/tmp为手动创建的目录

<configuration>
 <property>  
  <name>fs.defaultFS</name>  
  <value>hdfs://master:9000</value>  
 </property>  
 <property>  
  <name>io.file.buffer.size</name>  
  <value>131072</value>  
 </property>  
 <property>  
  <name>hadoop.tmp.dir</name>  
  <value>file:/opt/hadoop-2.7.7/tmp</value>  
  <description>Abasefor other temporary directories.</description>  
 </property>  
 <property>  
  <name>hadoop.proxyuser.spark.hosts</name>  
  <value>*</value>  
 </property>  
<property>  
  <name>hadoop.proxyuser.spark.groups</name>  
  <value>*</value>  
 </property> 
</configuration>

2.2.3 编辑hdfs-site.xml文件，添加以下内容

其中master为计算机名，
file:/opt/hadoop-2.7.7/dfs/name和file:/opt/hadoop-2.7.7/dfs/data为手动创建目录

<configuration>
<property>  
  <name>dfs.namenode.secondary.http-address</name>  
  <value>master:9001</value>  
 </property>  
  <property>  
   <name>dfs.namenode.name.dir</name>  
   <value>file:/opt/hadoop-2.7.7/dfs/name</value>  
 </property>  
 <property>  
  <name>dfs.datanode.data.dir</name>  
  <value>file:/opt/hadoop-2.7.7/dfs/data</value>  
  </property>  
 <property>  
  <name>dfs.replication</name>  
  <value>3</value>  
 </property>  
 <property>  
  <name>dfs.webhdfs.enabled</name>  
  <value>true</value>  
 </property>  
</configuration>

复制mapred-site.xml.template并重命名为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

2.2.4 编辑mapred-site.xml文件，添加以下内容

其中master为计算机名

<configuration>
<property>  
   <name>mapreduce.framework.name</name>  
   <value>yarn</value>  
 </property>  
 <property>  
  <name>mapreduce.jobhistory.address</name>  
  <value>master:10020</value>  
 </property>  
 <property>  
  <name>mapreduce.jobhistory.webapp.address</name>  
  <value>master:19888</value>  
 </property>  
</configuration>

2.2.5 编辑yarn-site.xml文件，添加以下内容

其中master为计算机名

<configuration>
<!-- Site specific YARN configuration properties -->
<property>  
   <name>yarn.nodemanager.aux-services</name>  
   <value>mapreduce_shuffle</value>  
  </property>  
  <property>  
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
  </property>  
  <property>  
   <name>yarn.resourcemanager.address</name>  
   <value>master:8032</value>  
  </property>  
  <property>  
   <name>yarn.resourcemanager.scheduler.address</name>  
   <value>master:8030</value>  
  </property>  
  <property>  
   <name>yarn.resourcemanager.resource-tracker.address</name>  
   <value>master:8035</value>  
  </property>  
  <property>  
   <name>yarn.resourcemanager.admin.address</name>  
   <value>master:8033</value>  
  </property>  
  <property>  
   <name>yarn.resourcemanager.webapp.address</name>  
   <value>master:8088</value>  
  </property>  
</configuration>

2.2.6 修改slaves文件，添加集群节点(多机添加多个)

添加以下

master
slave1
slave2

2.2.7 Hadoop集群搭建

hadoop配置集群，可以将配置文件etc/hadoop下内容同步到其他机器上，既2.2.1-2.2.6无需在一个个配置。

cd /opt/hadoop-2.7.7/etc
scp -r hadoop root@另一台机器名:/opt/hadoop-2.7.7/etc

2.3 Hadoop启动

1.格式化一个新的文件系统，进入到hadoop-2.7.7/bin下执行：

./hadoop namenode -format

2.启动hadoop，进入到hadoop-2.7.7/sbin下执行：

./start-all.sh

看到如下内容说明启动成功

root@master:/opt/hadoop-2.7.7/sbin# ./start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [master]
master: starting namenode, logging to /opt/hadoop-2.7.7/logs/hadoop-root-namenode-master.out
slave2: starting datanode, logging to /opt/hadoop-2.7.7/logs/hadoop-root-datanode-slave2.out
master: starting datanode, logging to /opt/hadoop-2.7.7/logs/hadoop-root-datanode-master.out
slave1: starting datanode, logging to /opt/hadoop-2.7.7/logs/hadoop-root-datanode-slave1.out
Starting secondary namenodes [master]
master: starting secondarynamenode, logging to /opt/hadoop-2.7.7/logs/hadoop-root-secondarynamenode-master.out
starting yarn daemons
starting resourcemanager, logging to /opt/hadoop-2.7.7/logs/yarn-root-resourcemanager-master.out
slave2: starting nodemanager, logging to /opt/hadoop-2.7.7/logs/yarn-root-nodemanager-slave2.out
slave1: starting nodemanager, logging to /opt/hadoop-2.7.7/logs/yarn-root-nodemanager-slave1.out
master: starting nodemanager, logging to /opt/hadoop-2.7.7/logs/yarn-root-nodemanager-master.out

2.4 Hadoop集群检查

方法1：检查hadoop集群，进入hadoop-2.7.7/bin下执行

./hdfs dfsadmin -report

查看Live datanodes 节点个数，例如：Live datanodes (3)，则表示3台都启动成功

root@master:/opt/hadoop-2.7.7/bin# ./hdfs dfsadmin -report
Configured Capacity: 621051420672 (578.40 GB)
Present Capacity: 577317355520 (537.67 GB)
DFS Remaining: 577317281792 (537.67 GB)
DFS Used: 73728 (72 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
-------------------------------------------------
Live datanodes (3):

方法2：访问8088端口，http://192.168.241.132:8088/cluster/nodes

方法3：访问50070端口http://192.168.241.132:50070/

三、Spark部署

3.1 Spark安装(三台机器可同步进行)

  1. 下载spark-2.1.0-bin-hadoop2.7.tgz，放到opt下解压。
  2. 将spark环境变量配置到/etc/profile中
export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7
export PATH=$JAVA_HOME/bin:$SPARK_HOME/bin:$PATH

3.2 Spark配置

1.进入spark-2.1.0-bin-hadoop2.7/conf复制spark-env.sh.template并重命名为spark-env.sh

cp spark-env.sh.template spark-env.sh

编辑spark-env.sh文件，添加以下内容

export JAVA_HOME=/opt/jdk
export SPARK_MASTER_IP=192.168.241.132
export SPARK_WORKER_MEMORY=8g
export SPARK_WORKER_CORES=4
export SPARK_EXECUTOR_MEMORY=4g
export HADOOP_HOME=/opt/hadoop-2.7.7/
export HADOOP_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/jdk/jre/lib/amd64

2.把slaves.template拷贝为slaves,并编辑 slaves文件

cp slaves.template slaves

编辑slaves文件，添加以下内容(多机添加多个)

master
slave1
slave2

3.3 配置Spark集群

可以将配置文件spark-2.1.0-bin-hadoop2.7/conf下内容同步到其他机器上，既3.2无需在一个个配置。

scp -r conf root@另一台机器名:/opt/spark-2.1.0-bin-hadoop2.7

3.4 Spark启动

启动spark，进入spark-2.1.0-bin-hadoop2.7/sbin下执行

./start-all.sh

3.5 Spark集群检查

访问http://192.168.241.134:8080/

注意：配置Spark集群，需要保证子节点内容和主节点内容一致。

这样Hadoop集群和Spark集群就都搭建好了。

(转发请注明出处：https://blog.csdn.net/zhang90522 如发现有错，请留言，谢谢)

Haddop+spark大数据分析（二）之Hadoop 集群的搭建
kyle6666的博客
05-28 509
文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 上一节介绍了虚拟机的下载以及Java环境的搭建，这节主要讲解Hadoop集群的搭建 一、集群环境的下载及其配置 我们需要现在一台机器上配置好 hadoop，然后再把它拷贝到其他机器上，这里我选择在master 也就是要做为 nameNode 的那台机器 1.下载hadoop 再次强调 建议在克隆之前，先在一台机器上，下载、解压好再克隆，这样多台机器就都有了 下载...
大数据学习之路 Hadoop篇（一）：超简单的虚拟机搭建Hadoop+Hive+Spark+HBase环境
GodxvA
03-14 4747
这么长时间没有写博客，期间也发生了很多事情，我也一不小心从萌萌的开发变成了萌萌的数据。 我在写这篇博客的时候还是数据方面的初学者，一来可以回顾总结自己最近学习的内容，督促自己更快更仔细的学习；二来可以为和我一样的初学者提供方便，不必花很多精力去找一些资源和技巧或者环境的搭建，而是专注于知识的学习。 工欲善其事，必先利其器。要想学好大数据，得先有大数据方面的环境。我看过网上很多搭建的教程，自己一...
Hadoop&Spark集群搭建
小虫滴博客
04-30 691
Hadoop&Spark集群搭建基础环境集群规划ZOOKEEPER 集群搭建解压安装包文件到指定路径下修改配置文件配置环境变量HADOOP 高可用集群安装解压安装包文件到 指定路径下修改配置文件修改 hadoo-env.sh修改 mapred-site.xml修改 yarn-site.xml修改 slaves分发安装包到其他机器配置环境变量初始化集群初始化 Zookeeper在 zooke...
Hadoop+Spark集群搭建
oKoukou12345678的博客
07-23 2518
搭建Hadoop+Spark集群的方法这篇文章主要是介绍了怎么在Linux平台下搭建Hadoop与Spark集群，得声明一点的是Spark并不依赖于Hadoop。
Hadoop和spark集群搭建详解
12-04
hadoop与spark集群搭建，了解hadoop分布式、伪分布式等方式集群搭建
还在为搭建集群的期末作业发愁吗？最简单的搭建hadoop+spark+hive大数据集群搭建文档.docx
最新发布
02-18
最简单的Hadoop+Spark大数据集群搭建方法，看这一篇就够啦，给出一个完全分布式hadoop+spark集群搭建完整文档，从环境准备（包括机器名，ip映射步骤，ssh免密，Java等）开始，包括zookeeper,hadoop,hive,spark，...
hadoop2.7+spark3.2.1+pyspark3.2.1+python3.9
06-08
在大数据处理领域，Hadoop和Spark是两个至关重要的框架，它们在处理海量数据时发挥着核心作用。Hadoop是Apache基金会开发的一个开源分布式计算框架，它允许在廉价硬件上存储和处理大规模数据集。而Spark则是在Hadoop...
ubuntu虚拟机搭建hadoop+spark+zookeeper+hbase+kafka环境
szk171848581的专栏
09-07 787
准备工作（软件所需及作用） 1.1- vmware安装包，ubuntu系统 --> 搭建虚拟机环境 1.2- jdk --> 安装java环境 1.3- xshell --> 本机可以连接虚拟机，可选择其他 1.4- scala --> 虚拟机用到的编程环境，可选择其他 1.5- hadoop --> 搭建hadoop环境 1.6- spark --> 搭建spark环境 注- （软件如有需，文章后面会有网盘链接） 流程大致说明：为了简化操作，选用了图形版ubuntu..
利用ansible 自动 安装Hadoop 集群
05-10
本篇将详细讲解如何利用Ansible自动安装Hadoop集群。 首先，理解Ansible的工作原理至关重要。Ansible基于SSH（Secure Shell）协议，无需在目标节点上安装任何代理，通过控制节点即可实现远程管理。它使用YAML格式的...
Hadoop+Spark集群配置
dlphay的博客
07-28 516
重要参考文献：http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/ 准备工作 操作系统：Ubuntu-14.04.1-desktop-amd64 Hadoop 版本：hadoop-2.7.2：包含文件管理系统 HDFS 和任务调度系统 YARN Spark 版本：spark-1.6.1-bin-without-hado...
hadoop+spark 集群的安装
weixin_30886233的博客
03-15 124
1、安装连接 　　https://www.cnblogs.com/zengxiaoliang/p/6478859.html 转载于:https://www.cnblogs.com/wuzaipei/p/10537458.html
Hadoop-2.7.5 + Spark-2.2.0分布式集群搭建过程（2）
CLOUD
05-14 645
文章目录接上篇 https://blog.csdn.net/muumian123/article/details/902012865.3 启动并验证Hadoop分布式集群5.3.1 启动Hadoop分布式集群5.3.2 验证Hadoop 分布式集群至此，我们成功构建了Hadoop 分布式集群并完成了测试！六、搭建 Spark集群6.1 安装Scala - 2.12.46.1.1 Scala下载6....
hadoop集群，spark集群搭建
qq_40823910的博客
06-06 346
大数据环境搭建
Hadoop上部署Spark集群
m0_53317797的博客
10-08 1459
spark的装载，集群部署
基于Hadoop的Spark集群搭建
qq_45703204的博客
10-13 1095
title: Spark集群搭建 date: 2020-03-19 19:30:31 tags: Hadoop 基于Hadoop的Spark集群搭建 准备 Spark三种运行模式简介 Local模式 Local 模式是最简单的一种Spark运行方式，它采用单节点多线程（cpu)方式运行，local模式是一种OOTB（开箱即用）的方式，只需要在spark-env.sh导出JAVA_HOME,无需其他任何配置即可使用，因而常用于开发和学习 方式：./spark-shell - -master loca.
Hadoop+Spark分布式集群搭建过程
lefy生活
05-20 745
Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程1.选取三台服务器（CentOS系统64位）　　114.55.246.88 主节点　　114.55.246.77 从节点　　114.55.246.93 从节点之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以下问题。　　我是用root用户操作的。2
Spark项目实战-Hadoop集群搭建
上海一九四三
08-30 405
今天，我们来一起学习一下hadoop-2.5.0-cdh5.3.6版本的hadoop集群搭建。 一 下载 首先我们需要下载对应的tar.gz，下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 二 上传 使用WinSCP将刚刚下载的tar.gz上传到sparkproject1的/usr/local下。 三 解压 使用tar -zxvf hado...
Spark 集群搭建（完整）
weixin_45131680的博客
09-12 4023
如果要在 Yarn 中运行 Spark 程序, 首先会和 RM 交互, 开启 ApplicationMaster, 其中运行了 Driver, Driver创建基础环境后, 会由 RM 提供对应的容器, 运行 Executor, Executor会反向向 Driver 反向注册自己, 并申请 Tasks 执行。对于 Spark Standalone 集群来说, 当 Worker 调度出现问题的时候, 会自动的弹性容错, 将出错的 Task 调度到其它 Worker 执行。
大数据集群环境搭建指南：CentOS+JDK+Hadoop+ZooKeeper+Spark
"这篇文档详细介绍了在大数据环境下如何搭建一个基于CentOS6.5的集群环境，涵盖了所需的各种组件，包括JDK、Hadoop、Hive、ZooKeeper、Kafka、Spark和Flume。此外，还提供了系统配置、防火墙设置、DNS配置以及SSH免...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

非法小恋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值