CentOS7.4安装hadoop-2.8.5分布式集群

最新推荐文章于 2020-12-24 16:50:59 发布
最新推荐文章于 2020-12-24 16:50:59 发布
阅读量247 收藏 2
点赞数
文章标签： 集群 hadoop 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhi_zixing/article/details/100520916
版权

标题标题CentOS7.4安装hadoop-2.8.5分布式集群

1.环境介绍

  1. 安装好CentOS7.4（三台）,
  2. 配置好静态ip，并可以连通外网，可参考本人博客https://blog.csdn.net/zhi_zixing/article/details/100437178
  3. 三台机器相互ping通

2.环境准备，所有节点都需要操作

  1. 关闭防火墙
systemctl stop firewalld.service  #停止防火墙
systemctl disable firewalld.service #永久关闭防护墙
iptables -L  #查看防火墙状态

只有如下图显示说明防火墙关闭在这里插入图片描述

  1. 关闭selinux

将/etc/sysconfig/selinux中的SELINUX=enforcing
改为SELINUX=disabled，修改之后需要重新重启

reboot #重启虚拟机之后生效，可以等主机名修改之后再重启
sestatus #查看selinux状态，重启后显示disabled
  1. 修改主机名，及配置主机名与ip的映射

修改/etc/sysconfig/network

NETWORKING=yes
HOSTNAME=master  #修改主机名为master

修改/etc/hosts文件，追加

192.168.44.201 master
192.168.44.202 slave1
192.168.44.203 slave2

注意：修改完成后重启，将显示已修改的主机名，节点的主机名一定不要相同。

  1. 创建安装hadoop的用户，当然也可以用root用户操作，但是不建议，毕竟root权限不安全。
useradd hadoop 
passwd hadoop #修改hadoop密码，否则没法作ssh免密互信
  1. 配置ssh免密互信

编辑/etc/ssh/sshd_config打开sshd服务

RSAAuthentication yes #如果没有可以手动添加
PubkeyAuthentication yes #去掉注释
AuthorizedKeysFile	.ssh/authorized_keys

重启sshd服务

service sshd restart

给hadoop用户设置免密登录

su - hadoop
ssh-keygen -t rsa #生成公钥，秘钥，在/home/hadoop/.ssh/下可以看到
ssh-copy-id master #给master节点分发公钥
ssh-copy-id slave1 #给master节点分发公钥
ssh-copy-id slave2 #给master节点分发公钥
ssh slave1

测试是否成功，如果不需要密码就能到另外两个节点，则说明没有问题，三个节点相互测试

[hadoop@slave1 ~]$ ssh master
Last login: Tue Sep  3 18:28:04 2019 from 192.168.44.203
[hadoop@master ~]$ exit
logout
Connection to master closed.

sp：
在这里插入图片描述
authorized_keys中是所有节点的公钥，每个节点的公钥和私钥都是不一样的。

3.安装JDK，所有节点都需要安装（建议用root用户安装）

  1. 下载jdk（jdk-8u91-linux-x64.tar.gz）并上装到master节点上/opt/software/

链接：https://pan.baidu.com/s/1V1GSmxF1g-GZ1U0yD1OTjQ
提取码：c3r3

  1. 解压jdk，/opt/software/为压缩包路径，/opt/install/为安装路径
mkdir -p /opt/install
tar -zxvf /opt/software/jdk-8u91-linux-x64.tar.gz -C /opt/install/
  1. 配置环境变量，如果不是root用户，则需切换到root用户配置

编辑/etc/profile，追加

#set jdk
export JAVA_HOME=/opt/install/jdk1.8.0_91
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
  1. source环境变量使之生效
source /etc/profile
  1. 查看是否成功
java -version

在这里插入图片描述

  1. 直接jdk分发给slave1和slave2就好了(首先要在slave1和slave2上创建jdk安装目录）
scp -r /opt/install/jdk1.8.0_91/ slave1:/opt/install/jdk1.8.0_91/
scp -r /opt/install/jdk1.8.0_91/ slave2:/opt/install/jdk1.8.0_91/

分发玩之后在slave1和slave2执行3-5步骤检查是否安装成功

4.安装hadoop,用hadoop用户

  1. 下载hadoop，连接外网可以直接下载，也可以下载好在传上来。
cd /opt/software/
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
  1. 将hadoop解压到/opt/bigdata/，并修改用户组
tar -zxvf hadoop-2.8.5.tar.gz -C /opt/bigdata/
chown -R hadoop:hadoop /opt/bigdata/hadoop-2.8.5/
  1. 配置环境变量，编辑/etc/profile文件
# set hadoop
export HADOOP_HOME=/opt/bigdata/hadoop-2.8.5
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

并source环境变量使之生效

source /etc/profile
  1. 创建hdfs数据目录(所有节点都需要创建这几个目录，不然启动会报错，其他步骤只有在master上执行就行，等配置完直接用scp命令分发就好)
mkdir -p /srv/bigdata/hdfs/name 
mkdir -p /srv/bigdata/hdfs/data #hdfs数据目录
mkdir -p /tmp/bigdata/hadoop/tmp #临时目录
mkdir -p /usr/bigdata/hdfs/name/
mkdir -p /usr/bigdata/hdfs/data
chown -R hadoop:hadoop /srv/bigdata/hdfs/
chown -R hadoop:hadoop /tmp/bigdata/
chown -R hadoop:hadoop /usr/bigdata/hdfs/name/
 chown -R hadoop:hadoop /usr/bigdata/hdfs/data/
  1. 修改/opt/bigdata/hadoop-2.8.5/etc/hadoop下的7个如下配置文件

hadoop-env.sh
yarn-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
slaves

hadoop-env.sh
export JAVA_HOME=/opt/install/jdk1.8.0_91
export HADOOP_PREFIX=/opt/bigdata/hadoop-2.8.5
yarn-env.sh
export JAVA_HOME=/opt/install/jdk1.8.0_91
core-site.xml
<configuration>
       <property>
               <name>fs.defaultFS</name>
               <value>hdfs://master:9000</value>
       </property>
       <property>
               <name>hadoop.home.dir</name>
               <value>/opt/bigdata/hadoop-2.8.5</value>
       </property>
       <property>
               <name>hadoop.tmp.dir</name><!-- hadoop临时目录设置 -->
               <value>/tmp/bigdata/hadoop/tmp</value>
       </property>
</configuration>
hdfs-site.xml
<configuration>
        <property>
                <name>dfs.replication</name><!-- hdfs副本数设置 -->
                <value>3</value>
       </property>
        <property>
                <name>dfs.namenode.http-address</name><!-- 访问地址 -->
                <value>master:50070</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/bigdata/hdfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/bigdata/hdfs/data</value>
        </property>
        <property>
                <name>dfs.hosts</name>
                <value>/opt/bigdata/hadoop-2.8.5/etc/hadoop/slaves</value>
        </property>
</configuration>
yarn-site.xml
<configuration>
    <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
    </property>
    <property>
              <name>yarn.resourcemanager.hostname</name>
              <value>master</value>
    </property>
    <property>
              <name>yarn.resourcemanager.address</name>
              <value>master:8032</value>
    </property>
    <property>
              <name>yarn.resourcemanager.resource-tracker.address</name>
              <value>master:8031</value>
    </property>
    <property>
            	<name>yarn.resourcemanager.scheduler.address</name>
                <value>master:8030</value>
    </property>
    <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>master:8033</value>
    </property>
    <property>   
                <name>yarn.resourcemanager.webapp.address</name>
                <value>master:8088</value>
    </property>
</configuration>
mapred-site.xml
#没有mapred-site.xml文件就复制一个进行配置
cp mapred-site.xml.template mapred-site.xml 

<configuration>
         <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
         </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
         </property>
         <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
         </property>
        <property>
                <name>mapreduce.job.http.address</name>
                <value>master:50030</value>
         </property>
         <property>
                <name>mapreduce.task.http.address</name>
                <value>master:50060</value>
         </property>
</configuration>
slaves
master #如果不把master当做数据节点可不配置
slave1
slave2
  1. 节点分发
su hadoop
#注意：先要在从节点需要有/opt/bigdata/目录才可以，且用户是hadoop
scp -r /opt/bigdata/hadoop-2.8.5 hadoop@slave1:/opt/bigdata/
scp -r /opt/bigdata/hadoop-2.8.5 hadoop@slave2:/opt/bigdata/

5.验证

  1. namenode格式化
su - hadoop #必须是hadoop用户
hdfs namenode -format

在这里插入图片描述
ps:如果提示hdfs命令识别不了，就是配置hadoop的环境变量没对。

  1. 启动hadoop
#方式一：
sh start-all.sh
#方式二：
sh start-dfs.sh
sh start-yarn.sh

在这里插入图片描述
在这里插入图片描述
start-dfs.sh会启动三个进程
NameNode
DataNode #如果在slaves没有配置master，则在master节点上没有此进程
SecondaryNameNode
sh start-yarn.sh会启动两个进进程
ResourceManager
NodeManager

  1. 原生界面访问
    访问yarn的原生界面：http://192.168.44.201:8088/
    访问hdfs的原生界面：http://192.168.44.201:50070/
    如果在windows上配置了主机名映射也可以通过主机名访问
    在C:\Windows\System32\drivers\etc下的hosts文件中追加
192.168.44.201 master
192.168.44.202 slave1
192.168.44.203 slave2

访问yarn的原生界面：http://master:8088/
访问hdfs的原生界面：http://master:50070/

至子星
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Centos7下搭建Hadoop-2.8.4分布式集群
幸运的Alina的博客
05-10 476
由于机器原因，只拿到了三台机器，所以就先搭3台机器，一条机器做Namenode，另外2台做DataNode。 Hadoop中的管理节点和数据节点最好分开部署 数据节点在实际运行任务时负载是比较重的，很容易影响管理示例的稳定性 下面是搭建步骤： 1 修改/etc/hosts文件 这里说明下有的是把自己的hostname做了修改，改成啥master ,salver 1，salver2这样...
CentOS7下完全分布式Hadoop2.8.5极速搭建
玻璃汽水的博客
05-20 537
1. 安装最小化的系统，也就是什么多余的组件都没有，全部需要手动DIY，这样可以最大化保证系统的安全性，CentOS7中早就废弃了ifconfig这一命令来查询网络地址状态，我们可以通过ip addr命令来查询。 2. ip addr查询网络地址状态后发现有两个值，第一个明显是本机服务的inet，第二个并没有inet这个属性值。下一步就是配置网卡，我的为ens33 3. 将onboot的no值改...
【原创】企业级Linux环境部署（很全、很细）
zsyzcsan的博客
12-24 6267
《Linux环境x部署手册》 文档修订记录： 版本号 修订时间 修订人 修订内容 确认人 EMDC1.0 ...
jdk1.8 64位官方正式版 jdk-8u45-linux-x64.tar.gz
04-16
jdk-8u45-linux-x64.tar.gz 64位官方正式版
jdk-8u91-linux-x64.tar.gz
09-27
jdk-8u91-linux-x64.tar.gz 亲测可用，小小分数，供大家分享使用。
CentOS7.4 安装mongodb
08-25
CentOS7.4 安装 MongoDB CentOS7.4 安装 MongoDB 是一种流行的 NoSQL 数据库安装指南。本文将指导用户如何在 CentOS7.4 操作系统上安装 MongoDB 数据库。 安装 MongoDB 安装 MongoDB 前，需要先获取安装包的地址...
centos7.4安装Intel I219-V网卡驱动.pdf
05-17
centos7.4安装Intel I219-V网卡驱动 一、 问题描述 二、 下载 三、 编译安装 四、 遇到的问题
centos6.8下hadoop3.1.1完全分布式安装指南(推荐)
09-14
主要介绍了centos6.8下hadoop3.1.1完全分布式安装指南,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
centos7.4下安装nginx1.16.0.docx
08-07
"CentOS 7.4 下安装 Nginx 1.16.0" 在 CentOS 7.4 操作系统中安装 Nginx 1.16.0 需要遵循以下步骤： 一、下载 Nginx 安装包 首先，需要切换到 `/usr/local` 目录下，然后下载 Nginx 1.16.0 的安装包。可以使用 ...
CentOS下Hadoop-0.20.2集群配置文档.docx
最新发布
09-18
完成以上步骤后，Hadoop集群的基础环境就已经准备就绪，可以进一步配置Hadoop的配置文件（如hadoop-site.xml和core-site.xml），以及NameNode和DataNode的启动脚本，以实现完整的Hadoop分布式文件系统（HDFS）和...
Linux centos wget方式下载 jdk8 解压包
每天进步一点点儿
10-31 2832
jdk官网 地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html  使用如下命令： wget --no-cookies --no-check-certificate --header "Cookie: oraclelicense=accept-securebackup-...
linux jdk install source code
LANGZI7758521的专栏
04-25 1012
一、下载 地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html mkidr /usr/lib/jdk cd /usr/lib/jdk sudo wget http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91
linux jdk-8u11-linux-x64.tar.gz 安装
意亦逸的博客
09-19 9259
首先下载对应CentOS版本的jdk 下载该jdk到本地，并上传到你的CentOS 6.4系统的opt临时目录下 在安装自己下载的jdk之前，要先看看新安装的CentOS 6.4系统自带的jdk版本，如果存在最好是卸载掉，然后再安装自己下载的jdk版本，如何卸载linux系统自带的jdk网上有很多例子，相信大家都会操作新建一个jdk的安装目录，我这里是在/usr/local/下新建了java目录
jdk-8u60-linux-x64.tar.gz 下载安装包
热门推荐
拾光记忆不微伤
04-25 1万+
linux平台下jdk jdk-8u60-linux-x64.tar.gz 链接：https://pan.baidu.com/s/1TW_Q0RyXPnLyAYLozf-5yg 提取码：p1sb
centos7安装jdk-8u45-linux-x64.tar.gz
n889092的博客
07-02 1万+
1.在centos7系统下搜索并删除旧版本的JDK或者openjdk，搜索指令为：rpm -qa | grep java    删除指令为：rpm -e --nodeps，如：rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.71-2.5.3.1.el7_0.x86_64。 2.删除干净之后，在jdk-8u45-linux-x64.ta
Linux 使用wget 命令下载JDK的方法
轮回の稻草人
06-19 486
Oracle官网上下载jdk，需要点击accept licence的才能下载，使用下面的命令，直接可以下载。wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/7...
linux 命令行wget直接安装jdk8
i晨i曦520
05-05 9836
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u
在linux用wget直接下载JDK
Shang的专栏
12-21 9629
在linux用wget直接下载JDK wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F" "http://download.oracle.com/otn-pub/java/jdk/6u45-b06/jdk-6u45-linux-x64.bin" -O
centos 7.4安装glibc-2.31
09-07
要在CentOS 7.4上安装glibc-2.31，您需要遵循以下步骤： 1. 确保您的系统已经安装了必要的开发工具和依赖项。您可以通过运行以下命令来安装它们： ``` sudo yum groupinstall "Development Tools" sudo yum ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值