第二章：hadoop安装

最新推荐文章于 2024-08-19 10:48:06 发布
最新推荐文章于 2024-08-19 10:48:06 发布
阅读量85 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zl1582330223/article/details/132139504
版权

第二章：hadoop安装

  1. 课程安排

知识点1：hadoop运行环境配置

知识点2：了解hadoop运行模式

知识点3：本地运行模式安装

知识点4：伪分布式运行模式安装

知识点5：完全分布式安装

  1. hadoop运行环境配置
    1. 安装linux系统虚拟机

参考前面的课程内容

    1. 修改虚拟机的静态ip

 

配置网络：

 

 

 

    1. 修改主机名

[root@localhost ~]# vim /etc/sysconfig/network

 

修改主机名与ip的映射关系：

[root@localhost ~]# vim /etc/hosts

 

    1. 关闭防火墙

[root@localhost ~]# service iptables stop/start/stutus

设置启动时防火墙的关闭状态

[root@localhost ~]# chkconfig iptables off

    1. 创建icss用户

[root@localhost ~]# useradd icss

[root@localhost ~]# passwd icss

    1. 配置icss用户具有root权限

 

    1. 创建文件夹并修改归属

创建文件夹用于安装软件：

 

修改文件夹所有者与组：

 

    1. 安装jdk
      1. 卸载原有的jdk

[root@localhost software]# rpm -qa | grep java

tzdata-java-2016c-1.el6.noarch

java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64

java-1.6.0-openjdk-1.6.0.38-1.13.10.4.el6.x86_64

[root@localhost software]# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.38-1.13.10.4.el6.x86_64

[root@localhost software]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64

      1. 安装jdk1.8

解压jdk:

[root@localhost software]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

配置环境变量：

[root@localhost software]# vim /etc/profile

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

生效配置的环境变量：

[root@localhost software]# source /etc/profile

查看java版本：

[root@localhost software]# java -version

java version "1.8.0_144"

Java(TM) SE Runtime Environment (build 1.8.0_144-b01)

Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

    1. 修改非图形方式启动linux系统

[root@localhost ~]#vim /etc/inittab

 

  1. 了解hadoop运行模式

1.独立(本地)运行模式:

无需任何守护进程,所有的程序都运行在同一个JVM上执行。在独立模式下调试MR程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用 。

2.伪分布式模式:

Hadoop守护进程运行在本地机器上,模拟一个小规模的集群,换句话说,可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。

3.完全分布式模式:

Hadoop守护进程运行在一个集群上

  1. 独立(本地)运行模式安装
    1. 下载hadoop

Index of /dist/hadoop/core/hadoop-2.7.2

    1. 上传hadoop安装包并解压

[icss@hdp01 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

[icss@hdp01 module]$ mv hadoop-2.7.2/  hadoop

    1. Hadoop环境变量配置

[icss@hdp01 hadoop]$ sudo vim /etc/profile

 

注意：需要重启linux，配置的环境变量才生效。

    1. 测试本地运行模式

  $ mkdir input

  $ cp etc/hadoop/*.xml input

  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'

  $ cat output/*

  1. 伪分布式模式-HDFS配置
    1. 配置java路径

[icss@hdp01 hadoop]$ vim hadoop-env.sh

 

    1. 配置core-site.xml

[icss@hdp01 hadoop]$ vim core-site.xml

 

    1. 配置hdfs-site.xml

[icss@hdp01 hadoop]$ vim hdfs-site.xml

 

 

    1. 启动集群

注意：在首次启动时要对文件系统进行格式化

[icss@hdp01 hadoop]$ bin/hdfs namenode –format

      1. 同时启动NameNode和DataNode

[icss@hdp01 hadoop]$ sbin/start-dfs.sh

      1. 启动NameNode节点

[icss@hdp01 hadoop]$ sbin/hadoop-daemon.sh start namenode

查看进程：

[icss@hdp01 hadoop]$ jps

2306 Jps

2267 NameNode

      1. 启动DataNode节点

[icss@hdp01 hadoop]$ sbin/hadoop-daemon.sh start datanode

    1. 查看web端hdfs文件系统

 

    1. 测试Hdfs文件系统

[icss@hdp01 hadoop]$ bin/hdfs dfs -mkdir /user/icss/input

 

  1. 伪分布式模式-YARN配置
    1. 配置jdk路径

[icss@hdp01 hadoop]$ vim yarn-env.sh

 

    1. 配置yarn-site.xml

[icss@hdp01 hadoop]$ vim yarn-site.xml

 

    1. 配置jdk路径

[icss@hdp01 hadoop]$ vim mapred-env.sh

 

    1. 配置mapred-site.xml

[icss@hdp01 hadoop]$ mv mapred-site.xml.template mapred-site.xml

 

    1. 启动集群

启动resourcemanager:

[icss@hdp01 hadoop]$ sbin/yarn-daemon.sh start resourcemanager

启动nodemanager:

[icss@hdp01 hadoop]$ sbin/yarn-daemon.sh start nodemanager

    1. 在浏览器中查看yarn集群

 

  1. 配置历史服务器
    1. 配置mapred-site.xml

[icss@hdp01 hadoop]$ vim mapred-site.xml

 

    1. 启动历史服务器

[icss@hdp01 hadoop]$ sbin/mr-jobhistory-daemon.sh start historyserver

    1. 查看进程

[icss@hdp01 hadoop]$ jps

3235 NodeManager

4551 JobHistoryServer

2359 DataNode

4584 Jps

2986 ResourceManager

2267 NameNode

    1. 浏览器查看历史服务器

 

    1. 测试yarn执行单词统计
      1. 上传文件到HDFS存储

[icss@hdp01 hadoop]$ bin/hdfs dfs -put /home/icss/input/word.txt hdfs://localhost:9000/user/icss/input

      1. 执行单词统计

[icss@hdp01 hadoop]$ hadoop jar /opt/module/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount hdfs://localhost:9000/user/icss/input hdfs://localhost:9000/user/icss/output

      1. 查询历史服务器记录

 

  1. 完全分布式安装
    1. Hadoop的运行环境配置

见前面的配置

    1. 集群时间同步

时间同步的方式：指定一台服务器为时间同步服务器，其它机器与它的时间进行同步。

    1. 配置ntp时间同步服务器

查看是否安装ntp软件：

[icss@hdp01 ~]$ rpm -qa |grep ntp

fontpackages-filesystem-1.41-1.1.el6.noarch

ntpdate-4.2.6p5-10.el6.centos.x86_64

ntp-4.2.6p5-10.el6.centos.x86_64

      1. 配置ntp服务器端（必须以root用户进行配置）

[root@hdp01 ~]# vim /etc/ntp.conf

 

 

      1. Ntp客户端配置（必须以root用户进行配置）

[root@hdp01 ~]# vim /etc/ntp.conf

 

      1. 查看ntp的状态

[root@hdp01 ~]# service ntpd status

      1. 启动ntp服务

[root@hdp01 ~]# service ntpd start

      1. 把ntpd加入开机启动

[root@hdp01 ~]# chkconfig ntpd on

    1. SSH免密登录原理
      1. Ssh使用

[root@hdp01 ~]# ssh 主机名或ip

      1. 在本机上生成公钥和私钥

[root@hdp01 ~]# ssh-keygen -t rsa

 

      1. 文件说明

known_hosts ：记录ssh访问过的计算机公钥

id_rsa：生成的私钥

id_rsa.pub：生成的公钥

authorized_keys：记录免密码登录的服务器公钥

      1. 免密登录原理

 

      1. 所有的机器配置免密码登录

所有机器都要配置免密码登录

[root@hdp03 ~]# ssh-copy-id hdp01

[root@hdp03 ~]# ssh-copy-id hdp02

[root@hdp03 ~]# ssh-copy-id hdp03

    1. scp与rsync的使用
      1. scp远程复制

scp –r 源目录  目标目录

如：

[icss@hdp01 ~]$ scp -r input/ icss@hdp02:/home/icss/

      1. rsync远程复制

[icss@hdp01 output]$ rsync -rvl /home/icss/output icss@hdp02:/home/icss/

-r 递归复制目录

-v 显示复制的过程

-l 拷贝符号连接

      1. scp和rsync区别

使用rsync要比scp的复制速度快，因为rsync只对差异文件进行复制。

    1. 编写集群文件复制脚本
      1. 创建脚本目录

[icss@hdp01 ~]$ mkdir bin

      1. 编写集群复制的脚本

 

    1. 集群规划

Hdp01

Hdp02

Hdp03

HDFS

NameNode

DataNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

NodeManager

    1. 配置集群
      1. HDFS配置
        1. 配置core-site.xml

<configuration>

    <!--配置NameNode地址-->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hdp01:9000</value>

    </property>

    <!--指定hadoop运行产生的文件的存储目录-->

    <property>

       <name>hadoop.tmp.dir</name>

       <value>/opt/module/hadoop/data/tmp</value>

    </property>

</configuration>

        1. 配置hadoop-env.sh

修改jdk路径：

export JAVA_HOME=/opt/module/jdk1.8.0_144

        1. 配置hdfs-site.xml

[icss@hdp01 hadoop]$ vim hdfs-site.xml

<configuration>

    <!--指定副本的数量-->

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

    <!--配置SecondaryNameNode-->

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hdp03:50090</value>

    </property>

</configuration>

      1. YARN配置
        1. 修改yarn的jdk环境 yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

        1. 配置yarn-site.xml

<configuration>

    <!--配置reduce的获取方式-->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!--配置yarn的resourcemanager地址-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hdp02</value>

    </property>

</configuration>

        1. 配置mapreduce

配置jdk环境：                                                                                                        

[icss@hdp01 hadoop]$ vim mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

[icss@hdp01 hadoop]$ vim mapred-site.xml

<configuration>

    <!--配置mapreduce运行在yarn上-->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <!--配置历史服务器-->

    <property>

        <name>mapreduce.jobhistory.address</name>

        <value>hdp01:10020</value>

    </property>

    <property>

        <name>mapreduce.jobhistory.webapp.address</name>

        <value>hdp01:19888</value>

    </property>

</configuration>

      1. 把配置好的集群配置文件进行同步

[icss@hdp01 module]$ cprsync hadoop/

    1. 测试集群
      1. 配置slaves

[icss@hdp01 hadoop]$ vi slaves

hdp01

hdp02

hdp03

      1. 第一次启动集群格式化namenode元数据

[icss@hdp01 hadoop]$ hadoop namenode –format

      1. 进行集群数据同步

[icss@hdp01 module]$ cprsync hadoop/

      1. 启动集群HDFS命令
        1. 启动namenode节点

[icss@hdp01 hadoop]$ sbin/hadoop-daemon.sh start namenode

        1. 启动datanode节点

[icss@hdp01 hadoop]$ sbin/hadoop-daemon.sh start datanode

        1. 启动secondarynamenode节点

[icss@hdp03 hadoop]$ sbin/hadoop-daemon.sh start secondarynamenode

        1. 查看进程

[icss@hdp01 hadoop]$ jps

26756 DataNode

26664 NameNode

26829 Jps

[icss@hdp02 hadoop]$ jps

19671 Jps

19598 DataNode

[icss@hdp03 hadoop]$ jps

20049 Jps

19909 DataNode

20007 SecondaryNameNode

      1. 启动集群YRAN命令
        1. 启动resourcemanager

[icss@hdp02 hadoop]$ sbin/yarn-daemon.sh start resourcemanager

        1. 启动nodemanager

[icss@hdp02 hadoop]$ sbin/yarn-daemon.sh start nodemanager

        1. 查看进程

[icss@hdp01 hadoop]$ jps

26756 DataNode

26664 NameNode

26872 NodeManager

26971 Jps

[icss@hdp02 hadoop]$ jps

20052 Jps

19708 ResourceManager

19598 DataNode

19951 NodeManager

[icss@hdp03 hadoop]$ jps

19909 DataNode

20198 Jps

20007 SecondaryNameNode

20095 NodeManager

      1. 通过网页查看

 

 

    1. 集群启动、停止命令
      1. 单个组件启动、停止命令
        1. HDFS启动/停止

sbin/hadoop-daemon.sh  start|stop  namenode|datanode|secondarynamenode

        1. YARN启动/停止

sbin/yarn-daemon.sh  start|stop  resourcemanager|nodemanager

      1. 每个模块启动/停止（前提配置ssh免密码登录）
        1. HDFS启动/停止

[icss@hdp01 hadoop]$ sbin/start-dfs.sh

[icss@hdp01 hadoop]$ sbin/stop-dfs.sh

        1. YARN启动/停止

[icss@hdp02 hadoop]$ sbin/start-yarn.sh

[icss@hdp02 hadoop]$ sbin/stop-yarn.sh

      1. 全部集群启动/停止 （不建议使用）

[icss@hdp02 hadoop]$ sbin/start-all.sh

[icss@hdp02 hadoop]$ sbin/stop-all.sh

  1. 本章总结

Hadoop的安装，安装hadoop运行环境配置，了解运行模式：本地模式与安装、伪分布式模式与安装、完全分布式模式与安装。

0lanfeng0
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群配置（二）免密登录和集群配置
学而知之@的博客
05-20 1735
写在开头： 难难难道德玄，不对知音不可谈，对了知音谈几句，不对知音枉费舌尖~~ 咱们书接上回，上一篇写完了基础环境的配置，这篇就来说硕同样重要的免密登录，当然还有Hadoop集群的配置。 2.1 三台linux服务器环境准备 1. 三台机器IP设置 三台机器修改ip地址： # 对网库进行设置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # hadoop版本IP设置 BOOTPROTO="static" IPADDR=192.168.32.100 NETMA
Hadoop-2-安装
loetca
07-02 184
Apache Hadoop的安装示例，包括三种：1、本地（独立）模式，2、伪分布式模式，3、全分布式模式
Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)
Stack It Up
03-02 3527
Hadoop集群搭建，特别顺利版！！！！！ 软件：VM Wareiso 镜像：CentOS7Hadoop 版本：Hadoop-3.3.3。
hadoop环境搭建配置
weixin_52047231的博客
04-19 408
hadoop安装教程笔记
Hadoop步骤三:Centos7 卸载自带Openjdk 并 安装JDK19
qq_74890367的博客
06-20 1035
JDK的安装
Hadoop学习2：Hadoop环境配置：JDK 1.8和Hadoop配置
qq_43967413的博客
11-29 2313
1 JDK 1.8安装1.1 yum便捷安装1.2 yum方式安装寻找对应的安装目录1.3 手动添加Java_Home2 Hadoop 3.1.3 安装2.1 下载地址2.2 环境变量配置验证 1 JDK 1.8安装 1.1 yum便捷安装 yum list installed | grep java 查看系统是否安装过java yum -y remove java-1.8.0-openjdk* 卸载java yum install java-1.8.0-openjdk* 下载 .
hadoop安装
drl_blogs的博客
05-22 377
1 HADOOP安装部署 上传HADOOP安装包 规划安装目录 /usr/local/hadoop-2.7.3 解压安装包 修改配置文件 /usr/local/hadoop-2.7.3/etc/hadoop/ 最简化配置如下： vi hadoop-env.sh jdk环境变量 export JAVA_HOME=/usr/local/jdk1.8.0_211 vi core-sit...
第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf
06-27
第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式...
第二章：Hadoop
董长春
05-19 6896
目录 Hadoop概述 历史 作用 Hadoop的安装 Hadoop版本介绍 Hadoop 的安装有三种方式 Hadoop伪分布式安装 进入目录 上传安装包并解压 修改配置文件 启动 初始化 ​ 启动 停止 测试 HDFS详解 NameNode DataNode Block SecondaryNameNode HDFS优点 HDFS缺点 HDFS细节 NameNode、SecondaryNameNode如何工作？ Block备份如何放置？ HDFS基本S
第2章-hadoop安装.docx
05-25
Hadoop的安装过程包括下载Hadoop二进制文件，配置环境变量，修改配置文件等步骤。具体安装步骤如下： 1. 添加Hadoop仓库和GPG密钥，安装依赖项。 2. 下载Hadoop二进制包并解压至指定目录（例如 `/usr/local/hadoop`...
Hadoop集群从0到1，组件—原理—安装—配置（第二章：SPARK+ZK+HBASE）BY wwn.pptx
05-20
Hadoop集群从0到1，组件—原理—安装—配置Hadoop集群从0到1，组件—原理—安装—配置（SPARK+ZK+HBASE）
第2章 Hadoop平台安装.pdf
11-27
实验二：安装Hadoop软件 此实验的目标是学会下载和安装Hadoop。实验要求包括了解如何获取Hadoop安装包，通常可以从Apache官方网站下载最新版本。安装Hadoop时，要确保符合硬件和软件的要求，比如双核CPU、8GB内存和...
【大数据折腾不息系列】(二) Hadoop 3.0 安装
不负热爱
07-01 2896
Hadoop自诞生至今已经成为了事实上的大数据标准，基于最初的Hadoop框架，有很多优秀的大数据组件被开发创造出来了，一步步形成了如今庞大的Hadoop生态。因此，对于想要接触了解大数据的人来说，学习Hadoop是必不可少的。因此，首先还是要从安装Hadoop开始。本文将尽可能以最简单的方式、最少的步骤搭建起一个可以使用的单节点伪分布式Hadoop。.........
Hadoop运行环境搭建
weixin_42042774的博客
03-29 3822
分区： /boot引导用区-->1G；； swap交换区-->2G；标准分区； /根目录-->剩下的全部；标准分区；ext4 vi /etc/hostname 改hostname vi /etc/syscomfig/network-scripts/ifcfg-ens33 重启网络服务，查看网络是否改成功 systemctl restart network//重新启动 ip addr//查看ip ...
GitChat·大数据 | 史上最详细的Hadoop环境搭建
热门推荐
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
简明Hadoop配置(1)——配置jdk以及Hadoop
lqadam的博客
10-07 1万+
注意：以下实践实在Ubuntu14.0.4以及Hadoop2.7.2所做的，如果环境不同，效果可能不理想。首先，以下默认我们已经下载好了jdk以及hadoop的压缩包，没有的话，需要这里->jdk下载 | hadoop下载下载一. 配置jdkUbuntu默认是使用的OpenJDK，似乎也可以，不过因为惯性，我还是先配置了Sun的JDK，以防万一。 修改环境文件 运行命令：sudo gedit
CentOS 7 yum安装openjdk以及环境变量配置、hadoop配置java环境变量
枪枪枪的博客
03-23 2467
======================================================================= 在安装hadoop后，运行hadoop时提示 ERROR: JAVA_HOME is not set and could not be found. 需要配置java路径，于是便重新安装openjdk 1.8 =======================...
Hadoop 需要匹配的Java版本介绍
cyg521的博客
01-09 1万+
Hadoop Java版本 本文主要参照Java版本在HadoopJavaVersions中描述 点击打开链接 https://wiki.apache.org/hadoop/HadoopJavaVersions Apache Hadoop的2.7及更高版本需要Java 7.它是在OpenJDK和Oracle（HotSpot）的JDK / JRE 上构建和测试的。
计算机毕业设计pyspark+django+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop 58同城租房爬虫 房源推荐系统
最新发布
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
08-19 1578
计算机毕业设计pyspark+django+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop 58同城租房爬虫 房源推荐系统
云计算第二版：Hadoop编程与MapReduce实践
云计算（第二版）的第6章主要探讨了Hadoop——Google云计算的一种开源实现，该部分着重于Hadoop的四个核心组件：Hadoop分布式文件系统（HDFS）、分布式数据处理MapReduce、分布式结构化数据表HBase以及Hadoop的安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值