Linux Hadoop 2.7.3 集群部署

最新推荐文章于 2023-07-26 17:21:49 发布
最新推荐文章于 2023-07-26 17:21:49 发布
阅读量2.1k 收藏 3
点赞数 1
分类专栏： hadoop 文章标签： hadoop centos hadoop-2-7 集群部署 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zslomo/article/details/52975624
版权
本文详细介绍了如何在CentOS系统上搭建Hadoop 2.7.3集群，包括准备阶段、设置SSH免密登录、安装Java环境、配置Hadoop、创建集群节点以及启动和测试Hadoop集群。通过SSH免密登录简化集群管理，通过配置Hadoop环境实现分布式计算。
摘要由CSDN通过智能技术生成

一、说明：

到写本文时间为止，3.0没有发布稳定的版本，所以本文基于2.7.3
系统为centOS ，用 debian核心的linux（比如ubuntu） 基本设置相同，只要把yum换成apt-get，推荐使用更稳定的centOS

二、集群部署

1、 准备

理论实验室没有服务器，我利用自己的电脑和舍友的电脑搭建了1个namenode 7个datanode的分布式集群，虚拟机为VMware Workstation，虚拟机部分有问题可以找虚拟机教程，这里不过多讲解

第一步创建新的虚拟机：
我的配置如下：
虚拟机
这里cpu内存根据自己的机器配置，但是注意，网络适配器一定设置成桥接

第二步 安装系统：
在centOS官网下载centOS 下载minimal版本，也就是只有linux内核和少量软件的版本，因为节点只用来计算，所以尽可能的少运行不必要的程序
VMware中选择虚拟机创建位置尽可能选择SSD，hadoop处理数据会大量读取磁盘，ssd在随机存储上会显著加快性能

第三步 配置CentOS：
请直接用root用户登录，如果没有root用户登录，使用

$ sudo passwd
输入密码：
确认密码：

$ su
输入root密码：

获取root权限，在root用户下会省去许多麻烦

设置网卡的IP地址、网关、DNS（此处CentOS跟ubuntu不一样，ubuntu直接在界面右上角选择网络设置就行）

# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

下面是我的设置：
这里写图片描述
注意IP地址、网关设置成自己网络的，如果用路由器wifi上网，那么网关就是路由器ip地址，本机ip一定记住

然后安装神器vim：

# yum install vim

配置host：

#vim /etc/hosts

我的配置如下：

这里写图片描述

这里前面的ip地址是集群节点的ip，后面是名称，以后可以直接用后面的名称访问，等效于ip地址

2、设置SSH免密登录

确认是否安装ssh,即使是minimal版本，CentOS也安装了ssh，如果没有用下面命令安装

# yum install ssh

ssh协议是hadoop集群节点之间通信的根本
首先在root根目录下创建.ssh文件夹：

# mkdir /root/.ssh
# cd ~/.ssh

然后，生成秘钥，此处一定用RSA！！！！！尤其是ubuntu用户，因为ssh服务器配置文件里很可能没有DSA的相关设置

# ssh-keygen

然后一路回车,默认生成了一个无密码的RSA公钥和RSA私钥分别为 id_rsa.pub id_rsa
使用ls命令可以看见生成了三个文件，（其中authorized_keys一般没有）：
这里写图片描述
known_hosts是用来写入信任节点的，否则每次会进行询问
新建authorized_keys文件：

# touch authorized_keys

这个文件用来写入其他节点的rsa公钥，这样，通过非对称加密实现免密登录
首先将本机公钥写入

# cat id_rsa.pub >> authorized_keys

然后ssh登录本机

# ssh master

如果出现（yes/no）输入yes，这是写入known_hosts，只要这一次，以后不需要
这样就成功了：
这里写图片描述

3、 安装java环境

无论是debain核心还是redhat核心的linux系统都已经安装了openJDK，可以直接使用，但是Oracle有一部分并未开放给openJDK，所以我们还是安装一下Oracle的JDK，去官网下载linux版本的JDK：jdk-8u111-linux-x64.rpm，这里注意要一次下完，因为下载地址不是静态的，并不支持断点续传

卸载openJDK

# rpm -qa | grep 
你的openjdk版本
#yum -y remove 上面显示的版本

安装Oracle JDK

# rpm -ivh jdk-8u111-linux-x64.rpm

添加环境变量

# vim /etc/profile

在最后追加

export JAVA_HOME=/usr/java/jdk1.8.0_111 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

注意 JAVA_HOME这个变量的路径可能有所不同，写成自己系统的

然后使其生效：

# source /etc/profile

验证：

java -version

出现如下画面表示成功，我安装的时候还是_101现在应该是_111了

这里写图片描述

4、配置hadoop

在hadoop官网下载-编译好的二进制文件，如果想要学习hadoop的源码，请下载-src的原码版本

# cd
# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

解压

# tar -zvf hadoop-2.7.3.tar.gz

配置hadoop环境，这里依然可以用/etc/profile一样的

# vim ~/.bashrc

追加

export HADOOP_HOME=/root/hadoop-2.7.3
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效：

source ~/.bashrc

这一步没有也是可以的，但是设置环境变量以后使用/bin 和/sbin中的脚本命令就不用进入这两个文件夹内了

然后我们需要配置hadoop的一些设置

首先进入hadoop文件夹：

# cd /root/hadoop-2.7.3/etc/hadoop

我们需要修改这几个文件：

hadoop-env.sh 
yarn-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
slaves

一一展开：
1

# vim hadoop-env.sh

javahome这行去掉注释并改成自己的

export JAVA_HOME=/usr/java/jdk1.8.0_111

2

# vim yarn-env.sh

javahome这行去掉注释并改成自己的

export JAVA_HOME=/usr/java/jdk1.8.0_111

3

# vim core-site.xml

改成如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.1.151:9000</value>
    </property>

    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/root/hadoop-2.7.3/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>

</configuration>

注意：<value>hdfs://192.168.1.151:9000</value> 这行要把IP改成自己的ip或者master（如果你一步步按我的配置）

4

# vim hdfs-site.xml

改成如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/root/hadoop-2.7.3/hdfs/name</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/root/hadoop-2.7.3/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:9001</value>
    </property>

    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

5
mapred-site.xml 并不存在，而是作为mapred-site.xml.template 保存，所以需要先生成

# cp mapred-site.xml.template mapred-site.xml
# vim hdfs-site.xml

改成如下

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

6

vim yarn-env.sh

改成如下

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>                                              
    </property>
</configuration>

7

vim slaves

slaves 文件里是datanode的ip地址，所以有几个datanode就写几个，因为节点太少，这里我把master节点也作为一个datanode运行

master
slave1
slave2
slave3
slave4
slave5
slave6

创建必须文件夹

# cd /root/hadoop-2.7.3
# mkdir tmp
# mkdir hdfs
# cd ./hdfs
# mkdir name
# mkdir data

至此hadoop配置已经结束

5 、创建集群其他节点

关闭虚拟机，右键管理机选择 管理>克隆 打开克隆窗口，只需要注意在后面步骤选择“创建完整克隆”，这样就创建了一个跟刚才我们配置节点一模一样的虚拟机，所以我们已经不需要每一个克隆再进行上面的步骤，但是我们需要重新设置本机ip地址，按照/etc/hosts 中的对应信息配置每个节点的ip地址

6、用ssh连通集群

这里我们需要在每个节点生成秘钥并把公钥写入所有其他节点的authorized_keys中，如果随便乱写我们需要做 n(n−1)/2 次操作，这里有个小窍门，我们在每个slave节点生成rsa然后所有节点都发给master节点，让master节点写入后，吧写好的 authorized_keys文件分发到每个slave节点，这样只需要 2n 次操作
在每个slave节点执行：

# cd
# mkdir .ssh
# cd ./.ssh
# ssh-keygen
# scp id_rsa.pub root@master:/root/

这时是没有免密登录的，所以scp命令需要输入对方的密码，也就是安装系统的时候root的密码

每个slave执行完后，切换到master执行

# cd
# cat id_rsa.pub >> ./.ssh/authorized_keys

再切换到下一个slave

当我们都设置完成后在master节点用scp命令挨个发送到每个slave节点的/root/.ssh文件夹下

最后用ssh命令检查是否成功，ssh是直接登录，比如ssh slave1后你就到了slave1的系统中，并不是还在master节点系统里

# ssh slave1
# ssh slave2
# ssh slave3
ssh 每个节点
# ssh master

注意： 如果这一步后如果无法免密登录请修改文件权限：

# cd
# chmod 700 .ssh
# chmod 600 ./.ssh/authorized_keys

三、启动hadoop集群

经过上面的配置，我们的hadoop已经饥渴难耐只等着你来跑数据了！
首先格式化namenode节点，注意在master节点上！

# cd /root/hadoop-2.7.3/bin
# hadoop namenode -format

然后启动集群

# start-dfs.sh
# start-yarn.sh

在master节点运行

# jps

看到如下进程：

这里写图片描述

切换到slave节点

# jps

看到如下进程

这里写图片描述

浏览器中打开namenode（master）的50070端口http://192.168.1.151:50070/dfshealth.html#tab-datanode，可以看见

这里写图片描述

四、运行测试用例

切换到hadoop根目录
执行:

# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 20 10

如果显示如下：

[root@master hadoop-2.7.3]# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 20 10
Number of Maps  = 20
Samples per Map = 10
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /user/root/QuasiMonteCarlo_1477866128357_872988341/in. Name node is in safe mode.
The reported blocks 126 needs additional 15 blocks to reach the threshold 0.9990 of total blocks 141.
The number of live datanodes 7 has reached the minimum number 0. Safe mode will be turned off automatically once the thresholds have been reached.

证明hadoop处于安全模式，我们执行

# bin/hadoop dfsadmin -safemode leave

然后再运行例子

成功后会做如下输出：

[root@master hadoop-2.7.3]# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 20 10
Number of Maps  = 20
Samples per Map = 10
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Wrote input for Map #10
Wrote input for Map #11
Wrote input for Map #12
Wrote input for Map #13
Wrote input for Map #14
Wrote input for Map #15
Wrote input for Map #16
Wrote input for Map #17
Wrote input for Map #18
Wrote input for Map #19
Starting Job
16/10/31 06:26:11 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.1.151:8032
16/10/31 06:26:11 INFO input.FileInputFormat: Total input paths to process : 20
16/10/31 06:26:13 INFO mapreduce.JobSubmitter: number of splits:20
16/10/31 06:26:13 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1477865558623_0002
16/10/31 06:26:14 INFO impl.YarnClientImpl: Submitted application application_1477865558623_0002
16/10/31 06:26:14 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1477865558623_0002/
16/10/31 06:26:14 INFO mapreduce.Job: Running job: job_1477865558623_0002
16/10/31 06:26:20 INFO mapreduce.Job: Job job_1477865558623_0002 running in uber mode : false
16/10/31 06:26:20 INFO mapreduce.Job:  map 0% reduce 0%
16/10/31 06:26:27 INFO mapreduce.Job:  map 5% reduce 0%
16/10/31 06:26:32 INFO mapreduce.Job:  map 10% reduce 0%
16/10/31 06:26:33 INFO mapreduce.Job:  map 15% reduce 0%
16/10/31 06:26:34 INFO mapreduce.Job:  map 25% reduce 0%
16/10/31 06:26:35 INFO mapreduce.Job:  map 35% reduce 0%
16/10/31 06:26:36 INFO mapreduce.Job:  map 50% reduce 0%
16/10/31 06:26:37 INFO mapreduce.Job:  map 55% reduce 0%
16/10/31 06:26:39 INFO mapreduce.Job:  map 60% reduce 0%
16/10/31 06:26:41 INFO mapreduce.Job:  map 100% reduce 0%
16/10/31 06:26:43 INFO mapreduce.Job:  map 100% reduce 100%
16/10/31 06:26:44 INFO mapreduce.Job: Job job_1477865558623_0002 completed successfully
16/10/31 06:26:44 INFO mapreduce.Job: Counters: 50
        File System Counters
                FILE: Number of bytes read=446
                FILE: Number of bytes written=2500465
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=5350
                HDFS: Number of bytes written=215
                HDFS: Number of read operations=83
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=3
        Job Counters
                Launched map tasks=20
                Launched reduce tasks=1
                Data-local map tasks=6
                Rack-local map tasks=14
                Total time spent by all maps in occupied slots (ms)=276691
                Total time spent by all reduces in occupied slots (ms)=12644
                Total time spent by all map tasks (ms)=276691
                Total time spent by all reduce tasks (ms)=12644
                Total vcore-milliseconds taken by all map tasks=276691
                Total vcore-milliseconds taken by all reduce tasks=12644
                Total megabyte-milliseconds taken by all map tasks=283331584
                Total megabyte-milliseconds taken by all reduce tasks=12947456
        Map-Reduce Framework
                Map input records=20
                Map output records=40
                Map output bytes=360
                Map output materialized bytes=560
                Input split bytes=2990
                Combine input records=0
                Combine output records=0
                Reduce input groups=2
                Reduce shuffle bytes=560
                Reduce input records=40
                Reduce output records=0
                Spilled Records=80
                Shuffled Maps =20
                Failed Shuffles=0
                Merged Map outputs=20
                GC time elapsed (ms)=5447
                CPU time spent (ms)=16120
                Physical memory (bytes) snapshot=5005144064
                Virtual memory (bytes) snapshot=43973459968
                Total committed heap usage (bytes)=3805175808
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters
                Bytes Read=2360
        File Output Format Counters
                Bytes Written=97
Job Finished in 33.959 seconds
Estimated value of Pi is 3.12000000000000000000

至此，hadoop配置及验证全部完成

二喵棒棒哒
关注
专栏目录
Hadoop 2.7.3 高可用（HA）集群部署
Han Bert
10-17 2317
本文主要介绍如何部署Hadoop 2.7.3 高可用（HA）集群
【Hadoop】Centos7中完全分布式hadoop-2.7.3集群的安装与配置
strawcherry_wj的博客
07-24 1037
一、安装操作系统并配置IP 在VMware虚拟机中安装三台Centos，分别作为Master，Slave1，Slave2，并配置root用户。 配置三台机器的静态IP地址，本次示例IP分别为： Master: 192.168.157.128 Slave1: 192.168.157.129 Slave2: 192.168.157.130 （关于设置静态ip连不上网的问题，https://blog.csdn.net/tearofthemyth/article/details/112800999 Mac VMw
第一步-hadoop-hadoop-2.7.3在centos7上部署安装（单机版）.zip
12-21
搭建hadoop单机版+hbase单机版+pinpoint整合springboot 第一步-hadoop-hadoop-2.7.3在centos7上部署安装（单机版）
超详细从零记录Hadoop2.7.3完全分布式集群部署过程
weixin_34279246的博客
10-27 623
超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。（首更时间2016年10月27日） 主机名/hostname IP 角色 hadoop1 192.168.193.131 ...
hadoop2.7.3分布式安装部署
qq_41953252的博客
12-26 927
说明: 1.教程中出现字体加粗和加红的说明需要大家仔细阅读，按照步骤进行安装，都是比较重要的细节，如果有同学忘记或者跳过说明的步骤，环境大家的过程中问题会非常的多. 2.本教程主要引导同学进行hadoop 2.x版本的安装，之所以还要进行hadoop2.x版本的安装，是我们现在市场中大部分很早的企业部署的是hadoop2.x，上课主要讲解hadoop2.x，经历的hadoop3.x版本的安装之后，...
centos7 安装hadoop2.7.6（分布式）
weixin_30836759的博客
08-09 155
本文只做简单介绍，具体步骤操作请参考centos6.5 安装hadoop1.2.1亲测版 本篇只简单介绍安装步骤 1.安装目录 /usr/local/hadoop （HADOOP_HOME） 2,创建group hadoop groupadd hadoop 3.创建用户hadoop useradd -d /home/hadoop -g had...
Hadoop集群 Linux部署
m0_37566009的博客
12-07 2622
hadoop部署 hadoop版本3.3.0 jdk 1.8 下载Apache Hadoop 1 Download tar.gz 2 Download src 源码 3 Documentation 文档 部署条件： 1 配置jdk环境变量 2 配置免密登录 3 修改主机名 java环境变量配置 vi /etc/profile ..... done //加入以下三行 第一行为jdk解压路径 export JAVA_HOME=/mnt/jdk1.8/jdk1.
centos7 安装 hadoop 2.7.3集群.docx
09-19
### CentOS 7 下 Hadoop 2.7.3 集群安装与配置详细步骤 #### 一、配置 hosts 文件及建立 Hadoop 运行帐号 - **配置 hosts 文件**： - 打开 `/etc/hosts` 文件，并编辑添加主机名与 IP 地址的映射关系。 - 示例：...
hadoop2.7.3的hadoop.dll和winutils.exe
11-04
在IT行业中，Hadoop是一个...理解它们的作用和配置方法对于在Windows上部署和管理Hadoop集群至关重要。这两个文件的提供使得开发者和数据工程师能够在Windows平台上充分利用Hadoop的强大功能，进行大数据分析和处理。
hadoop 2.7.3 32位
07-18
首先，Hadoop 2.7.3是Hadoop的一个稳定版本，它包含了多项改进和优化，比如YARN（Yet Another Resource Negotiator）资源调度器的增强，使得集群管理更加高效。在这一版本中，Hadoop的MapReduce框架也进行了优化，...
hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载
05-17
hadoop-2.7.3.tar.gz 下载 目前相对比较稳定的版本 hadoop tar 包下载hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载
Linux-Hadoop集群搭建详细简明教程
08-31
Linux 操作系统安装环境下Hadoop集群搭建详细简明教程
hadoop-2.7.3.tar.gz
04-30
linux版本的hadoop2.7，2.7版本比较经典，hadoop平台是一种大数据平台，其包含两大重要组件，一个hdfs分布式文件系统，一个MapReduce并行计算模型。
hadoop-2.7.7linux安装包（官网）
12-11
此文件为hadoop-2.7.7.tar.gz，可在linux下直接进行安装，如在windows上安装，则需要hadooponwindows-master.zip，用windows-master里的文件替换解压好后hadoop的bin和etc即可。
hadoop-2.7.2.tar.gz
02-26
hadoop2.7环境，能玩完美运行于各种linux环境；hadoop2.7环境，能玩完美运行于各种linux环境
安装一：Linux hadoop2.7.3（单机模式）
世界之大
03-07 625
一、java环境安装配置 /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_11export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar二、SSH安装一般Linux系统都有，此处省略三、安装hadoop官方网站下载：...
Linux下Hadoop集群搭建（2.7.3）完全分布式
不会水得鱼的博客
04-08 725
一.准备工作1.1台已经搭建好的Linux操作系统2.Hadoop及jdk的安装包 （Hadoop是用Java开发的，所以Hadoop的编译及MapReduce的运行都需要使用JDK）3.上传文件到Linux的工具  本人习惯用winscp开机自动启动sshd：chkconfig  sshd on开机自动关闭防火墙：chkconfig  iptables  off（注意：必须开启sshd并关闭防火...
hadoop在linux部署以及集群笔记
lvhao2813的博客
05-29 215
hadoop是建立在廉价机器上的集群，实现高可用，高并发 使用hadoop存储都是延时存储 Hadoop部署模式 区分依据nameNode、dataNode、resourceManager、nodeManager等模块运行在几个jvm进程 本地模式 各模块占用JVM进程数1个 各个模块运行在1个机器上 伪分布模式 各模块占用JVM进程数N个 各个模块运行在1个机器上 完全分布模式 各模块占用JVM进程数N个 各个模块运行在N个机器上 .
虚拟机Linux Hadoop部署
最新发布
夏末蝉未鸣的博客
07-26 325
参照B站黑马程序员2023大数据课程Hadoop部署过程课程，分享我的成功部署经历，由于所用的虚拟机和软件与课程上的不一样，所以部署过程也有些许不同，但最终还是成功部署
"Linux下Hadoop2.7.3集群环境搭建与JDK配置详解
本文描述了在Linux下搭建Hadoop2.7.3集群环境的过程和步骤。该环境可以用于生产环境下的Hadoop和HDFS分布式环境，并且为新人提供了学习和使用的便利。首先，需要安装并配置JDK作为基础环境。由于Oracle官网主要推荐...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值