VM12+CentOS6.5+hadoop2.7.3 搭建hadoop完全分布式集群

最新推荐文章于 2024-05-15 10:46:15 发布
最新推荐文章于 2024-05-15 10:46:15 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： 爬虫 文章标签： centos hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangzeguang88/article/details/54647629
版权
VM12+CentOS6.5+hadoop2.7.3 搭建hadoop完全分布式集群写在前边的话： 本人由于在研究生期间从事搜索引擎和挖掘方向，但工作2年确还是爬虫，所以最近想利用课余时间重新熟悉下hadoop,另一个原因也是hadoop方面薪水较高，想做hadoop方面工作，先用虚拟机搭建一个完全分布式，对hadoop应用生态熟悉，为找大数据工作做好准备。
摘要由CSDN通过智能技术生成


一：安装VM 12.x

     下载地址：链接：http://pan.baidu.com/s/1c2KA3gW密码：3r67

二：安装CentOS6.5 +每台机器都要做的事

     这里采用3台机器，其对应的IP和主机分别如下（他们的用户名都是master）

主机名 ip 对应的角色
master1 192.168.48.130 NameNode
slave1 192.168.48.131 Datanode1
slave2 192.168.48.132 Datanode2

     这里我们可以采用安装一台虚拟机，然后进行克隆的方法，克隆出五台机器，然后修改对应的ip地址和用户名，VM安装虚拟机有三种网络连接方式，分别是桥接，NAT，仅主机模式，这里采用默认设置，即使用NAT，NAT模式下实用的是Vmnet8

2.1 安装vmware tools：

1、点击VMware菜单虚拟机选中安装VMware-tools：

    注：虚拟机桌面会生成VMwaretools DVD安装光盘


blob.png

2、查看虚拟机设置ISO映像文件是否是VMwaretoolsDVD带Linux.iso映像的文件：

+另外注意在设备状态上勾选 已连接。

blob.png

3、在centos系统中 open terminal （打开终端）挂在VMwaretoolsDVD镜像：

blob.png

4、执行cd 命令进入到/mnt目录并copy（拷贝）VMwareTools-10.0.0-2977863.tar.gz到/tmp目录：

blob.png

5、执行cd命令进入/tmp目录并使用tar解压VMwareTools-10.0.0-2977863.tar.gz 至当前目录下


blob.png


6、解压缩完成之后使用ls查看/tmp目录下是否存在vmware-tools-distrib 这个目录：

blob.png

7、执行cd命令进入vmware-tools-distrib目录下，查看是否有vmware-install.pl这个常规文件：


blob.png

8、在当前目录VMware-tools-distrib下执行./VMware-install.pl安装VMwaretools：之后一路回车就ok了。


blob.png


9、至此VMwaretools安装完成，谢谢！


Linux CentOS 6.6安装JDK1.7

目录

1、下载JDK

2、卸载JDK

3、安装JDK

3.1、.rpm后缀格式JDK安装方式

3.2、.tar.gz后缀格式JDK安装方式

4、验证安装


1、下载JDK（略）。

2、卸载JDK

查看系统是否已安装JDK。一般的linux都默认使用了开源的openJDK。显示JDK版本信息，已经安装JDK，否则没有安装。命令行：

[plain]  view plain  copy
  1. java -version  

[root@localhost Desktop]# java -version

java version "1.7.0_79"

Java(TM) SE Runtime Environment (build 1.7.0_79-b15)

Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

 

查找名字包含java，jdk的已安装程序。查找到了，已经安装JDK，否则没有安装。命令行：

[plain]  view plain  copy
  1. rpm -qa | grep java  
  2. rpm -qa | grep jdk  

[root@localhost Desktop]# rpm -qa | grep java

[root@localhost Desktop]# rpm -qa | grep jdk

jdk-1.7.0_79-fcs.x86_64

 

已安装JDK，卸载系统上的JDK，+卸载分为单个卸载和批量卸载，建议批量卸载。

单个卸载程序，使用rpm -e xxx命令。命令行：

[plain]  view plain  copy
  1. rpm -e jdk-1.7.0_79-fcs.x86_64  

[root@localhost Desktop]# rpm -e jdk-1.7.0_79-fcs.x86_64

批量卸载所有名字包含jdk的已安装程序。命令行：

[plain]  view plain  copy
  1. rpm -qa | grep jdk | xargs rpm -e --nodeps  

[root@localhost Desktop]# rpm -qa | grep jdk | xargs rpm -e --nodeps

批量卸载所有名字包含java的已安装程序。命令行：

[plain]  view plain  copy
  1. rpm -qa | grep java | xargs rpm -e --nodeps  

[root@localhost Desktop]# rpm -qa | grep java | xargs rpm -e --nodeps

 

卸载后，查看JDK版本，已无信息，卸载成功。命令行：

[plain]  view plain  copy
  1. java -version  

[root@localhost Desktop]# java -version

bash: /usr/bin/java: No such file or directory

 

3、安装JDK

3.1、.tar.gz后缀格式JDK安装方式

安装jdk-7u79-linux-x64.tar.gz。

在/usr目录下新建java文件夹，命令行：

[plain]  view plain  copy
  1. mkdir /usr/java  

[root@localhost Desktop]# mkdir /usr/java

 

进入JDK压缩包所在目录，将压缩包复制到java文件夹中。复制文件用cp xxx命令，复制文件夹用cp -r xxx，命令行：

[plain]  view plain  copy
  1. cp jdk-7u79-linux-x64.gz /usr/java  

[root@localhost Desktop]# cp jdk-7u79-linux-x64.gz /usr/java

 

然后返回到根目录，再进入java目录，命令行：

[plain]  view plain  copy
  1. cd /  
  2. cd /usr/java  

[root@localhost Desktop]# cd /

[root@localhost Desktop]# cd /usr/java

 

压缩包解压，命令行：

[plain]  view plain  copy
  1. tar xvf jdk-7u79-linux-x64.gz  

[root@localhost Desktop]# tar xvf jdk-7u79-linux-x64.gz

 

删除压缩包，输入yes确认删除。命令行：

[plain]  view plain  copy
  1. rm jdk-7u79-linux-x64.gz  

[root@localhost java]# rm jdk-7u79-linux-x64.gz

rm: remove regular file `jdk-7u79-linux-x64.gz'? yes

 +选择以下两种方式之一，建议3.1.1

3.1.1 设置对所有用户有效方式：修改/etc/profile文件设置系统变量，设置jdk环境变量，该方式对所有用户有效。

使用VI编辑，输入命令，回车确认。命令行：

[plain]  view plain  copy
  1. vi /etc/profile  

[root@localhost Desktop]# vi /etc/profile

 

打开之后在文件末尾添加下面配置。通过鼠标滑轮滚动到文件末尾，上下左右方向键控制光标输入位置。

[plain]  view plain  copy
  1. export JAVA_HOME=/usr/java/jdk1.7.0_79  
  2. export JRE_HOME=$JAVA_HOME/jre  
  3. export PATH=$PATH:$JAVA_HOME/bin  
  4. export CLASSPATH=./:$JAVA_HOME/lib:$JRE_HOME/lib

 

配置好后，按Esc退出，按Shift加英文冒号shift + :  然后输入wq，按Enter回车键确认。取消编辑按Ctrl+z。

使profile配置生效。命令行：

[plain]  view plain  copy
  1. source /etc/profile  

[root@localhost Desktop]# source /etc/profile

 

3.1.2 设置对当前用户有效方式：修改.bashrc文件设置用户变量，设置jdk环境变量，该方式仅对当前用户有效，对其它用户无效，其它用户没有运行java命令的权限。命令行：

[plain]  view plain  copy
  1. vi ~/.bashrc  

[root@localhost Desktop]# vi ~/.bashrc

在bashrc文件中添加下面配置。按Insert键进入编辑状态。

[plain]  view plain  copy
  1. export JAVA_HOME=/usr/java/jdk1.7.0_79  
  2. export JRE_HOME=$JAVA_HOME/jre  
  3. export PATH=$PATH:$JAVA_HOME/bin  
  4. export CLASSPATH=./:$JAVA_HOME/lib:$JRE_HOME/lib  

 

使bashrc配置生效。命令行：

[plain]  view plain  copy
  1. source ~/.bashrc  

[root@localhost Desktop]# source ~/.bashrc

配置好后，按Esc退出，按Shift加英文冒号shift + :  然后输入wq，按Enter回车键确认。取消编辑按Ctrl+z。

 

设置对某个用户有效：如果要使JDK对某个用户有效，某个用户具有运行java命令的权限，修改该用户的.bashrc文件。

例如：ROOT用户给dodobook2用户名运行java命令的权限。

[plain]  view plain  copy
  1. vi /home/dodobook2/.bashrc  

[root@LinuxServer root]# vi /home/dodobook2/.bashrc

在bashrc文件中添加下面配置。按Insert键进入编辑状态。

[plain]  view plain  copy
  1. export JAVA_HOME=/usr/java/jdk1.7.0_79  
  2. export JRE_HOME=$JAVA_HOME/jre  
  3. export PATH=$PATH:$JAVA_HOME/bin  
  4. export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  

如果当前登录用户是dodobook2，使用vi ~/.bashrc命令编辑修改。

[plain]  view plain  copy
  1. vi ~/.bashrc  

[dodobook2@localhost Desktop]# vi ~/.bashrc

 

使用echo $JAVA_HOME、echo $CLASSPATH、echo $PATH查看环境变量配置。

[plain]  view plain  copy
  1. echo $JAVA_HOME  
  2. echo $CLASSPATH  
  3. echo $PATH  

[root@localhost Desktop]# echo $JAVA_HOME

/usr/java/jdk1.7.0_79

[root@localhost Desktop]# echo $CLASSPATH

./:/usr/java/jdk1.7.0_79/lib:/usr/java/jdk1.7.0_79/jre/lib

[root@localhost Desktop]# echo $PATH

/usr/local/sbin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin:/usr/java/jdk1.7.0_79/bin:/root/bin:/usr/java/jdk1.7.0_79/bin

 

 

4、验证安装

安装完成后，查看JDK版本。命令行：

[plain]  view plain  copy
  1. java -version  

[root@localhost Desktop]# java -version

java version "1.7.0_79"

Java(TM) SE Runtime Environment (build 1.7.0_79-b15)

Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

 

测试下javac命令是否可用。命令行：

[plain]  view plain  copy
  1. javac  

[root@localhost Desktop]# javac

Usage: javac <options> <source files>

where possible options include:

  -g                         Generate all debugging info

  -g:none                    Generate no debugging info

  -g:{lines,vars,source}     Generate only some debugging info

  -nowarn                    Generate no warnings

  -verbose                   Output messages about what the compiler is doing

  -deprecation               Output source locations where deprecated APIs are used

  -classpath <path>          Specify where to find user class files and annotation processors

  -cp <path>                 Specify where to find user class files and annotation processors

  -sourcepath <path>         Specify where to find input source files

  -bootclasspath <path>      Override location of bootstrap class files

  -extdirs <dirs>            Override location of installed extensions

  -endorseddirs <dirs>       Override location of endorsed standards path

  -proc:{none,only}          Control whether annotation processing and/or compilation is done.

  -processor <class1>[,<class2>,<class3>...] Names of the annotation processors to run; bypasses default discovery process

  -processorpath <path>      Specify where to find annotation processors

  -d <directory>             Specify where to place generated class files

  -s <directory>             Specify where to place generated source files

  -implicit:{none,class}     Specify whether or not to generate class files for implicitly referenced files

  -encoding <encoding>       Specify character encoding used by source files

  -source <release>          Provide source compatibility with specified release

  -target <release>          Generate class files for specific VM version

  -version                   Version information

  -help                      Print a synopsis of standard options

  -Akey[=value]              Options to pass to annotation processors

  -X                         Print a synopsis of nonstandard options

  -J<flag>                   Pass <flag> directly to the runtime system

  -Werror                    Terminate compilation if warnings occur

  @<filename>                Read options and filenames from file

 

 

还可以写段代码测试下。用VI编辑java代码测试JDK是否能正常编译。按Insert键进入编辑状态。命令行：

[plain]  view plain  copy
  1. vi test.java  
[plain]  view plain  copy
  1. class test  
  2. {  
  3.    public static void main(String[]args)  
  4.    {  
  5.       System.out.println("Hello World!");  
  6.    }  
  7. }  

[root@localhost Desktop]# vi test.java

class test

{

   public static void main(String[]args)

   {

      System.out.println("Hello World!");

   }

}

 

写好后，按Esc退出，按Shift加英文冒号shift + :  然后输入wq，按Enter回车键确认。

编译运行。命令行：

[plain]  view plain  copy
  1. javac test.java  
[plain]  view plain  copy
  1. java test  

[root@localhost Desktop]# javac test.java

[root@localhost Desktop]# java test

Hello World!


2.3：每台机器上关闭防火墙和selinux

         永久关闭防火墙：chkconfig --level 35 iptables off

         永久关闭selinux：

               vim /etc/selinux/config

               找到SELINUX 行修改成为：SELINUX=disabled:


2.4 修改IP地址（+本步骤在克隆后机器上回头需要修改部分3）：

     1：查看本机ip

           我的电脑ip地址为：192.168.69.30

           Vmnet8的ipv4地址为：192.168.48.1

    3：打开虚拟机终端

     3.1 修改本机ip  

      输入：sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0

        修改后的信息如下，需要修改的地方有红线标示出来了：

        

        eth0--->eth1

        dhcp--->static

        HWADDR  MAC地址修改为本虚拟机的mac地址，mac地址查看 命令： ip addr，选择eth1那个

        

        ,+但是如果ip addr 和ifconfig都不能显示出eth1的ip,那么需要vi /etc/sysconfig/network-scripts/ifcfg-eth0  设置ONBOOT=yes（这个要是yes）

之后便可以查看ip了    

    3.2修改主机名和对应IP：

        1 : 编辑hosts文件

             sudo vim /etc/hosts

            添加   192.168.48.129  master 

  

           注意： 执行完之后source/etc/hosts，  同时修改每台机器上的/etc/sysconfig/network  中hostname对应的用户名（此步骤一定要注意，否则容易找不到主机名）

        2：便捷network文件

              sudo vim /etc/sysconfig/network

              修改HOSTNAME为master

              重启生效

三：安装hadoop集群

    1：配置SSH免密码登录

         进入~/.ssh目录

         每台机器执行：ssh-keygen -t rsa，一路回车

         生成两个文件，一个私钥，一个公钥，在master1中执行：cp id_rsa.pub authorized_keys

         a：本机无密钥登录

               修改authorized_keys权限：chmod 644 authorized_keys

               此时重启ssh服务：sudo service sshd restart

               ssh master1

               yes!!!

         b：master与其他节点无密钥登录         

           从master中把authorized_keys分发到各个结点上(会提示输入密码，输入thinkgamer即可)：

           scp /home/master/.ssh/authorized_keys slave1:/home/master/.ssh

           scp /home/master/.ssh/authorized_keys slave2:/home/master/.ssh 

           然后在各个节点对authorized_keys执行(一定要执行该步，否则会报错)：chmod 644 authorized_keys

          测试如下（第一次ssh时会提示输入yes/no，输入yes即可）：

           

    2：解压hadoop到指定目录（我这里使用的是/opt/目录）

        tar -zxvf hadoop-2.7.0.tar.gz /opt/hadoop-2.7.0

        重命名文件：mv /opt/hadoop-2.7.0 /opt/hadoop

    7：修改配置文件

          hadoop-env.sh：   

[html]  view plain  copy   在CODE上查看代码片 派生到我的代码片
  1. export JAVA_HOME=/opt/java
  2. 并加入下面这句告诉hadoop配置文件在哪里
  3. export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop/  
  •   

          core-site.xml：

[html]  view plain  copy   在CODE上查看代码片 派生到我的代码片
  1. <configuration>  
  2.   <property>  
  3.     <name>fs.default.name</name>  
  4.     <value>hdfs://master1:9000</value>  
  5.   </property>  
  6.   <property>  
  7.     <name>hadoop.tmp.dir</name>  
  8.     <value>/opt/hadoop/tmp</value>  
  9.   </property>  
  10. </configuration>  

            hdfs-site.xml：

[html]  view plain  copy   在CODE上查看代码片 派生到我的代码片
  1. <configuration>  
  2.   <property>  
  3.     <name>dfs.replication</name>  
  4.     <value>2</value>  
  5.   </property>  
  6.   <property>  
  7.     <name>dfs.namenode.name.dir</name>  
  8.     <value>file:/opt/hadoop/dfs/name</value>  
  9.   </property>  
  10.   <property>  
  11.     <name>dfs.datanode.data.dir</name>  
  12.     <value>file:/opt/hadoop/dfs/data</value>  
  13.   </property>  
  14. </configuration>  
         mapred-site.xml（本身没有该文件 复制mapred-site.xml.template一份）：
[html]  view plain  copy   在CODE上查看代码片 派生到我的代码片
  1. <configuration>  
  2.   <property>  
  3.     <name>mapreduce.framework.name</name>  
  4.     <value>yarn</value>  
  5.   </property>  
  6.   <property>  
  7.     <name>mapreduce.jobhistory.address</name>  
  8.     <value>Master:10020</value>  
  9.   </property>  
  10.   <property>  
  11.     <name>mapreduce.jobhistory.webapp.address</name>  
  12.     <value>Master:19888</value>  
  13.   </property>  
  14. </configuration>  
         yarn-site.xml：
[html]  view plain  copy   在CODE上查看代码片 派生到我的代码片
  1. <configuration>  
  2.   
  3. <!-- Site specific YARN configuration properties -->  
  4.   <property>  
  5.     <name>yarn.nodemanager.aux-services</name>  
  6.     <value>mapreduce_shuffle</value>  
  7.   </property>  
  8.   <property>  
  9.     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
  10.     <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
  11.   </property>  
  12.   <property>  
  13.     <name>yarn.resourcemanager.address</name>  
  14.     <value>master1:8032</value>  
  15.   </property>  
  16.   <property>  
  17.     <name>yarn.resourcemanager.scheduler.address</name>  
  18.     <value>master1:8030</value>  
  19.   </property>  
  20.   <property>  
  21.     <name>yarn.resourcemanager.resource-tracker.address</name>  
  22.     <value>master1:8031</value>  
  23.   </property>  
  24.   <property>  
  25.     <name>yarn.resourcemanager.admin.address</name>  
  26.     <value>master1:8033</value>  
  27.   </property>  
  28.   <property>  
  29.     <name>yarn.resourcemanager.webapp.address</name>  
  30.     <value>master1:8088</value>  
  31.   </property>  
  32. </configuration>  

    8：编辑slaves文件

        清空加入从节点的名字

        slave1

        slave2

    9：将hadoop分发到各个节点（因为权限问题，先将该文件夹分发到各个节点的/home/master目录下，再进入各个节点将文件夹移到/opt下）

         scp -r /opt/hadoop slave1:/home/master/hadoop ,进入该节点执行：sudo mv hadoop /opt/

         scp -r /opt/hadoop slave2:/home/master/hadoop ,进入该节点执行：sudo mv hadoop /opt/

    10：在master节点格式化hdfs，+并启动

           bin/hdfs namenode -format

           

          看见status 0表示安装成功


启动：在hadoop目录下执行sbin/start-all.sh

四：web页面查看

    1：http://192.168.48.130:8088/

 

    2：http://192.168.48.130:50070/
zhangzeguang88
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
VMWARE ubuntu16.04+hadoop2.7.7+jdk1.8.0_191，hadoop分布式环境搭建流程
weixin_43994085的博客
03-28 357
安装hadoop后续要安装hbase的盆友，一定先去查询一下对应版本号！！！不要问我咋知道的，都是泪。。。 1、vmware+ubuntu16.04安装 安装好vmware，下载好ubuntu16.04镜像文件，安装好虚拟机系统master，配置网络连接方式为桥接方式，主机用户名设为hadoop。并克隆出两台salve节点（完全克隆），至此三台虚拟机准备好了。 2、配置网络ip 通过图形界面操作...
尚硅谷hadoop3.x集群配置笔记及常见错误解决方式
m0_51404279的博客
10-24 4544
1.搭建集群准备工作 总体流程 准备3台客户机（关闭防火墙、静态IP、主机名称） 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 一、模板虚拟机的搭建 配置要求：IP地址192.168.10.100**、主机名称hadoop100、内存4G、**硬盘50G（内存硬盘大小根据电脑配置自行更改） 关于是否安装桌面：未安装桌面的版本需要要执行以下命令,用于配置工具包集合，包含ifconfig等命令以及软件...
Hadoop分布式集群搭建（三台虚拟机）
weixin_53426897的博客
07-12 4612
搭建hadoop集群完整教程（一步步手把手教你搭建），新建一台虚拟机hadoop01并克隆hadoop02、hadoop03两台虚拟机，配置虚拟机网络，进行配置文件的修改，完成搭建hadoop的分布式集群。
大数据平台搭建——hadoop集群（基于CentOS-7）的搭建_基于centos hadoop搭建
最新发布
2401_84573112的博客
05-15 368
若在 /root/hadoop/dfs/name中出现一个current目录并有一些列文件，即表示格式化成功，注意不要多次格式化会出错。因为克隆机器后的两个子节点和主机点的信息完全一致，因此要把两个子节点的用户名、ip地址根据之前修改的hosts文件改掉，方法和前面一致。后，即可传输，比较麻烦，建议没有要求的情况下使用克隆虚拟机的方法。（3）修改下列启动和停止集群的配置文件（在主节点修改即可）（1）切换到 下载的hadoop文件中的 bin 目录下。（1）选择对应左侧虚拟机的名称，右击选择管理–>克隆；
VMware搭建Hadoop集群 for Windows（完整详细，实测可用）_vmware安装hadoop教程
2301_79055101的博客
04-15 977
为了这三个节点间免密登录，比如后面在启动hadoop服务时，主节点启动其它从节点，就需要免密去执行。搭建集群需要3个虚拟机，hadoop01，hadoop02，hadoop03，已经安装了hadoop01，剩下两个需要用到虚拟机克隆。下载一个linux版本的JDK，这里是 jdk-8u161-linux-x64.tar.gz，3台机器均要执行以下。hadoop02、hadoop03修改时，把对于域名修改成hadoop02、hadoop03即可。同理，克隆出hadoop03即可，到这虚拟机创建及配置完毕。
VMware搭建Hadoop集群 for Windows（完整详细，实测可用）
07-29 7993
hadoop集群搭建，完整详细。
Vmware搭建hadoop集群（一）
qq_34427777的博客
03-15 5033
Vm搭建hadoop集群 1软件准备 1.虚拟机VMware 2.操作系统CentOS 7 3.远程控制虚拟机的终端xshell 4.jdk-8u162-linux-x64.tar.gz 5.hadoop-3.1.3.tar.gz 链接: https://pan.baidu.com/s/1zWzn4beB5ZtAH42a-VWeSQ 提取码: qpd5 VMware和xshell傻瓜式安装不在赘述 安装规划如下 2.在虚拟机中安装CentOS操作系统 2.1新建虚拟机 2.2选择镜像文件 2.3选择
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解
11-10
### Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解 #### 一、环境说明与理解 - **环境概述**：文档介绍了如何通过Hadoop、HBase以及ZooKeeper来构建一个分布式的集群环境。这种环境主要用于处理大...
hadoop2.7.3搭建教程_使用vm、centos7
12-14
在本教程中，我们将深入探讨如何使用VMware和CentOS7操作系统来搭建Hadoop 2.7.3集群。Hadoop是Apache软件基金会的一个开源框架，主要用于存储和处理大规模数据，尤其适合处理和分析分布式系统中的海量数据。通过...
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
01-24
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群，自己实际实用过程的总结
centos7+hadoop2.7.3+jdk1.8
11-01
本文将详细讲解如何在CentOS7上安装Hadoop2.7.3和JDK1.8，以及相关配置步骤。 首先，我们需要确保系统主机名正确设置，这对于集群中的节点间通信至关重要。在CentOS7中，可以通过以下步骤修改主机名： 1. 使用`vi`...
centos7 安装 hadoop 2.7.3集群.docx
09-19
centos7 安装 hadoop 2.7.3集群.docx
VMware 搭建 hadoop 完全分布式集群
hj1993的博客
01-17 1845
VMware 虚拟机搭建 hadoop 完全分布式集群，集成 Spark、HBASE、Hive 等
CentOS 6.5 hadoop 2.7.3 集群环境搭建
厚德载物
09-24 5910
CentOS 6.5 hadoop 2.7.3 集群环境搭建所需硬件，软件要求使用 virtualbox 构建三台虚拟机模拟真实物理环境操作系统：CentOS6.5主机列表：master ip: 192.168.3.171 slave1 ip: 192.168.3.135 slave2 ip: 192.168.3.136 为三台主机添加同一用户，设置密码：# 添加用户 useradd had
Hadoop2.7+Vmware14.1+CentOS6.5三台虚拟机Hadoop集群搭建（超详细）
热门推荐
Acecai01的博客模板
09-15 1万+
本文为小白搭建Hadoop集群历程的记录，相信比网上绝大多数教程都更为详细具体，能学到较多知识，希望对广大的hadoop学习道友有所帮助！ 软件准备：Vmware workstation pro（自己下载），jdk-7u80-linux-x64.tar.gz，hadoop-2.7.0.tar.gz，centos6.5 上述软件下载链接：https://pan.baidu.com/s/1Cj...
Centos7上搭建hadoop2.7.3分布式集群环境实验记录
whdxkcx的博客
09-13 831
              Centos7上搭建hadoop2.7分布式集群环境实验记录1.准备三台虚拟机。2.修改三台虚拟机的主机名分别为master,slave01,slave02,然后修改每台机器的/etc/hosts文件，清空原来的内容，添加如下内容：172.16.136.227  master172.16.136.229 slave01172.16.136.228 slave02 3.配...
CentOS6.5上搭建Hadoop-2.7.3+Zookeeper-3.4.8分布式环境教程
"这篇文档详细介绍了如何在四台运行CentOS 6.5的服务器上搭建基于hadoop-2.7.3、zookeeper-3.4.8和hadoop-2.7.3的分布式环境，作者王三旗亲测安装成功。涉及的组件包括Hadoop、ZooKeeper以及HBase，所有安装包的下载...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值