从零搭建Hadoop+Zookeeper+HBase完全分布式集群

最新推荐文章于 2024-05-08 02:31:03 发布
最新推荐文章于 2024-05-08 02:31:03 发布
阅读量498 收藏 2
点赞数 1
文章标签： zookeeper hadoop hbase 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhang13100123/article/details/115176922
版权
为了方便介绍，这里我以3台服务器为例进行介绍，下面是主机的一些信息：
 
主机名
IP
master
192.168.116.31
slave1
192.168.116.32
slave2
192.168.116.33
 

  1. 修改hosts文件，配置域名，编译hosts文件

vim /etc/hosts
添加一下内容
192.168.116.31 master
192.168.116.32 slave1
192.168.116.31 slave2

  1. 配置免密(详见安装文档kerberos)

官方提供ssh和kerberos两种免密方式，由于ssh免密对已存在的项目产生冲突，现用kerberos免密方式。
 
配置项
master
slave1
slave2
配置主机名
√
√
√
安装kerberos
√
√
√
配置免密登录
√
√
√
关闭防火墙
√
√
√
Java jdk1.8
√
√
√
Zookeeper-3.5.8
√
√
√
Hadoop-3.1.4
√
√
√
Hbase-2.2.6
√
√
√
phoenix-5.0.0-HBase-2.0-bin
√
  
 

  1. 安装zookeeper

3.1下载zookeeper

将Zookeeper下载到本地后，通过scp命令将安装包发送到master主机上。下面以master为例介绍安装配置，其他的主机安装和配置是完全一样的

3.2解压zookeeper

进入服务器根目录下，将 zookeeper-3 .5.8 .tar.gz 解压至  /home中
tar -zxvf  zookeeper压缩包目录 -C 指定解压后的目录

3.3 设置环境变量

export ZOOKEEPER=/home/zookeeper-3.5.8
export PATH=$PATH:$ZOOKEEPER/bin
source /etc/profile 使环境变量生效

3.4配置zookeeper

建立数据和日志文件
mkdir /home/zookeeper-3.5.8/data
mkdir /home/zookeeper-3.5.8/logs
进入conf目录创建并修改zoo.cfg文件
cp zoo_sample.cfg zoo.cfg
修改后的内容为：
这里还需要在数据目录 /home /zookeeper -3.5.8 /data 下新建名为myid的文件，各个主机对应的内容是不同的，master的内容是0，slave1的内容是1，slave2的内容是2，分别对应server.x中的x。server.A=B:C:D,其中A是一个数字, 表示这是第几号server。B是该server所在的IP地址。C配置该server和集群中的leader交换消息所使用的端口。D配置选举leader时所使用的端口。
使用scp 命令，将配置好的zookeeper发送到其他节点上去，别忘了从节点对应的myid要修改 成对应的值

3.5启动zookeeper

.zkServer.sh start

  1. 安装Hadoop

4.1下载安装包，解压到对应的目录，配置环境变量

4.2配置hadoop

进去hadoop目录，新建几个文件夹，配置文件需要用到
mkdir tmp
mkdir hdfs
mkdir hdfs/name
mkdir hdfs/data
需要修改的配置文件为：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves、hadoop-env.sh、yarn-env.sh。
hadoop-env.sh 和 yarn-env.sh增加下面一行命令，即配置java环境。
export JAVA_HOME=/home/jdk1.8.0_91
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml文件里的端口号最好不使用默认端口号
 
core-site.xml
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value> hdfs://master:9000</value>
  </property>
 
  <property>
    <name>io.file.buffer.size</name>
    <value>4096</value>
  </property>
 
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop-2.7.1/tmp</value>
  </property>
  
  <!-- 指定zookeeper地址 -->
<property>
    <name>ha.zookeeper.quorum</name>
    <value>master:2181,slave1:2181,slave2:2181</value>
  </property>
<!-- hadoop链接zookeeper的超时时长设置 -->
<property>
    <name>ha.zookeeper.session-timeout.ms</name>
    <value>1000</value>
    <description>ms</description>
  </property>
</configuration>
hdfs-site.xml 配置
<configuration>
<property>
    <name>dfs.datanode.max.transfer.threads</name>
    <value>8192</value>
</property>
 
<property>
    <name>dfs.client.block.write.replace-datanode-on-failure.enable</name>
    <value>true</value>
</property>
<property>
    <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
    <value>NEVER</value>
</property>
 
<property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop-2.7.1/hdfs/name</value>
  </property>
 
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop-2.7.1/hdfs/data</value>
  </property>
 
  <property>
    <name>dfs.http.address</name>
    <value>master:50070</value>
  </property>
 
  <property>
    <name>dfs.secondary.http.address</name>
    <value>master:50090</value>
  </property>
 
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
 
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
</configuration>
 
 
yarn-site.xml 配置
<configuration>
 
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.application.classpath</name>
        <value>
            /home/hadoop-2.7.1/etc/*,
            /home/hadoop-2.7.1/etc/hadoop/*,
            /home/hadoop-2.7.1/lib/*,
            /home/hadoop-2.7.1/share/hadoop/common/*,
            /home/hadoop-2.7.1/share/hadoop/common/lib/*,
            /home/hadoop-2.7.1/share/hadoop/mapreduce/*,
            /home/hadoop-2.7.1/share/hadoop/mapreduce/lib/*,
            /home/hadoop-2.7.1/share/hadoop/hdfs/*,
            /home/hadoop-2.7.1/share/hadoop/hdfs/lib/*,
            /home/hadoop-2.7.1/share/hadoop/yarn/*,
            /home/hadoop-2.7.1/share/hadoop/yarn/lib/*,
            /home/hbase-1.4.0/lib/*
        </value>
    </property>
 
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>
</configuration>
mapred-site.xml 配置
<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
 
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>
 
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
  </property>
 
</configuration>
编辑slaves 添加slave1，slave2。
修改hadoop下workes
配置文件修改完以后，使用scp命令将master下hadoop文件夹复制到slave1和slave2中。
如果ssh端口不是默认2 2 端口，修改 /home/hadoop-2.7.1/sbin / slaves.sh 首行添加
HADOOP_SSH_OPTS= `-p 33333`

4.3运行hadoop，注意hadoop命令只在master上运行

将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root                                  
还有，start-yarn.sh，stop-yarn.sh顶部也需添加以下YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
启动namenode，如果是第一次启动namenode，需要对namenode进行格式化。命令如下：
/home/hadoop-3.1.4/bin/hdfs namenode -format
启动hdfs：  
/home/hadoop-3.1.4/sbin/start-dfs.sh

  1. 安装Hbase

5.1下载安装包，解压到对应的目录，配置环境变量

5.2配置Hbase

主要修改conf目录下的三个文件：hbase-env.sh、hbase-site.xml、regionservers。
hbase-env.sh
eexport HBASE_OPTS="$HBASE_OPTS -XX:+UseConcMarkSweepGC"
export JAVA_HOME=/home/jdk1.8.0_91
export HBASE_CLASSPATH=/home/hbase-2.2.6/lib
export HBASE_PID_DIR=/home/hbase-2.2.6/data
export HBASE_LOG_DIR=/home/hbase-2.2.6/logs
export HBASE_MANAGES_ZK=false
要在hbase文件下，新建data和logs两个文件夹
mkdir /home/hbase-2.2.6/data
mkdir /home/hbase-2.2.6/logs
hbase-site.xml
<configuration>
 
    <!--配置Hbase支持Phoenix创建二级索引-->
    <property>
      <name>hbase.regionserver.wal.codec</name>
      <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
    </property>
    
    <property>
         <name>hbase.master.loadbalancer.class</name>
         <value>org.apache.phoenix.hbase.index.balancer.IndexLoadBalancer</value>
    </property>
    
    <!--配置namespace -->
    <property>
      <name>phoenix.schema.isNamespaceMappingEnabled</name>
      <value>true</value>
    </property>
 
    <property>
      <name>phoenix.schema.mapSystemTablesToNamespace</name>
      <value>true</value>
    </property>
 
  <property>
    <name>phoenix.trace.frequency</name>
    <value>never</value>
  </property>
  
  <!--
  <property>
    <name> phoenix.trace.statsTableName </name>
    <value>phoenix</value>
  </property>
    -->
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  
  <property>
      <name>hbase.tmp.dir</name>
      <value>/home/hbase-1.4.0/data</value>
    </property>
    
    <property>
      <name>hbase.rootdir</name>
      <value> hdfs://master:9000/hbase </value>
    </property>
    
    <property>
      <name>hbase.cluster.distributed</name>
      <value>true</value>
    </property>
    
    <property>
      <name>hbase.zookeeper.quorum</name>
      <value>master,slave1,slave2</value>
    </property>
    
    <property>
      <name>hbase.zookeeper.property.clientPort</name>
      <value>2181</value>
    </property>
    
    <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/home/zookeeper-3.5.8/data</value>
      <description>property from zoo.cfg,the directory where the snapshot is stored</description>
    </property>
</configuration>
编辑/home/hbase-2.2.6/conf/ regionservers
master
slave1
slave2
当ssh端口非2 2 端口时
b in 目录中以下文件：hbase -cleanup.sh master -backup.sh regionservers.sh rolling-restart.sh shutdowm_regionserver.rb zookeeper.sh 添加端口号配置
HBASE_SSH_OPTS = `-p 33333`

5.3启动hbase

/home/hbase-2.2.6/bin/start-hbase.sh

5.4.验证是否成功

  1. 安装Phoenix

6.1下载安装包，并解压到对应的目录

6.2 拷贝jar包到hbase/lib包

scp phoenix-5.0.0-HBase-2.0-server.jar root @ slave1 :/home/hbase-2.2.6/lib/

6.3. 配置phoenix环境变量

export PHOENIX_HOME=/home/phoenix-5.0.0-HBase-2.0-bin/
export PATH=$PATH:$PHOENIX_HOME/bin
修改bin目录下的hbase -site.xml
<configuration>
        <property>
           <name>phoenix.query.dateFormatTimeZone</name>
           <value>GMT+08:00</value>
         </property>
         
    <!--配置Hbase支持Phoenix创建二级索引-->
         <property>
           <name>hbase.regionserver.wal.codec</name>
           <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
         </property>
         
         <property>
         <name>hbase.master.loadbalancer.class</name>
         <value>org.apache.phoenix.hbase.index.balancer.IndexLoadBalancer</value>
        </property>
    <!--配置Namespace-->
         <property>
           <name>phoenix.schema.isNamespaceMappingEnabled</name>
           <value>true</value>
         </property>
         
         <property>
           <name>phoenix.schema.mapSystemTablesToNamespace</name>
           <value>true</value>
         </property>
         <property>
                   <name>phoenix.trace.frequency</name>
                   <value>never</value>
          </property>
</configuration>

6.4重启hbase和zookeeper

6.5启动Phoenix

/home/phoenix-5.0.0-HBase-2.0-bin/ bin/ sqlline.py  master

  1. 后期遇到的问题汇总

  1. phoenix创建异步索引构建任务失败，缺少类时
修改hadoop 下yarn-size.xml文件，新增配置
<property>
              <name>yarn.application.classpath</name>
              <value>
                     /home/hadoop-2.7.1/etc/*,
                     /home/hadoop-2.7.1/etc/hadoop/*,
                     /home/hadoop-2.7.1/lib/*,
                     /home/hadoop-2.7.1/share/hadoop/common/*,
                     /home/hadoop-2.7.1/share/hadoop/common/lib/*,
                     /home/hadoop-2.7.1/share/hadoop/mapreduce/*,
                     /home/hadoop-2.7.1/share/hadoop/mapreduce/lib/*,
                     /home/hadoop-2.7.1/share/hadoop/hdfs/*,
                     /home/hadoop-2.7.1/share/hadoop/hdfs/lib/*,
                     /home/hadoop-2.7.1/share/hadoop/yarn/*,
                     /home/hadoop-2.7.1/share/hadoop/yarn/lib/*,
                     /home/hbase-1.4.0/lib/*
              </value>
    </property>
zhang13100123
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop集群+Zookeeper+HBase环境搭建
03-29
Hadoop+Zookeeper+HBase环境搭建,详细步骤和实例,从零开始搭建Hadoop集群
大数据集群环境搭建详细步骤，涉及zookeeper，hadoop，hive，hbase，kafka
yangqin@1225的博客
01-26 7927
背景 公司需要搭建一套大数据集群环境用于测试，本文记录其详细过程，方便后面参考 环境信息 一主两从，均为ubuntu18.04 主：192.168.10.203(mufengcn) 从：192.168.10.202(mufengcn)，192.168.10.200(tsroot) 注：假定括号内为ssh用户名，均为非root用户名（真实服务器，文中涉及到的用户名图文是不对应的，我只是把文案中涉及到的用户名批量替换了下~） 准备 设置主机名及配置hosts 依次设置主机名，如： sudo hostname b
Kerberos安全认证-连载11-HBase Kerberos安全配置及访问_kerberos hbase
最新发布
2401_84297193的博客
05-08 795
本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
说明： 1. 安装软件版本： jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ：sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属组 ：sudo chown -R ljr:ljr /export 修改目录权限：sudo +771 -R /export -R 表示递归，即export目录下的所有文件及目录的属组和属组以及权限均跟随着改变 3.集群能正常运行的条件是集群可节点宕机数应保证有超过集群机器总数一半的机器在运行，因此从经济和实用性来说，集群的节点一般是奇数个，本文部署4台机器，其容灾能力与部署3台机器一致，即只能宕机1台
最最最详细的Hadoop+HBase+Zookeeper+Hive完全分布式环境搭建教程
qq_38497133的博客
06-29 3165
文章目录一、准备工作二、hadoop搭建1.配置主机名和主机列表2.配置免密登录3.配置环境变量4.配置hadoop配置文件三、HBase配置1.配置hbase-site.xml文件2.配置hbase-env.sh文件3.配置log4j.properties文件4.配置regionservers四、集群搭建1.修改hdfs-site.xml文件2.修改slaves文件3.复制到另外两台机器上五、Zookeeper搭建1.配置zoo.cfg文件2.创建myid文件并启动zookeeper3.启动hbase4.
大数据开发Hadoop2.7+zookeeper+Hbase+Hive完全分布式搭建（超详细）
weixin_44735572的博客
09-26 2460
Hadoop2.7+zookeeper+Hbase+Hive完全分布式搭建 最近在新电脑上配置大数据开发环境，踩了不少坑，更具网上的一些方法整理了一套比较简单的hadoop+zookeeper+hbase+hive环境的搭建（由于虚拟机环境均以root用户操作）； 除了zookeeper的myid，其他设置所有虚拟机上都一样，所以可以一台虚拟机全部安装配置完以后直接完全克隆几个，再配置单独的静态...
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)
热门推荐
Mr.L-OAM的博客
07-05 2万+
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建
Hadoop，ZooKeeper，HBase,hive(HQL)安装步骤
欢迎朋友，我是一名十多年开发经验的新手，希望多多指教。
06-02 844
准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh和Jdk1.6（因为Hadoop需要使用到Jdk中的编译工具，所以一般不直接使用Jre）。可以使用yum install rsync来安装rsync。一般来说ssh是默认安装到系统中的。
hadoop+zookeeper+hbase集群搭建配置说明
06-22
在搭建HBase集群时，我们需要配置HBase的主RegionServer（Master）、RegionServer实例以及与Zookeeper的连接。此外，还要设置表和列族的属性，如块大小、缓存设置等，以优化性能。 在实际搭建过程中，首先，你需要...
hadoop+hbase+zookeeper集群配置流程及文件
08-28
提供的文档`hadoop_zookeeper_hbase集群配置.docx`应包含详细的步骤和配置示例，而`配置文件.rar`则可能包含了预设的配置模板，可以作为配置参考。在实际操作时，务必根据具体环境调整配置，确保所有节点之间的网络...
Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建
05-22
Zookeeper是Hadoop和HBase集群环境中的核心组件，负责节点管理和配置管理。安装Zookeeper需要下载zookeeper-3.4.5.tar.gz安装包，然后解压缩并配置Zookeeper。 HBase0.96安装和部署 HBase是基于Hadoop的NoSQL...
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
基于docker的spark-hadoop分布式集群搭建
独醉的博客
11-24 2849
基于docker的spark-hadoop分布式集群搭建一、docker的安装1.windows10专业版安装2.windows10家庭版安装3.对docker进行测试4.创建需要的镜像与容器二、环境的配置1.更换apt源2.安装必要的网络工具3.将master提交作为基础镜像4.在镜像基础上创建slave1和slave2三、完全分布式hadoop的搭建1.系统配置IP分配主机名设置配置hosts重启网络检查网络2.创建hadoop账户3.安装和配置JAVA环境下载并解压JDK4.SSH免密登录安装并配置S
hadoop、ZooKeeper、hbase集群安装史上最全流程（亲测有效）
weixin_45970532的博客
05-09 2648
配置hadoop集群、ZooKeeper集群、hbase数据库，master、s1、s2、
zookeeper+hadoop+hbase部署
weixin_42431069的博客
07-11 628
HBase是 Google 的 Bigtable 开发的java版本。是一个建立在 HDFS 之上，面向列的针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式（实时读写nosql）数据库。HBase是列式NoSql数据库。Hbase中仅支持的数据类型为byte[]；它主要用来存储结构化和半结构化的松散数据。HBase可以理解为一个非常大的分布式HashMap，在hadoop集群的各个节点中以行主键+列族（包含列）+时间戳为键，以储存的值为值。
hadoop，zookeeper，hbase之间的关系
weixin_44943389的博客
10-21 308
综合起来说，Hadoop 提供了一个可靠的分布式文件系统（HDFS）和资源管理框架（YARN），使得 HBase 能够存储和处理大量数据。同时，ZooKeeper 为 HBase 提供了分布式协调服务，确保 HBase 集群的稳定运行。因此，这三者通常会一起使用，以构建一个稳健的大数据处理系统。
Hadoop+HBase+ZooKeeper分布式集群环境搭建
Emil的博客
10-15 635
Hadoop+HBase+ZooKeeper分布式集群环境搭建 概述 安装准备 1.1 软件系统清单 1.2 IP 地址配置清单 准备工作 2.1 关闭防火墙 2.2 安装JDK 2.3 添加Hosts映射关系 2.4 集群之间SSH无密码登陆 Hadoop集群安装配置 3.1 安装置配置Hadoop 3.1.1 安装Hadoop 3.1.2 配置core-site.xml 3.1.3 配置ha...
hadoop、hbase、zookeeper集成kerberos认证
qq_50835054的博客
09-21 3030
完整的kerberos认证过程！
Kerberos安全认证-连载11-HBase Kerberos安全配置及访问
qq_32020645的博客
06-22 3254
技术连载系列，前面内容请参考前面连载10内容:​​​​​​​​​​​​​​大数据组件HBase也可以通过Kerberos进行安全认证，由于HBase中需要zookeeper进行元数据管理、主节点选举、故障恢复，所以这里对HBase进行Kerberos安全认证时，建议也对Zookeeper进行安全认证。
hadoop+zookeeper+hbase+hive集群安装配置的作用
03-23
Hadoop是一个分布式计算框架，可以处理大规模数据集，Zookeeper是一个分布式协调服务，可以管理Hadoop集群中的节点，HBase是一个分布式NoSQL数据库，可以存储海量数据，Hive是一个数据仓库工具，可以将结构化数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值