Hbase HA集群搭建

最新推荐文章于 2023-03-08 11:37:53 发布
最新推荐文章于 2023-03-08 11:37:53 发布
阅读量501 收藏 3
点赞数 1
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyj81092211/article/details/118632640
版权

一、环境配置

1、环境介绍
操作系统：centos 7.9
jdk版本：8u291
hadoop版本:2.10.1
hbase版本：2.3.5
hbase下载地址：
https://mirrors.bfsu.edu.cn/apache/hbase/
zookeeper版本：3.6.3
在这里插入图片描述

hm01，hm02：
4核心 8G内存 数据盘400G
rs01-rs05：
16核心 16G内存 数据盘2T
hjn01-hjn03：
2核心 2G内存
zk01-zk03（复用现有）：
4核心 8G内存

2、主机名和IP地址设置
注意：编写/etc/hosts和/etc/hostname

#zookeeper node
10.99.27.11	zk01.wtown.com
10.99.27.12	zk02.wtown.com
10.99.27.13	zk03.wtown.com
#hmaster
10.99.27.71	hm01.wtown.com
10.99.27.72	hm02.wtown.com
#regionserver	
10.99.27.73	rs01.wtown.com
10.99.27.74	rs02.wtown.com
10.99.27.75	rs03.wtown.com
10.99.27.76	rs04.wtown.com
10.99.27.77	rs05.wtown.com
#hbase journalnode
10.99.27.34	hjn01.wtown.com
10.99.27.35	hjn02.wtown.com
10.99.27.36	hjn03.wtown.com

3、挂载数据盘到/data
注意：所有hmaster和regionserver点建立/data文件夹
https://blog.csdn.net/zyj81092211/article/details/118054000

4、安装JDK
https://blog.csdn.net/zyj81092211/article/details/118055068

二、zookeeper集群

1、安装zookeeper集群
https://blog.csdn.net/zyj81092211/article/details/118066724

三、hadoop HA 集群

1、创建hadoop用户，并设置sudo权限（hbase journalnode、hmaster和regionserver节点）

useradd hadoop
echo hadoop|passwd --stdin hadoop

visudo

添加如下：

hadoop  ALL=(ALL)       NOPASSWD:ALL

2、设置ssh免认证（hbase journalnode、hmaster和regionserver节点）
root用户：

ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub root@hm01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@hm02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@rs01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@rs02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@rs03.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@rs04.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@rs05.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@hjn01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@hjn02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@hjn03.wtown.com

hadoop用户：

ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub hadoop@hm01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@hm02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@rs01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@rs02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@rs03.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@rs04.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@rs05.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@hjn01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@hjn02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@hjn03.wtown.com

3、修改hadoop配置文件
置文件目录hadoop\etc\hadoop
hadoop-env.sh文件
配置如下：

export JAVA_HOME=/usr/local/java

core-site.xml文件

<configuration>
	<!-- 指定hdfs的nameservice为ns2 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns2/</value>
    </property>
    <!-- 指定hadoop临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop/data</value>
    </property>
    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>zk01.wtown.com:2181,zk02.wtown.com:2181,zk03.wtown.com:2181</value>
    </property>
    <property>
        <name>ha.zookeeper.session-timeout.ms</name>
        <value>3000</value>
    </property>
    <property>
        <name>ha.zookeeper.parent-znode</name>
        <value>/hbase-hadoop1</value>
    </property>
</configuration>

注：复用zookeeper需要指定ha.zookeeper.parent-znode参数，默认值是hadoop-ha

hdfs-site.xml文件

<configuration>
	<!--指定hdfs的nameservice为ns2，与core-site.xml中的一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns2</value>
    </property>
    <!-- ns2下面有两个NameNode，分别是hm01，hm02 ，多个NameNode用逗号隔开-->
    <property>
        <name>dfs.ha.namenodes.ns2</name>
        <value>hm01,hm02</value>
    </property>
    <!-- hm01的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns2.hm01</name>
        <value>hm01.wtown.com:8020</value>
    </property>
    <!-- hm01的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns2.hm01</name>
        <value>hm01.wtown.com:50070</value>
    </property>
    <!-- hm02的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns2.hm02</name>
        <value>hm02.wtown.com:8020</value>
    </property>
    <!-- hm02的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns2.hm02</name>
        <value>hm02.wtown.com:50070</value>
    </property>
    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hjn01.wtown.com:8485;hjn02.wtown.com:8485;hjn03.wtown.com:8485/ns2</value>
    </property>
    <!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns2</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔离机制方法，多个机制用换行隔开-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>
    <!-- 使用sshfence隔离机制时需要ssh免登陆，使用hadoop用户-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>       
    </property>
    <!-- 配置sshfence隔离机制超时时间 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
     <!--指定namenode名称空间的存储地址 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///data/hadoop/hdfs/name</value>
    </property>
    <!--指定datanode数据存储地址 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///data/hadoop/hdfs/data</value>
    </property>
    <!--指定数据副本数 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

注意：复用journalnode 需要配置dfs.namenode.shared.edits.dir中路径

slaves文件

rs01.wtown.com
rs02.wtown.com
rs03.wtown.com
rs04.wtown.com
rs05.wtown.com

4、创建配置文件中出现的对应文件夹

hadoop临时文件夹：hadoop/data
HDFS文件夹：hadoop/hdfs/name和hadoop/hdfs/data
journalnode数据文件：hadoop/journaldata

5、将软件包上传至所有节点（hbase journalnode、hmaster和regionserver节点），并创建软连接

ln -s /data/hadoop /usr/local/hadoop

6、设置hadoop环境变量（hbase journalnode、hmaster和regionserver节点）

vi /etc/profile

添加如下内容：

# hadoop environment
export HADOOP_HOME=/data/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

重新加载profile

source /etc/profile

7、添加hadoop命令执行权限（hbase journalnode、hmaster和regionserver节点）

sudo chmod +x /data/hadoop/bin/*
sudo chmod +x /data/hadoop/sbin/*

8、更改/data目录权限为hadoop（hbase journalnode、hmaster和regionserver节点）

chown -R hadoop.hadoop /data

9、hadoop用户启动journalnode（hjn01、hjn02、hjn03上）

hadoop-daemon.sh start journalnode

10、hadoop用户格式化HDFS（hm01上）

hdfs namenode -format

11、hadoop用户格式化zkfc（hm01上）

hdfs zkfc -formatZK

12、hadoop用户启动hdfs（hm01上）

start-dfs.sh

13、hadoop用户复制并启动HDFS备用节点（hm02上）

hdfs namenode -bootstrapStandby

hadoop-daemon.sh start namenode

14、查看状态
在这里插入图片描述
在这里插入图片描述

四、Hbase HA集群

注：以下操作，建议使用hadoop用户；其他用户，请注意软件包权限问题
1、配置hbase-env.sh文件
添加如下

export JAVA_HOME=/usr/local/java
#关闭hbase管理zookeeper
export HBASE_MANAGES_ZK=false

2、配置hbase-site.xml文件

<configuration>
  <!-- 启用分布式模式 -->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <!--设置hdfs，ns2为 hadoop hdfs配置的nameservices值-->
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://ns2/hbase</value>
  </property>
  <!--配置zookeeper集群地址-->
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>zk01.wtown.com,zk02.wtown.com,zk03.wtown.com</value>
  </property>
  <!--zookeeper集群通讯端口-->
  ​<property>
     ​<name>hbase.zookeeper.property.clientPort</name>
     ​<value>2181</value>
  </property>
  <!--配置znode根节点位置，多hbase共用一个zookeeper集群时需要配置-->
  <property>
    <name>zookeeper.znode.parent</name>
    <value>/hbase1</value>
  </property>
</configuration>

3、配置regionservers文件

rs01.wtown.com
rs02.wtown.com
rs03.wtown.com
rs04.wtown.com
rs05.wtown.com

4、hbase软连接

 sudo ln -s /data/hbase /usr/local/hbase

5、创建hadoop配置文件连接

sudo ln -s /data/hadoop/etc/hadoop/core-site.xml /data/hbase/conf/core-site.xml
sudo ln -s /data/hadoop/etc/hadoop/hdfs-site.xml /data/hbase/conf/hdfs-site.xml

6、添加Hbase环境变量

vi /etc/profile

添加如下：

# hbaes environment
export HBASE_HOME=/data/hbase
export PATH=$HBASE_HOME/bin:$PATH

7、启动Hbase ha集群
在hm01上：

start-hbase.sh

在hm02上：

hbase-daemon.sh start master

8、查看集群状态
在这里插入图片描述
web界面：
在这里插入图片描述
HDFS状态：
在这里插入图片描述

水彩橘子
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hbase-2.3.5安装配置
Shixuefeng2410的博客
01-27 1960
####################### #hbase-2.3.5安装配置 # ####################### #解压并重命名 [root@single01 download]# tar -zxvf hbase-2.3.5-bin.tar.gz -C /opt/software/ cd /opt/software/ mv hbase-2.3.5-bin.tar.gz hbase-2.3.5 #hbase-2.3.5根目录下创建mydata ...
hbase-2.3.5单机一键部署工具
10-23
注意：zookeeper3.4.13和hbase2.3.5都是采用docker-compose方式部署 原文链接：https://blog.csdn.net/m0_37814112/article/details/120915194 说明：使用外部zookeeper3.4.13之hbase2.3.5一键部署工具，支持部署、启动、停止、清除、连接，支持自定义服务端口，数据存储目录等功能，已在生产环境使用。 Options: deploy.sh build single 构建并启动一个hbase单实例 deploy.sh start single 启动hbase实例 deploy.sh stop single 停止hbase实例 deploy.sh check single 检测hbase实例状态 deploy.sh connect single 连接hbase实例 deploy.sh clear single *危险操作* 清除hbase-single容器及所有数据
HBase 在分布式模式下的配置
weixin_55914921的博客
03-08 1140
HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价的计算机集群处理由超过10个亿行数据和数百万列元素组成的数据表。
Hbase-HA(高可用)搭建
weixin_45607513的博客
01-08 322
基础配置 1.保证所有物理主机的时钟同步。 [root@CentOSX ~]# yum install -y ntp -y （下载时间同步服务器） [root@CentOSX ~]# ntpdate time.apple.com（时间校对工具） [root@CentOSA ~]# clock -w （调整RTC时间） 由于Hbase服务器之间需要通过心跳确定服务器是否在正常运行，所以这里在搭建...
Hbase集群搭建
fengchengwu2012的博客
06-15 579
1、官网下载Hbase解压值指定目录(在master机器上) 2、配置hbase环境 cd/home/master/hbase-2.2.5/conf （1）修改hbase-env.sh配置 export JAVA_HOME=/usr/local/java/jdk8 export HBASE_MANAGES_ZK=false (2)修改hbase-site.xml配置 <configuration> <property> <name...
Hadoop-2.5.2 HA集群搭建
02-27
按照文档操作可安装7个节点的大数据集群，包括hadoop,hive,hbase,spark,tez,flume,kafka等等，不技术自动化运维及监控
hadoop-HA搭建+hbase.docx
04-29
初学Hadoop时试验搭建很多次的集群部署方案，步骤很详细。hadoop-2.6.5.tar.gz zookeeper-3.4.10.tar.gz Hbase1.2.6 ,两个nameNode+三dataNode
hadoop&hbase;高可用测试环境搭建
09-11
- **Zookeeper集群**：Zookeeper在整个Hadoop和HBase的HA中起到关键作用，用于协调节点间的通信和故障检测。 搭建步骤如下： 1. **安装和配置Hadoop** - 安装Java环境，Hadoop依赖于Java运行。 - 下载Hadoop并...
hbase的安装包
10-17
这是hbase1.1.2的安装包，用于hbase1.1.2的安装使用。
HBase高可用HA.pdf
08-29
HBase 高可用HA
HBASE双机集群HA-部署
凉城凉心凉忆悲
01-10 1128
HBASE双机HA-部署 1.1、系统环境初始化 防火墙关闭： server iptables stop chkconfig iptables off selinux关闭：   用户创建： vim yonghu.txt hbase hdfs hive impala Impala kudu Kudu spark wxl zookeeper   #!/bin/sh
Hbase的HA（高可用）
落幕7的博客
10-15 1122
ZooKeeper在HBASE高可用中的作用： 1.元数据同步 2.主备切换 HMaster: 主HMaster在启动时会在ZooKeeper中/master节点注册 备用的HMaster在启动时会在ZooKeeper中backup-masters节点注册 HMaster只有一个，当进程挂了，那么会对HBase集群造成影响（单节点故障） 解决办法：在另外一台服务器上，例如slave1，在启动一个HMaster 启动命令： cd /usr/local/soft/hbase-1.6.0/ ./bin/
journalnode文件
zym1117的博客
03-06 6299
前言最近在排查公司Hadoop集群性能问题时,发现Hadoop集群整体处理速度非常缓慢,平时只需要跑几十分钟的任务时间一下子上张到了个把小时,起初怀疑是网络原因,后来证明的确是有一部分这块的原因,但是过了没几天,问题又重现了,这次就比较难定位问题了,后来分析hdfs请求日志和Ganglia的各项监控指标,发现namenode的挤压请求数持续比较大,说明namenode处理速度异常,然后进而分析出是...
Hadoop Journal Node 作用
weixin_34367845的博客
04-18 309
2019独角兽企业重金招聘Python工程师标准>>> ...
HBase HA完全分布式环境搭建
happy19870612's blog
11-12 2694
一 集群部署架构介绍 Master节点一主一备，跟HadoopNameNode 保持一致，即HBase Master也把主从节点放在NameNode主从同一台机器 RegionServer放在每一个对应DataNode上，比如我由三个DataNode，那么每一台DataNode对应的Server也会放一个RegionServer 节点规划信息： 二 企业级系统参数设置 查看
[大数据]hbase HA配置
eye2cro
05-04 150
1 集群规划 bigdata01.com bigdatan2.com bigdata03.com master master regionserver regionsever regionsever 2 修改配置 vi hbse-env.sh export JAVA_HOME=/opt/modules/jdk1.7.0_6...
hbase全分布 集群搭建
最新发布
11-14
HBase全分布式集群搭建步骤如下： 1. 安装Java环境和Hadoop分布式环境，并确保Hadoop集群正常运行。 2. 下载HBase安装包，并解压到指定目录。 3. 修改HBase配置文件conf/hbase-site.xml，设置HBase的Zookeeper地址和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值