大数据-HBase（二）

最新推荐文章于 2023-01-31 11:45:00 发布
最新推荐文章于 2023-01-31 11:45:00 发布
阅读量796 收藏 3
点赞数
分类专栏： 大数据 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zy12306/article/details/105087229
版权

                                   大数据-HBase（二）

目录

HBase高级

HBase的数据存储原理

HBase写数据流程

HBase的flush、compact机制

Flush触发条件

Flush的流程

Compact合并机制

HBase表的预分区

Region 合并

Region 分裂策略

HBase高级

HBase的数据存储原理

 

  • 一个HRegionServer会负责管理很多个region
  • 一个region包含很多个store
    • 一个列族就划分成一个store
    • 如果一个表中只有1个列族，那么每一个region中只有一个store
    • 如果一个表中有N个列族，那么每一个region中有N个store
  • 一个store里面只有一个memstore
    • memstore是一块内存区域，写入的数据会先写入memstore进行缓冲，然后再把数据刷到磁盘
  • 一个store里面有很多个StoreFile, 最后数据是以很多个HFile这种数据结构的文件保存在HDFS上
    • StoreFile是HFile的抽象对象，如果说到StoreFile就等于HFile
    • 每次memstore刷写数据到磁盘，就生成对应的一个新的HFile文件出来

HBase写数据流程

 

① 客户端首先从zk找到meta表的region位置，然后读取meta表中的数据，meta表中存储了用户表的region信息

② 根据namespace、表名和rowkey信息。找到写入数据对应的region信息

③ 找到这个region对应的regionServer，然后发送请求

④ 把数据分别写到HLog（write ahead log）和memstore各一份

⑤ memstore达到阈值后把数据刷到磁盘，生成storeFile文件

⑥ 删除HLog中的历史数据

补充：
       HLog（write ahead log）：
       也称为WAL意为Write ahead log，类似mysql中的binlog，用来做灾难恢复时用，HLog记录数据的所有变更，一旦数据修改，就可以从log中进行恢复。

HBase的flush、compact机制

Flush触发条件

memstore级别限制

当Region中任意一个MemStore的大小达到了上限（hbase.hregion.memstore.flush.size，默认128MB），会触发Memstore刷新。

<property>
	<name>hbase.hregion.memstore.flush.size</name>
	<value>134217728</value>
</property>

region级别限制

当Region中所有Memstore的大小总和达到了上限（hbase.hregion.memstore.block.multiplier * hbase.hregion.memstore.flush.size，默认 2* 128M = 256M），会触发memstore刷新。

<property>
	<name>hbase.hregion.memstore.flush.size</name>
	<value>134217728</value>
</property>
<property>
	<name>hbase.hregion.memstore.block.multiplier</name>
	<value>2</value>
</property>

Region Server级别限制

  • 当一个Region Server中所有Memstore的大小总和超过低水位阈值hbase.regionserver.global.memstore.size.lower.limit*hbase.regionserver.global.memstore.size（前者默认值0.95），RegionServer开始强制flush；
  • 先Flush Memstore最大的Region，再执行次大的，依次执行；
  • 如写入速度大于flush写出的速度，导致总MemStore大小超过高水位阈值hbase.regionserver.global.memstore.size（默认为JVM内存的40%），此时RegionServer会阻塞更新并强制执行flush，直到总MemStore大小低于低水位阈值
<property>
	<name>hbase.regionserver.global.memstore.size.lower.limit</name>
	<value>0.95</value>
</property>
<property>
	<name>hbase.regionserver.global.memstore.size</name>
	<value>0.4</value>
</property>

 HLog数量上限

当一个Region Server中HLog数量达到上限（可通过参数hbase.regionserver.maxlogs配置）时，系统会选取最早的一个 HLog对应的一个或多个Region进行flush。

定期刷新Memstore

默认周期为1小时，确保Memstore不会长时间没有持久化。为避免所有的MemStore在同一时间都进行flush导致的问题，定期的flush操作有20000左右的随机延时。

手动flush

用户可以通过shell命令flush ‘tablename’或者flush ‘region name’分别对一个表或者一个Region进行flush。

Flush的流程

为了减少flush过程对读写的影响，将整个flush过程分为三个阶段：

  • prepare阶段：遍历当前Region中所有的Memstore，将Memstore中当前数据集CellSkipListSet做一个快照snapshot；然后再新建一个CellSkipListSet。后期写入的数据都会写入新的CellSkipListSet中。prepare阶段需要加一把updateLock对写请求阻塞，结束之后会释放该锁。因为此阶段没有任何费时操作，因此持锁时间很短。
  • flush阶段：遍历所有Memstore，将prepare阶段生成的snapshot持久化为临时文件，临时文件会统一放到目录.tmp下。这个过程因为涉及到磁盘IO操作，因此相对比较耗时。
  • commit阶段：遍历所有Memstore，将flush阶段生成的临时文件移到指定的ColumnFamily目录下，针对HFile生成对应的storefile和Reader，把storefile添加到HStore的storefiles列表中，最后再清空prepare阶段生成的snapshot。

Compact合并机制

  • hbase为了防止小文件过多，以保证查询效率，hbase需要在必要的时候将这些小的store file合并成相对较大的store file，这个过程就称之为compaction。
  • 在hbase中主要存在两种类型的compaction合并
    • minor compaction 小合并
    • major compaction 大合并

minor compaction 小合并

  • 在将Store中多个HFile合并为一个HFile

    在这个过程中会选取一些小的、相邻的StoreFile将他们合并成一个更大的StoreFile，对于超过了TTL的数据、更新的数据、删除的数据仅仅只是做了标记。并没有进行物理删除，一次Minor Compaction的结果是更少并且更大的StoreFile。这种合并的触发频率很高。

  • minor compaction触发条件由以下几个参数共同决定：

<!--表示至少需要三个满足条件的store file时，minor compaction才会启动-->
<property>
	<name>hbase.hstore.compactionThreshold</name>
	<value>3</value>
</property>

<!--表示一次minor compaction中最多选取10个store file-->
<property>
	<name>hbase.hstore.compaction.max</name>
	<value>10</value>
</property>

<!--默认值为128m,
表示文件大小小于该值的store file 一定会加入到minor compaction的store file中
-->
<property>
	<name>hbase.hstore.compaction.min.size</name>
	<value>134217728</value>
</property>

<!--默认值为LONG.MAX_VALUE，
表示文件大小大于该值的store file 一定会被minor compaction排除-->
<property>
	<name>hbase.hstore.compaction.max.size</name>
	<value>9223372036854775807</value>
</property>

 major compaction 大合并

  • 合并Store中所有的HFile为一个HFile

    将所有的StoreFile合并成一个StoreFile，这个过程还会清理三类无意义数据：被删除的数据、TTL过期数据、版本号超过设定版本号的数据。合并频率比较低，默认7天执行一次，并且性能消耗非常大，建议生产关闭(设置为0)，在应用空闲时间手动触发。一般可以是手动控制进行合并，防止出现在业务高峰期。

  • major compaction触发时间条件

<!--默认值为7天进行一次大合并，-->
<property>
	<name>hbase.hregion.majorcompaction</name>
	<value>604800000</value>
</property>
  •  手动触发
##使用major_compact命令
major_compact tableName

HBase表的预分区

当一个table刚被创建的时候，Hbase默认的分配一个region给table。也就是说这个时候，所有的读写请求都会访问到同一个regionServer的同一个region中，这个时候就达不到负载均衡的效果了，集群中的其他regionServer就可能会处于比较空闲的状态。

解决这个问题可以用pre-splitting,在创建table的时候就配置好，生成多个region。

为何要预分区？

  • 增加数据读写效率
  • 负载均衡，防止数据倾斜
  • 方便集群容灾调度region
  • 优化Map数量

预分区原理

每一个region维护着startRowKey与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。

手动指定预分区

方式一

create 'person','info1','info2',SPLITS => ['1000','2000','3000','4000']

方式二：把分区规则创建于文件中

cd /kkb/install
vim split.txt

#文件内容
aaa
bbb
ccc
ddd

create 'student','info',SPLITS_FILE => '/kkb/install/split.txt'

方式三： HexStringSplit 算法

HexStringSplit会将数据从“00000000”到“FFFFFFFF”之间的数据长度按照n等分之后算出每一段的起始rowkey和结束rowkey，以此作为拆分点。

create 'mytable', 'base_info',' extra_info', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

Region 合并

Region的合并不是为了性能，而是出于维护的目的。比如删除了大量的数据 ，这个时候每个Region都变得很小 ，存储多个Region就浪费了，这个时候可以把Region合并起来，进而可以减少一些Region服务器节点。

通过Merge类冷合并Region

执行合并前，需要先关闭hbase集群 

  • 创建一张hbase表：
create 'test','info1',SPLITS => ['1000','2000','3000']
  • 查看表region

  • 需求：

需要把test表中的2个region数据进行合并： test,,1565940912661.62d28d7d20f18debd2e7dac093bc09d8. test,1000,1565940912661.5b6f9e8dad3880bcc825826d12e81436.

  • 实现：

这里通过org.apache.hadoop.hbase.util.Merge类来实现，不需要进入hbase shell，直接执行（需要先关闭hbase集群）：

hbase org.apache.hadoop.hbase.util.Merge test test,,1565940912661.62d28d7d20f18debd2e7dac093bc09d8. test,1000,1565940912661.5b6f9e8dad3880bcc825826d12e81436.

成功后界面观察：

通过online_merge热合并Region

  • 不需要关闭hbase集群，在线进行合并
  • 与冷合并不同的是，online_merge的传参是Region的hash值，而Region的hash值就是Region名称的最后那段在两个.之间的字符串部分。
  • 需求：需要把test表中的2个region数据进行合并： test,2000,1565940912661.c2212a3956b814a6f0d57a90983a8515. test,3000,1565940912661.553dd4db667814cf2f050561167ca030.
  • 需要进入hbase shell：
merge_region 'c2212a3956b814a6f0d57a90983a8515','553dd4db667814cf2f050561167ca030'

  • 成功后观察界面

Region 分裂策略

region中存储的是一张表的数据，当region中的数据条数过多的时候，会直接影响查询效率。当region过大的时候，hbase会将region拆分为两个region , 这也是Hbase的一个优点。HBase的region split策略一共有以下6种：

ConstantSizeRegionSplitPolicy

  • 0.94版本前，HBase region的默认切分策略
  • 当region中最大的store大小超过某个阈值(hbase.hregion.max.filesize=10G)之后就会触发切分，一个region等分为2个region。
  • 但是在生产线上这种切分策略却有相当大的弊端：
    • 切分策略对于大表和小表没有明显的区分。
    • 阈值(hbase.hregion.max.filesize)设置较大对大表比较友好，但是小表就有可能不会触发分裂，极端情况下可能就1个，形成热点，这对业务来说并不是什么好事。
    • 如果设置较小则对小表友好，但一个大表就会在整个集群产生大量的region，这对于集群的管理、资源使用、failover来说都不是一件好事。

IncreasingToUpperBoundRegionSplitPolicy

  • 0.94版本~2.0版本默认切分策略
  • 总体看和ConstantSizeRegionSplitPolicy思路相同
    • 一个region中最大的store大小大于设置阈值就会触发切分。
    • 但是这个阈值并不像ConstantSizeRegionSplitPolicy是一个固定的值，而是会在一定条件下不断调整，调整规则和region所属表在当前regionserver上的region个数有关系.
  • region split阈值的计算公式是：
    • 设regioncount：是region所属表在当前regionserver上的region的个数
    • 阈值 = regioncount^3 * 128M * 2，当然阈值并不会无限增长，最大不超过MaxRegionFileSize（10G）；当region中最大的store的大小达到该阈值的时候进行region split
    • 例如： 第一次split阈值 = 1^3 * 256 = 256MB 第二次split阈值 = 2^3 * 256 = 2048MB 第三次split阈值 = 3^3 * 256 = 6912MB 第四次split阈值 = 4^3 * 256 = 16384MB > 10GB，因此取较小的值10GB 后面每次split的size都是10GB了
    • 特点
      • 相比ConstantSizeRegionSplitPolicy，可以自适应大表、小表；
      • 在集群规模比较大的情况下，对大表的表现比较优秀
      • 但是，它并不完美，小表可能产生大量的小region，分散在各regionserver上。

SteppingSplitPolicy

  • 2.0版本默认切分策略
  • 相比 IncreasingToUpperBoundRegionSplitPolicy 简单了一些
  • region切分的阈值依然和待分裂region所属表在当前regionserver上的region个数有关系
    • 如果region个数等于1，切分阈值为flush size 128M * 2
    • 否则为MaxRegionFileSize。

这种切分策略对于大集群中的大表、小表会比 IncreasingToUpperBoundRegionSplitPolicy 更加友好，小表不会再产生大量的小region，而是适可而止。

KeyPrefixRegionSplitPolicy

  • 根据rowKey的前缀对数据进行分区，这里是指定rowKey的前多少位作为前缀，比如rowKey都是16位的，指定前5位是前缀，那么前5位相同的rowKey在相同的region中。

DelimitedKeyPrefixRegionSplitPolicy

  • 保证相同前缀的数据在同一个region中，例如rowKey的格式为：userid_eventtype_eventid，指定的delimiter为 _ ，则split的的时候会确保userid相同的数据在同一个region中。

DisabledRegionSplitPolicy

  • 不启用自动拆分, 需要指定手动拆分

此博文仅供学习参考，如有错误欢迎指正。

上一篇《大数据-HBase（一）》

下一篇《大数据-HBase（六）》

希望对大数据相关技术感兴趣的友友们关注一下，大家可以一起交流学习哦~

海恋北斗星
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据HBase（十三）：HBase读取和存储数据的流程
Lansonli（蓝深李）的博客
07-22 2232
全网最详细的大数据HBase文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。 目录 系列历史文章 HBase读取和存储数据的流程 一、HBase读取数据的流程 二、HBase存储数据的流程 客户端的同步流程: 异步服务器端执行过程: 系列历史文章 2021年大数据HBase（十一）：Apache Phoenix的视图操作 2021年大数据HBase（十）：Apache Phoenix的基本入门操作 2021年大数据HBase（九）：Ap..
HBase Region 简介和建议数量&大小
h952520296的博客
10-26 4626
建议分配合理的region数量，根据写请求量的情况，一般20-200个之间，可以提高集群稳定性，排除很多不确定的因素，提升读写性能。所以，如果一个HRegion中Memstore过多，而且大部分都频繁写入数据，每次flush的开销必然会很大，因此我们也建议在进行表设计的时候尽量减少ColumnFamily的个数。如果很多region，它们中Memstore也过多，内存大小触发Region Server级别限制导致flush，就会对用户请求产生较大的影响，可能阻塞该Region Server上的更新操作。
《HBase原理与实践》学习笔记【1-8章 HBase基础知识及其工作原理】
IT小王
06-25 1437
《HBase原理与实践》学习笔记 一、HBase概述 1.1 HBase数据模型 1.1.1 逻辑视图 table：表 row：行 column：列 timestamp：时间戳 cell：单元格 1.1.2 物理视图 HBase中的数据是按照列族存储的，即将数据按照列族分别存储在不同目录中。 1.2 HBase体系结构 1.2.1 Master 主要负责HBase系统的各种管理工作： 处理用户的各种管理请求，包括建表、修改表、权限操作、切分表、合并数据等。 管理集群中的RegionSerer，包括其
Hbase简介与基本原理
lilygg的博客
05-14 4094
一、Hbase简介 HBase（Hadoop Database）是一个开源的非关系型的分布式数据库，运行于HDFS文件系统之上，可以容错地存储海量稀疏的数据。 HBase是一个高可靠、高性能、面向列、可伸缩、实时读写的分布式数据库，主要用来存储非结构化和半结构化的松散数据。 HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。 划重点： HBase是基于列存储的，主要用来存储非结构化和半结构化的松散数据，适合大数据的.
HBase存储和读取流程详解
五道口
09-06 2018
本文详细的讲解了HBase存储数据和读取数据的全过程，以及HBase中各个存储结构是怎样协作工作，完成存取流程的。全面解析HBase中数据的存储过程，以及数据的查询解析过程，帮你从底层了解HBase内部的工作原理和工作流程。
HBase-10 Region的分裂策略
a3125504x的博客
07-07 980
Region的分裂策略1. region 分裂策略ConstantSizeRegionSplitPolicyIncreasingToUpperBoundRegionSplitPolicySteppingSplitPolicyKeyPrefixRegionSplitPolicyDelimitedKeyPrefixRegionSplitPolicyDisabledRegionSplitPolicy 1. region 分裂策略 region中存储的是一张表的数据，当region中的数据条数过多的时候，会直接影
【HBase高级】1.重要工作机制（1）——读数据流程、数据存储流程
最新发布
CSDNGuoYuying的博客
01-31 556
In-memory合并是HBase 2.0之后添加的。它与默认的MemStore的区别：实现了在内存中进行compaction（合并）。在CompactingMemStore中，数据是以段（Segment）为单位存储数据的。MemStore包含了多个segment。
Hbase存储详解
chuanjiaoye5017的博客
11-28 416
Hbase存储详解 　　started by chad walters and jim 　　2006.11 G release paper on BigTable 　　2007.2 inital Hbase prototype created as Hadoop contrib 　　2...
HBase Region分裂
lxf310的专栏
03-28 1万+
HBase region的分裂过程如图所示，其中红色代表RegionServer和或Master的行为，绿色的代表Clients的行为。 1、RegionServer决定本地的region分裂，并准备分裂工作。第一步是，在zookeeper的/hbase/region-in-reansition/region-name下穿件一个znode，并设为SPLITTING状态。 2、Maste
hbase读写流程, regionserver内存调节
eyeofeagle的博客
11-11 1776
1，遇到的问题 hbase数据写入频繁，触发memstore刷写次数多，导致region , RS 下线，写入失败 hbase 发生compact ，导致RS下线，查询失败 2，hbase读写流程 a, read,write流程图 https://sematext.com/blog/hbase-memstore-what-you-should https://blog.cloudera.com/guide-to-using-apache-hbase-ports/ 表数据读写：1 (获取meta区域
Hbase API管理功能4-集群状态信息
坚持到底
12-17 2183
调用HBaseAdmin.getClusterStatus()可以查询ClusterStatus实例，这个实例包含了整个集群的信息。这个类也有setter，但是通过set方法修改的仅仅是本地副本的变量，除非用户需要修改本地副本的变量值。 public static void fun1() throws IOException{ Configuration conf = HBaseCon
HBase StoreFile的实现分析
进一步有一步的欢喜
08-09 6327
StoreFile是hbase中的数据文件，HBase中memestore的每次flush都会形成一个storefile文件。我们知道HBase中的数据索引是按照LSM tree组织起来的，简单来说，LSM tree就是一系列的B+ tree组织起来，对应着每个storefile就是一棵B+ tree。本文主要分析StoreFile中的Reader和Writer的实现，并简要分析storefile中数据是如何组织成一个B+ tree，欢迎大家一起讨论学习，本文长期更新。
Hbase总结（八）Hbase中的Coprocessor
热门推荐
Java海洋
10-11 3万+
1.起因(Why HBase  Coprocessor) HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(统计数据表的总行数，需要使用Counter方法，执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce，能够有效用于数据表的分布式计算。然而在很多情况下，做一些简单
HBase-存储
m0_64986686的博客
04-03 2209
USE aaa; #创建存储过程 DELIMITER $ CREATE PROCEDURE testa () BEGIN SELECT * FROM student; SELECT * FROM cj; END $ DELIMITER ; #调用存储过程 CALL testa(); #创建存储过程 DELIMITER $ CREATE PROCEDURE test2() BEGIN #声明变量类型 DECLARE un VARCHAR(32) ...
Hbase的存储原理
weixin_43416788的博客
10-15 2516
Hbase的存储原理 本人渣渣一个，浅谈一下个人对Hbase的理解。 1、Hbase的存储结构。 主节点Hmaster（一个），工作节点RegionServer（多个）。Hmaster挂掉了对数据没什么影响，因为数据的存取都由RegionServer负责。但是Hmaster不能长时间挂掉，例如会对表的创建和修改产生影响。那我们重点来说一下RegionServer。 RegionServer：内部有...
HBase-3.HBase读数据和存储数据原理
艾文
01-26 3715
客户端读取信息流程 （1）client要读取信息，先查询下client 端的cache中是否存在数据，如果存在，刚直接返回数据。如果不存在，则进入到zookeeper，查找到里面的相应数据存在的Root表中的地址。   （2）BlockCache;设计用于读入内存频繁访问的数据，每个列族都有   （3）通过数据存在ROOT表中地址找到.META，最终找到HRegion。找到HRegion
大数据学习之路49-hbase的存储原理
爱米酱的博客
08-27 685
现在学习hbase的存储原理不是目的，是为了理解生产中的一种需求： 当一个表很大的话会被拆分成多个region。 从上图中我们可以看出region在存储数据的时候是按照列族分开存储的。 所以如果我们要读取一行数据的时候，如果列族有很多就代表着我们需要读取的文件也很多。所以列族还是少一点好。除非我们真的有必要把他们分开。 但是按照列族分也有一个好处，因为有时候我们可能并不需要...
hbase存储原理
qq_36443225的博客
10-19 1900
Hbase 表结构设计注意问题： 见过程经验积累--数据库问题   Hbase每个cell插入时都会写入时间戳（当前系统时间）来做版本标识，在读取时如果没有指定时间戳，默认取最新时间。Hbase默认保留3个版本数据。   HBase写入原理 1 客户端写入请求-->MemStore同时会写入Hlog，类似于Commit log，做数据恢复用 2 MemStore满足条件后刷入Stor
Hbase 基本原理 项目实战应用 001
zhilinboke的博客
08-23 773
Hbase的前世（仿照）--》BigTable（是一个分布式存储系统 BigTable起初用于解决典型的互联网搜索问题） google 开发bigTable的目的： •建立互联网索引 1 爬虫持续不断地抓取新页面，这些页面每页一行地存储到BigTable里 2 MapReduce计算作业运行在整张表上，生成索引，为网络搜索应用做准备 3 （查询）用户发起网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值