HBase优化

设计表的优化

1.Pre-Creating Regions预分区

       默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个分区写数据，知道这个region分区足够大的时候才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照分区情况，在集群内做数据的负载均衡。

2.rowkey的设计

        HBase中row key用来检索表中的记录，支持以下三种方式：

           1、通过单个row key访问，即按照某个row key键值进行get操作

           2、通过row key的range进行scan,即通过设置startRowKey和endRowKey，在这个范围内进行扫描

           3、全表扫描，即直接扫描整张表中所有行记录

        在HBase中，row key可以是任意字符串，最大长度54KB，实际应用中为10~100bytes,存为byte[]字节数组，一般设计定长

        row key按照字典序存储，因此，设计row key时，要充分利用这个排序特点，将经常一起读取的数据存储到一块，将最近可能会访问的数据放到一块

        row key规则：

            1）越小越好

            2）Rowkey的设计是要根据实际业务来

            3）散列性

                    a) 取反 001  002  :  100  200 取反后，rowkey可能落在不同的region上

                    b) Hash  rowkey取hash值后，可能会均匀分布在不同的region上

                散列弊端：降低了范围查找的效率

3.Column Family

        不要再一张表中定义太多的列族。目前HBase并不能很好的处理超过2~3个列族的表。因为某个列族在flush的时候，他邻近的列族也会因关联效应被触发flush，最终导致系统产生更多的I/O。

4.In Memory

        创建表的时候，可以通过HColumnDescriptor.setInMemory(true)将表放到RegionServer的缓存中，保证在读取的时候被cache命中

5.Max Version

    创建表的时候，可以通过HColumnDescriptor.setMaxVersion(int maxVersion)设计表中数据的最大版本，如果只需要保存最新版本的数据，那么可以设置setMaxVersion(1).

6.Time To Live

    创建表的时候可以通过HColumnDescriptor.setTimeToLive(int TimeToLive)设置表中数据的存储生命周期，过期数据将自动被删除，例如如果只需要存储最近两天的数据，那么可以设置setTimeToLive(2*24*60*60)。

7.Compact & Split

       在 HBase 中，数据在更新时首先写入 WAL 日志(HLog)和内存(MemStore)中，MemStore 中的数据是排序的，当 MemStore 累计到一定阈值时，就会创建一个新的MemStore，并且将老的 MemStore 添加到 flush 队列，由单独的线程 flush 到磁盘上，成为一个 StoreFile。于此同时，系统会在 zookeeper 中记录一个 redo point，表示这个时刻之前的变更已经持久化了(minor compact)。

        StoreFile 是只读的，一旦创建后就不可以再修改。因此 Hbase 的更新其实是不断追加的操作。当一个 Store 中的 StoreFile 达到一定的阈值后，就会进行一次合并(majorcompact)，将对同一个 key 的修改合并到一起，形成一个大的 StoreFile，当 StoreFile 的大小达到一定阈值后，又会对 StoreFile 进行分割(split)，等分为两个 StoreFile。

        由于对表的更新是不断追加的，处理读请求时，需要访问 Store 中全部的 StoreFile 和MemStore，将它们按照 row key 进行合并，由于 StoreFile 和 MemStore 都是经过排序的，并且 StoreFile 带有内存中索引，通常合