HBase优化

设计表的优化
1.Pre-Creating Regions预分区

       默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个分区写数据,知道这个region分区足够大的时候才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions,这样当数据写入HBase时,会按照分区情况,在集群内做数据的负载均衡。

2.rowkey的设计

        HBase中row key用来检索表中的记录,支持以下三种方式:

           1、通过单个row key访问,即按照某个row key键值进行get操作

           2、通过row key的range进行scan,即通过设置startRowKey和endRowKey,在这个范围内进行扫描

           3、全表扫描,即直接扫描整张表中所有行记录

        在HBase中,row key可以是任意字符串,最大长度54KB,实际应用中为10~100bytes,存为byte[]字节数组,一般设计定长

        row key按照字典序存储,因此,设计row key时,要充分利用这个排序特点,将经常一起读取的数据存储到一块,将最近可能会访问的数据放到一块

        row key规则:

            1)越小越好

            2)Rowkey的设计是要根据实际业务来

            3)散列性

                    a) 取反 001  002  :  100  200 取反后,rowkey可能落在不同的region上

                    b) Hash  rowkey取hash值后,可能会均匀分布在不同的region上

                散列弊端:降低了范围查找的效率

3.Column Family

        不要再一张表中定义太多的列族。目前HBase并不能很好的处理超过2~3个列族的表。因为某个列族在flush的时候,他邻近的列族也会因关联效应被触发flush,最终导致系统产生更多的I/O。

4.In Memory

        创建表的时候,可以通过HColumnDescriptor.setInMemory(true)将表放到RegionServer的缓存中,保证在读取的时候被cache命中

5.Max Version

    创建表的时候,可以通过HColumnDescriptor.setMaxVersion(int maxVersion)设计表中数据的最大版本,如果只需要保存最新版本的数据,那么可以设置setMaxVersion(1).

6.Time To Live

    创建表的时候可以通过HColumnDescriptor.setTimeToLive(int TimeToLive)设置表中数据的存储生命周期,过期数据将自动被删除,例如如果只需要存储最近两天的数据,那么可以设置setTimeToLive(2*24*60*60)。

7.Compact & Split

       在 HBase 中,数据在更新时首先写入 WAL 日志(HLog)和内存(MemStore)中,MemStore 中的数据是排序的,当 MemStore 累计到一定阈值时,就会创建一个新的MemStore,并且将老的 MemStore 添加到 flush 队列,由单独的线程 flush 到磁盘上,成为一个 StoreFile。于此同时,系统会在 zookeeper 中记录一个 redo point,表示这个时刻之前的变更已经持久化了(minor compact)

        StoreFile 是只读的,一旦创建后就不可以再修改。因此 Hbase 的更新其实是不断追加的操作。当一个 Store 中的 StoreFile 达到一定的阈值后,就会进行一次合并(majorcompact),将对同一个 key 的修改合并到一起,形成一个大的 StoreFile,当 StoreFile 的大小达到一定阈值后,又会对 StoreFile 进行分割(split),等分为两个 StoreFile。

        由于对表的更新是不断追加的,处理读请求时,需要访问 Store 中全部的 StoreFile MemStore,将它们按照 row key 进行合并,由于 StoreFile 和 MemStore 都是经过排序的,并且 StoreFile 带有内存中索引,通常合

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
智慧校园整体解决方案是响应国家教育信息化政策,结合教育改革和技术创新的产物。该方案以物联网、大数据、人工智能和移动互联技术为基础,旨在打造一个安全、高效、互动且环保的教育环境。方案强调从数字化校园向智慧校园的转变,通过自动数据采集、智能分析和按需服务,实现校园业务的智能化管理。 方案的总体设计原则包括应用至上、分层设计和互联互通,确保系统能够满足不同用户角色的需求,并实现数据和资源的整合与共享。框架设计涵盖了校园安全、管理、教学、环境等多个方面,构建了一个全面的校园应用生态系统。这包括智慧安全系统、校园身份识别、智能排课及选课系统、智慧学习系统、精品录播教室方案等,以支持个性化学习和教学评估。 建设内容突出了智慧安全和智慧管理的重要性。智慧安全管理通过分布式录播系统和紧急预案一键启动功能,增强校园安全预警和事件响应能力。智慧管理系统则利用物联网技术,实现人员和设备的智能管理,提高校园运营效率。 智慧教学部分,方案提供了智慧学习系统和精品录播教室方案,支持专业级学习硬件和智能化网络管理,促进个性化学习和教学资源的高效利用。同时,教学质量评估中心和资源应用平台的建设,旨在提升教学评估的科学性和教育资源的共享性。 智慧环境建设则侧重于基于物联网的设备管理,通过智慧教室管理系统实现教室环境的智能控制和能效管理,打造绿色、节能的校园环境。电子班牌和校园信息发布系统的建设,将作为智慧校园的核心和入口,提供教务、一卡通、图书馆等系统的集成信息。 总体而言,智慧校园整体解决方案通过集成先进技术,不仅提升了校园的信息化水平,而且优化了教学和管理流程,为学生、教师和家长提供了更加便捷、个性化的教育体验。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值