![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据/hbase/优化设计
莫言静好、
这个作者很懒,什么都没留下…
展开
-
HBase之缓存
一 HBase 缓存简介HBase提供了2种类型的缓存结构:MemStore & BlockCache。其中MemStore是写缓存,BlockCache是读缓存。 MemStore: HBase写数据首先写入MemStore之中,并同时写入HLog,待满足一定条件后将MemStore中数据刷到磁盘,可以很大提升HBase的写性能。而且对读也很有提升,如果没有MemStore,读取转载 2017-11-13 10:36:18 · 7225 阅读 · 0 评论 -
HBase内存规划
线上集群应该如何配置参数呢?有的使用默认配置,有的使用的是其他公司推荐配置。这样的一些配置可能在大多数情况下没有问题,但是性能却未必最佳,资源未必都得到合理的利用。 不同的应用场景,不同的工作模式下,参数配置可能就有一些差别:HBase内存规划直接涉及写缓存MemStore和读缓存BlockCache,影响系统内存的利用率,IO利用率等以及读写性能。但是针对不同的业务场景(读多写转载 2017-11-13 10:39:25 · 2038 阅读 · 0 评论 -
HBase之CMS GC调优
HBase发展到现在,各种优化从未停止,GC优化更是重中之重,比如0.94版本提出的MemStoreLAB,MemStore Chunk Pool策略对写缓存MemStore进行优化开始,到0.96版本提出的BucketCache对外内存方案对读缓存BlockCache的优化等,然而无论什么对外内存,都无法避免使用JVM 内存。 一 CMS GC的工作原理1.1 整个JVM内存由You转载 2017-11-14 10:52:23 · 709 阅读 · 0 评论 -
HBase的Row Key设计
HBase中的行是以row key进行字典排序的,这种设计优化了scan的操作,将以将相关的行或者一起读取的行存储在临近的位置,以便于scan. 但是row key设计不好就会造成读写热点问题,造成大量客户端直接访问集群某一个或者极少数的节点,造成节点性能下降或者Region不可用。同时还会对其他Region或者业务造成影响。集群不能被充分使用。 首先我们得确保row key必须唯一,而且转载 2017-11-14 10:52:46 · 4826 阅读 · 0 评论