![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase
文章平均质量分 77
ZoeYen_
这个作者很懒,什么都没留下…
展开
-
【笔记】关于HBase的总结和疑问
1.HBase和HDFS的异同2.HBase按列存储数据是按列存储的,每一列单独存放数据即是索引只访问查询涉及到的列,降低I/O每一列由一个线索来处理-查询的并发处理数据类型一致-高效压缩3.HBase VS HFile4.HBase查询比Hive快的原因(1) Hivehive是基于mapreduce来处理数据,离线计算速度慢mapreduce处理数是基于行的模式,查询数据默认是扫原创 2017-11-28 17:16:10 · 693 阅读 · 0 评论 -
【笔记】HBase在资源紧张时降低IO的手段
!注意:1.一切都是瓶颈的时候(内存、CPU、IO),所有手段都作用不大; 2、没有绝对的有效手段,必须针对场景具体分析; 3、大多数情况下,都是磁盘IO存在问题(CPU和内存其实问题都不大,除非配置太差)。优化分类:一、表设计1.适当增加列族个数,一起读写的列放在一个列族原理: family多,获取单个cell数据时就不会去扫描同一个rowkey的所有数据(按列族存储),明显降低IO。适用场原创 2017-12-13 22:20:33 · 720 阅读 · 0 评论 -
【配置】Hive整合HBase
一、配置1.将HBase相关jar包拷贝到hive的lib目录下2.修改hive-site.xml配置文件①将上述jar包添加到hive-site.xml配置的hive.aux.jars.path属性中。②修改hive.zookeeper.quorum属性。③添加hbase.zookeeper.quorum属性。3.修改hive-env.sh配置文件copy一份模板文件修改4.启动hive 123原创 2017-12-17 19:19:15 · 663 阅读 · 0 评论