![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase存储系统
zhangshk_
一直在路上。。。
展开
-
hbase初识---hbase shell操作以及对应java API开发
hbase说白了就是数据库,那么数据库一般都有增、删、改、查操作,我们下面就通过hbase shell 和java API ,对比看看他们分别是怎么操作hbase的。启动hbase:[root@dev-02 bin]# ./start-hbase.sh 使用shell连接你的hbase:[zhangshk@fonova-hadoop1 ~]$ hbase shellJava HotSpot(TM)原创 2017-12-17 15:16:02 · 1688 阅读 · 0 评论 -
HBase shell基本命令
获得某一个命令的详细信息help ‘status’hbase(main):006:0> help 'status'Show cluster status. Can be 'summary', 'simple', 'detailed', or 'replication'. Thedefault is 'summary'. Examples: hbase> status ...原创 2018-11-03 00:53:10 · 264 阅读 · 0 评论 -
HBase 常用优化策略
什么导致HBase性能下降?jvm内存分配和GC回收策略与HBase运行机制相关配置不合理 (hbase-site.xml配置优化)表结构设计不合理以及用户使用方式不合理HBase数据存储过程HBase写入的时候会先写入memstore达到一定大小,会flush到磁盘保存成HFile,当HFile小文件太多会执行compact操作进行合并。对HBase来说,当每一个store,仅仅...原创 2018-11-06 23:26:46 · 570 阅读 · 0 评论 -
HBase 高级操作之过滤器
过滤器能干什么?HBase为筛选数据提供了一组过滤器,通过过滤器可以在HBase中的数据的多个维度(行,列,版本等)上对数据进行过滤筛选操作。通常来说,通过行建,列来筛选数据的应用场景较多。HBase过滤器分类1.基于行,列,单元值的过滤器1.1----- 基于行的过滤器PrefixFilter :行的前缀匹配PageFilter :基于行的分页1.2------基于列的过...原创 2018-11-03 22:10:47 · 883 阅读 · 0 评论 -
HBase简介,基本组成,基础架构
hbasehbase 是什么? 由哪些模块构成hbase的优缺点以及应用场景hbase和关系型数据库的区别Hbase 简介Hbase是一个分布式的,面向列的开源数据库Hbase在Hadoop之上提供类似于BigTable的能力Hbase不同于一般的关系型数据库,它适合存储非结构化的数据BigTable是什么?bigtable 是基于google 的GFS的面向列的...原创 2018-11-01 23:35:22 · 3498 阅读 · 1 评论 -
HBase Java API 基本操作
学完hbase shell API的基本操作之后,可以通过Java API 对hbase基本操作实现一把。基本概念java类对应数据模型HBaseConfigurationHBase配置类HBaseAdminHBase管理Admin类TableHBase Table操作类PutHBase添加操作数据模型GetHBase单个查询操作数据模...原创 2018-11-03 20:58:48 · 14767 阅读 · 4 评论 -
hbase基本操作---修改表的列簇
说实话,不管是hbase shell ,还是java api 我都没找到修改表的列簇的合适的方法。 hbase shell ,我只找到了,删除列簇,和添加一个列簇的方式 java API,我找到的也是删除列簇和添加一个列簇的方法,尽管有modifyColumnFamily这个方法,但是感觉并没有什么用。 比如我们现在有如下图一张表,我们需要修改列簇info为basic,并添加一个列簇原创 2017-12-17 16:47:34 · 22558 阅读 · 2 评论 -
hbase初识---安装单机版hbase-1.3.1
我认为学习一个项目,不一定要搭建一个集群呀,先能用起来,熟悉基本操作,熟悉API,熟悉他的高级特性,就行了。当然了,数据平台工程师,也就是运维,那搭建各种高可用,高性能的集群就不一样了。我们初次使用,先搭一个单机版玩玩。如果你在公司里不是运维,那么搭建一个单机版,基本能够满足学习目标。达到认识或者熟悉hbase的目的。首先是一些准备环境: 因为hbase是java写的,那么需要依赖jdk,那么jd原创 2017-12-17 11:08:28 · 1375 阅读 · 0 评论 -
hbase初识---开始认识hbase
hbase作为hadoop生态圈的数据存储系统,在整个大数据技术栈中占用重要地位,也是google三大论文,bigtable的对应产品。我们先看看hbase官网介绍吧: Welcome to Apache HBase™ Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. Us原创 2017-12-17 10:31:26 · 511 阅读 · 0 评论 -
hbase常见错误---IDE连接操作hbase报错 Insufficient permissions (user=Administrator
IDEA连接hbase,并操作hbase的时候报错,原因是,本地机器的hostname为Administrator,但是我们的hbase表的用户没有Administrator,所以出现Administrator权限不足问题。解决这个问题最简单的办法是 修改当前Administrator用户的环境变量,添加HADOOP_USER_NAME 为hbase表的用户名。Exception in threa原创 2017-12-15 12:49:09 · 9005 阅读 · 1 评论 -
hbase常见错误----单机版hbase启动失败zookeeper.RecoverableZooKeeper: ZooKeeper exists failed after...
2017-12-14 15:08:50,804 ERROR [main] zookeeper.RecoverableZooKeeper: ZooKeeper exists failed after 4 attempts2017-12-14 15:08:50,806 WARN [main] zookeeper.ZKUtil: hconnection-0x3078cac0x0, quorum=loc原创 2017-12-15 12:41:53 · 15012 阅读 · 0 评论 -
HBase读写流程详细解读
HBase 写入流程:插入一条数据到某个表,因为HBase通过Zookeeper协调Client 首先连接Zookeeper,从Zookeeper中获取表region相关信息。根据要插入的rowkey,获取指定的Regionserver信息,如果是批量提交的话,会把rowkey根据HRegion Location进行分组。当得到了需要访问的Regionserver之后,Client,会向对...原创 2018-11-03 01:10:00 · 10174 阅读 · 7 评论