![](https://img-blog.csdnimg.cn/20190919162219895.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hbase
張萠飛
这个作者很懒,什么都没留下…
展开
-
Hbase Coprocessors 协处理器
目录Hbase 协处理器的概述与其他协处理器的比较Triggers and Stored ProcedureMapReduceAOP协处理器如何实现Coprocessors类型观察者协处理器Observer Coprocessor 使用样例Observer Coprocessor 的类型端点协处理器如何加载协处理器静态加载静态卸载动态加载动态卸载使用样例观察者样例端点样例其他协处理器的使用手册目前的限制Hbase 协处理翻译 2020-05-14 10:57:59 · 766 阅读 · 0 评论 -
Hbase 的二级索引
最终使用协处理器实现一致的二级索引翻译 2020-05-14 11:37:47 · 385 阅读 · 0 评论 -
Hbase 面试问答
问:Hbase大量写入很慢,一个列族,每个200多列,一秒写30000条数据,使用mutate添加数据,clientbuffer缓存大小为10M,四台测试机,128G内存,分配60G给Hbase,该怎么优化?答:可以使用bulkload方式写入,通过mr程序生产hfile文件,直接用bulkload导入生成的hfile文件,速度非常快。问:hbase大规模的丢数据,整个数据库系统都挂掉了,...转载 2020-04-05 14:28:47 · 220 阅读 · 0 评论 -
Hase Java API 和 Hbase Scala API
Table of ContentsJava 版的Hbase 工具类,配置 zookeeper 的地址建表操作修改表结构列出所有表删表写表根据 rowKey 删数据查表,所有数据根据 rowKey 查数据Scala 版的Hbase 工具类列出所有表建表查看表结构删表写数据扫描整个表根据 rowKey 查数据根据 rowK...原创 2019-11-21 21:35:37 · 625 阅读 · 3 评论 -
列存储相关概念和常见列式存储数据库(Hbase、德鲁依)
Table of Contents列式存储数据库Examples of Column StoreDBMSsHbaseTableRowColumnColumn FamilyColumn QualifierCellTimestampDruid(德鲁依)Cassandra参考列式存储数据库列式数据库是以列相关存储架构进行数据存储的数据库,主要...原创 2019-11-01 14:31:58 · 14399 阅读 · 0 评论 -
Hbase备份(HBase Backup)之 Hbase Export、Hbase Import
目录Exportmapreduce-based Exportendpoint-based Export对照表Importexport 方法将表的内容转储到同一集群上的HDFS。要恢复数据,将使用 import 。Export将表数据以 sequence file 的格式转存到 HDFS,通过运行Coprocessor Endpoint 或MapReduce。...原创 2019-10-17 14:33:01 · 2086 阅读 · 0 评论 -
如何防止 Hbase 一次写入数据过多导致的各种问题(建表预分区、集群 regionserver 优化)
目录表级根据 rowkey 的规则进行建表预分区集群级首先我们简单回顾下整个写入流程当写入过快时会遇见什么问题?如何避免RS OOM?表级根据 rowkey 的规则进行建表预分区详情见:使用 Hbase Shell 命令创建预分区表(hbase预分区)集群级首先我们简单回顾下整个写入流程client api ==> RPC ==> s...原创 2019-10-17 10:47:59 · 1548 阅读 · 0 评论 -
Hbase备份(HBase Backup)之 Hbase CopyTable
CopyTable 是 Apache Hadoop MapReduce 作业的核心,它使用标准的 HBase 扫描读路径接口从单个表读取记录,然后使用标准的 HBase Put 写路径接口将记录写到另一个表(可能在单独的集群中)。它可以用于许多目的:表的内部副本(快照) 远程HBase实例备份 增量HBase表副本 部分HBase表复制和HBase表模式更改CopyTable是一个实用...原创 2019-10-15 17:53:35 · 475 阅读 · 0 评论 -
Hbase备份(HBase Backup)的几种方法
执行HBase备份有两种主要的策略:关闭集群进行备份,以及在活动的集群上进行备份。关闭集群备份这样做的好处是,NameNode/Master 是地区级服务器,因此不会丢失对存储文件或元数据的任何动态更改。明显的缺点是集群宕机。步骤包括:Stop HBase Distcp Distcp可以用于将HDFS中的HBase目录的内容复制到另一个目录中的相同集群,也可以复制到另一个集群...原创 2019-10-17 14:35:26 · 2356 阅读 · 0 评论 -
Could not start ZK at requested port of 2181(Hbase单机模式下)
Could not start ZK at requested port of 2181(适用)error: KeeperErrorCode = NoNode for /hbase/master(同样适用)hbase-site.xml<configuration> <property> <name>hbase.rootdir...原创 2019-10-15 11:32:23 · 1489 阅读 · 0 评论 -
Hbase布隆过滤(Bloom Filters)
目录Schema DesignBloom Filters什么时候使用开启布隆过滤配置Bloom过滤器的服务器范围Reading from HBaseBloom FiltersBloom StoreFile封装Bloom StoreFile配置2版本中的Bloom filters使用小结Schema DesignBloom Filters它是...原创 2019-10-08 11:53:35 · 627 阅读 · 1 评论 -
使用 Hbase Shell 命令创建预分区表(hbase预分区)
在通过 HBase Shell create 命令创建表时,可以使用多种选项来对表进行预分区。最简单的方法是在创建表时指定一个拆分点数组。注意:当将字符串文本指定为拆分点时,这些拆分点将基于字符串的底层字节表示创建拆分点。因此,当指定一个 split point 为'10'时,实际上是在指定字节分割'\x31\30'。split point将定义n+1个区域,其中n是分割点的数...原创 2019-09-19 17:09:04 · 7875 阅读 · 0 评论