hbase
zreodown
这个作者很懒,什么都没留下…
展开
-
谈谈HTable的实现
servercachestringbytetablehbase背景HTable作为HBase的CRUD的客户端底层是怎么实现的,虽然HBase-The-Definitive-Guide 这本书的作者推荐在生产环境使用HTablePool但了解HTable还是很有必要的下面以一个简单的例子来说明 [java] view plaincopyp原创 2013-03-28 17:01:59 · 800 阅读 · 0 评论 -
hbase 结点之间时间不一致造成regionserver启动失败
http://sishuok.com/forum/blogPost/list/5411.htmlCaused by: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server s3,60020,1304927875246 has been rejected原创 2013-03-28 17:12:47 · 715 阅读 · 0 评论 -
hadoop 的一些错误
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。/etc/security/limits.confvi /etc/原创 2013-05-12 21:06:03 · 695 阅读 · 0 评论 -
用hbase(0.92版本以上)的协处理器实现快速返回查询结果总数 .
在0.92版本的hbase上添加了协处理器的功能,协处理器分为两大部分 endpoint和observer.observer相当于一个钩子的作用,根据钩子运行的模块来划分,又分成三个RegionObserver:用这个做数据操纵事件,其紧密的绑定到表的regionMasterObserver:处理集群级别的事件:管理操作和数据定义语言操作WALObserver:预写日志处理而e原创 2013-08-21 11:34:34 · 1610 阅读 · 0 评论 -
hbase
hbase.zookeeper.quorum hadoop.datanode3.com,hadoop.datanode2.com,hadoop.datanode5.com hbase.master.distributed.log.splitting false hbase.zookeeper原创 2013-09-13 12:02:14 · 1458 阅读 · 0 评论 -
hbase根据filter export import
hbase的删除功能比较弱,只能单行删除,而且必须指定rowkey。遇到问题:今天遇到一个需求,用户导入了大量错误的数据,数据的rowkey开头都是110102,需要删除这些垃圾记录,用hbase shell删除实在不科学。解决方案:用hbase的mapreduce工具进行export和import,在export过程中filter掉不需要的原创 2013-11-28 11:24:09 · 4531 阅读 · 1 评论 -
hbase 调优
1. 关于内存hbase.hregion.memstore.mslab.enabled默认值:true说明:减少因内存碎片导致的Full GC,提高整体性能。调优:详见 http://kenwublog.com/avoid-full-gc-in-hbase-using-arena-allocation2. 启用LZO压缩LZO对比Hbase默认的GZip原创 2014-03-03 16:04:11 · 857 阅读 · 0 评论 -
批量Load到HBase
hbase提供了写的操作,通常,我们可以采用HBase的Shell 客户端或者Java API进行操作。如果数据量大的话,这两种操作是很费时的。其实如果了解了HBase的数据底层存储的细节的话,HBase的数据存储格式是HFile定义的格式。批量导入HBase主要分两步:通过mapreduce在输出目录OutputDir下生成一系列按Store存储结构一样的,存储HFile原创 2015-06-05 14:43:03 · 1843 阅读 · 0 评论