大数据
zhang-hui
Have a nice day
展开
-
Flume 流入远程 hbase
在测试flume的过程中,一直是将hbase和flume在同一台机器上做测试,由于flume默认是插入本地的hbase中,所以一直没有问题。当真正部署到实际环境中是发现f需要再做设置才能流入远程hbase数据库中,flume端要做配置,hbase主机中的hosts文件也做修改在此贴出配置文件flume的conf文件#Name the components on this agenta1.sou...原创 2014-08-04 17:15:49 · 3497 阅读 · 0 评论 -
flume 自定义 hbase sink 类
参考(向原作者致敬)http://ydt619.blog.51cto.com/316163/1230586https://blogs.apache.org/flume/entry/streaming_data_into_apache_hbaseflume 1.5 的配置文件示例#Name the components on this agenta1.sources = r1a1.sinks...原创 2014-08-04 16:56:46 · 5691 阅读 · 1 评论 -
Flume SimpleAsyncHbaseEventSerializer 类解析
基于上一篇的SimpleHbaseEventSerializer 类解析, 接下来分析SimpleAsyncHbaseEventSerializer类,它和SimpleHbaseEventSerializer的主要区别在于getActions函数。 public List<PutRequest> getActions() { List<PutRequest> a...原创 2014-08-04 16:07:19 · 2366 阅读 · 0 评论 -
Flume SimpleHbaseEventSerializer 类解析
flume官网上介绍了很多sink/source; 这篇51cto博客有很多示例介绍; HBaseSink/AsyncHBaseSink我是基于这篇apche官网博客做的。 我首先将详细介绍 SimpleHbaseEventSerializer.java 代码 SimpleHbaseEventSerializer类中包括的函数有SimpleHbaseEve...原创 2014-08-04 15:57:56 · 2725 阅读 · 0 评论 -
hbase+zookeeper
操作系统:ubuntu-12.04serverHBase版本:hbase-0.98.3zookeeper版本:zookeeper-3.4.6java版本:1.7.0_65集群:192.168.1.1(master1)/192.168.1.2(slave1)/192.168.1.3(slave2)zookeeper配置 Hbase-0.98.3已经内置了zookeeper,但是推荐使...原创 2014-07-31 21:22:30 · 1129 阅读 · 0 评论