Sqoop
zhan8610189
这个作者很懒,什么都没留下…
展开
-
Sqoop新增多版本导入HBase功能
Sqoop是关系型数据库向Hadoop生态圈的导入导出工具。该工具可以把mysql, oracle等关系型数据库的数据直接导入到hadoop, hive, hbase,同时也可以把hadoop, hive, hbase里面的数据转存到mysql, oracle等传统式关系型数据库。 sqoop 在1.4的版本中不支持多版本数据导入到hbase中,本人对sqoop添加了多版本导入HBas...原创 2013-05-07 11:05:13 · 446 阅读 · 0 评论 -
Sqoop新增批量导入HBase功能
Sqoop导入HBase的实现是直接调用HBase的HTable.put接口,在HBase集群有压力的情况下,这个导入方式是相当慢的。到底有多慢,可以参考一下我写的一篇文章:批量Load到HBase 因此,我在Sqoop 1.4.3的基础上,添加了一种调用LoadIncrementalHFiles.doBulkLoad的bulk load功能。已经把patch提供给社区, https:/...原创 2013-05-07 20:05:34 · 229 阅读 · 0 评论