2018年04月_zmywei_20160707

08月 05月 04月 03月 02月 01月

原创 idea远程调试MapReduce

作为习惯了用idea开发的小伙伴，不太想用eclipse开发Hadoop,于是研究了一下idea如何远程调试mr，现分享一下。一开发环境本地win10系统Intellij idea14工具虚拟机中hadoop2.6.0伪分布模式二配置步骤(这里笨小葱参考的这篇文章：http://www.cnblogs.com/yjmyzz/p/how-to-remote-debug-hadoop-with-ec...

2018-04-28 13:58:29 1245

转载 hbase的数据写入方式

　　本文主要是总结一下hbase几种写入常见的方式，以及涉及的应用场景，尽量覆盖日常业务中的使用场景，另外再总结一下其中涉及到的一些原理知识。也算是自己学习的汇总。hbase也接触很久了，各种应用的场景也见到了很多。借此机会好好总结一下。　　hbase一般的插入过程都使用HTable对象，将数据封装在Put对象中，Put在new创建的时候需要传入rowkey，并将列族，列名，列值add进去。然后H...

2018-04-27 18:46:41 1860

原创 PHOENIX操作HBASE

HBase，一个NoSQL数据库，可存储大量非关系型数据。HBase，可以用HBase shell进行操作，也可以用HBase Java api进行操作。HBase虽然是一个数据库，但是它的查询语句，很不太好用。要是能像使用Mysql等关系型数据库一样用sql语句操作HBase，那就很Perfect了。现有工具有很多Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主...

2018-04-27 12:00:19 671