2015年09月_zhangxiong0301

12月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 HIVE跑mapjoin时所有任务失败--问题分析及解决

今天有个需求，就是：指定200W用户（表meids_tmp），把这些用户最近15天的应用使用数据（表tb_yl_upload_info,按天分区）转移到另外一张表中（表upload_info_sub，按天分区）。很直观，meids_tmp表63M，可以使用map端连接；要求目标表数据按日期组织，自然想到动态分区，使数据插入时自动按日期写入。最终，得到...

2015-09-22 16:40:56 1693 1

原创 HBase安全及namespace操作

1、介绍在HBase中，namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。Apache HBase从0.98.0, 0.95.2两个版本开始支持namespace级别的授权操作，HBase全局管理员可以创建、修改和回收namespace的授权。 2、namespaceHBase系统默认定义了两个缺省的namespace...

2015-09-18 19:37:11 418

原创 hadoop、hbase节点下线

hadoop节点在磁盘坏掉的时候需要节点下线，按照下线步骤操而不是直接kill，是为了让数据安全的转移。比如hbase的regionserver直接kill掉的话，如果运气再坏一点这个regionserver上刚好是root表或meta表所在的机器，那可能导致hbase集群不可用。 1. hbase regionserver下线 ...

2015-09-17 16:21:12 1097

原创 mybatis中使用map类型参数，其中key为列名，value为列值

最近有个需求，就是使用mybatis时，向mysql中插入数据，其参数为map类型，map里面的key为列名，而key对应的value是该列对应的列值；问题是每次插入mysql中数据行的部分列，即map里面key的值每次都不固定，在用mybatis时需要通过map的key作为列名。基础知识对于这类问题基本思路就是用foreach标签遍...

2015-09-11 15:00:07 2194