Hadoop
文章平均质量分 72
zl520878
这个作者很懒,什么都没留下…
展开
-
多个MapReduce任务实现任务间相互依赖
工作过程工遇到有些情况,需要多个mapreduce程序相互依赖执行,使用ControlledJob类可以轻松处理多个JOB之间按照顺序执行。 输入文件为2个,t1.txt和t2.txt,内容如下: t1: abacdab t2: caedbaecc 执行如下命令: hadoop jar /home/sospdm/morejobs.jar morejobs....2015-09-16 11:31:08 · 600 阅读 · 0 评论 -
HIVE自定义处理时间格式的UDF
工作过程中遇到很多情况需要进行日期格式处理,通常用下面的方法来实现: from_unixtime(to_unix_timestamp('20150813','yyyyMMdd'),'yyyy-MM-dd') 2015-08-13 如果再需要对日期进行一下加减多少天的话,还需要再增加长度: date_sub(from_unixtime(to_unix_timestamp(...2015-09-16 11:56:07 · 550 阅读 · 0 评论 -
ERROR: Can't get master address from ZooKeeper; znode data == null
最近配置HBASE+ZOOKEEPER的时候,运行list的时候报下面错误: hbase(main):001:0> listTABLE ...原创 2015-12-04 12:08:20 · 184 阅读 · 0 评论