hadoop
zhiaixiatian
这个作者很懒,什么都没留下…
展开
-
Hadoop 文件操作
1、 hadoop fs -put input/* ./in/将当前目录下的input文件夹下所有文件放到hadoop的./in文件夹下原创 2015-04-20 21:36:35 · 540 阅读 · 0 评论 -
hadoop启动datanode总有一个失败
今天启动hadoop的时候总是有一个datanode无法启动,错误信息如下:STARTUP_MSG: Starting DataNodeSTARTUP_MSG: host = localhost/127.0.0.1STARTUP_MSG: args = []STARTUP_MSG: version = 1.2.1STARTUP_MSG: build = http原创 2015-04-16 23:14:25 · 841 阅读 · 0 评论 -
ssh 出现key_read 问题
ssh的时候总是出现:key_read: uudecode AAAAB3NzaC1yc2EAAAABIwAAAQEAyQVLUpGRK0Z3YMt+0aBVN/5oiar4KGiqEsGI6D+d3xT6wzi+wXdYH5tOm2vMsaQdm8VgGO8iTGx7yXNBiTL1x5NdyG7B70JLHqoNKXJWpmOVbbFmknp6RxYu0hjOUZvwd5sZ6ONdNL4Zln原创 2015-04-16 23:22:42 · 2380 阅读 · 0 评论 -
mapreduce生成HFile通过bulkload入hbase库问题
最近有个需求,要将相同id的记录存储为hbase的一行,于是就将id做md5后作为rowkey,相同id记录数据以json存储在列中,开始想用一个mapper和一个reducer搞定的,mapper负责将数据组织好(以id的md5值做key,整行数据组织成json串做value输出),reducer负责将相同key的value拼接起来,并write到HFile中。方法一:m原创 2016-05-16 11:18:06 · 681 阅读 · 0 评论 -
合并本地文件并上传到hdfs
hadoop能从标准输入流中直接put,如下:cat /home/data/* |hadoop fs -put - /tmp/data/input原创 2016-06-13 14:19:55 · 716 阅读 · 0 评论