HDFS
文章平均质量分 63
伍涛
HBase 海量数据 实时分析
展开
-
在大并发写时,HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决
异常日志:2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000 millis原创 2012-03-09 15:03:38 · 20749 阅读 · 1 评论 -
Append在HDFS中的发展历程
File Appends in HDFSby Tom WhiteJuly 17, 20092 commentsTweetThere is some confusion about the state of the file append operation in HDFS. It was in, now it’s out. Why was it re翻译 2012-03-16 18:03:28 · 3126 阅读 · 0 评论 -
HDFS patch前后Ganglia看到running processes变化的分析
Ganglia running processes是怎么算出来的?ganglia是通过 cat /proc/loadavg获得running processes的。可得到如下值:0.00 0.28 0.61 1/591 2993。其中,1是running process,591是total process。为了追踪ganglia图上突然出现的14个running processes原创 2012-03-16 11:18:19 · 2748 阅读 · 0 评论 -
HDFS的recoverLease和recoverBlock的过程分析
最近需要搞一下Lease,分析一下recoverLease的过程,顺带把recoverBlock的过程分析一下。一、 recoverLeaserecoverLease是恢复租约,我理解为释放文件之前的租约,close文件,报告namenode。recoverLease有两条路径去调用1. DistributedFileSystem.create -> DFSClient.c原创 2012-03-22 22:00:55 · 5806 阅读 · 0 评论 -
distcp使用纪要
distcp主要用于在hadoop集群之间拷贝数据。1,如果haboop版本相同,可以使用如下格式hadoop distcp hdfs:///src hdfs:///des2, 如果在不同版本的hadoop集群之间拷贝数据,可以使用如下格式hadoop distcp -i hftp://>/src hdfs:///des注意,这个时候,需要在目标集群上运行dis原创 2012-04-23 15:21:35 · 3322 阅读 · 0 评论