问题还原:
统计 HDFS 整个文件系统中的不足指定数据块大小的数据块的比例
比如指定的数据块大小是 128M,总数据块有 100 个,不是大小为完整的 128M 的数据块有5 个,那么不足指定数据块大小的数据块的比例就为 5%。注意:千万注意考虑不同文件的指定数据块大小可能不一致,所以千万不能用默认的 128M一概而论。
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Test;
/**
* 统计 HDFS 整个文件系统中的不足指定数据块大小的数据块的比例
* 比如指定的数据块大小是 128M,总数据块有 100 个,不是大小为完整的 128M 的数据块有
* 5 个,那么不足指定数据块大小的数据块的比例就为 5%
* 注意:千万注意考虑不同文件的指定数据块大小可能不一致。所以千万不能用默认的 128M一概而论
* @author Administrator
*
*/
public class Question4 {
@Test
public void Test() throws Exception{
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://hadoop01:9000");
System.setProperty("HADOOP_USER_NAME", "hadoop");
FileSystem fs = FileSystem.get(conf);
Path path = new Path("/");
//获取指定目录下的所有文件
RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(path, false);
//指定路径下的block块计数器
int blockNum = 0;
//不足block块标准的数据块计数器
int smallBlockNum = 0;
while(listFiles.hasNext()){
LocatedFileStatus next = listFiles.next();
//获取文件的block块
BlockLocation[] blocks = next.getBlockLocations();
//所有的block块统计
blockNum += blocks.length;
if(blocks.length != 0){
//获取文件最后一个block块的大小
long lastBlockSize = blocks[blocks.length-1].getLength();
//获取文件存储的时划分的block块的大小
long blockSize = next.getBlockSize();
//如果文件的最后一个block块的大小小于block块的划分的大小就视为不完整block块
if( lastBlockSize < blockSize){
smallBlockNum++;
}
}
}
//计算不完整的block块的占比
String percent = (smallBlockNum * 1F / blockNum * 100)+"%";
System.out.println(percent);
}
}