HDFS练习4-----统计 HDFS 整个文件系统中的不足指定数据块大小的数据块的比例

问题还原：

统计 HDFS 整个文件系统中的不足指定数据块大小的数据块的比例
比如指定的数据块大小是 128M，总数据块有 100 个，不是大小为完整的 128M 的数据块有5 个，那么不足指定数据块大小的数据块的比例就为 5%。注意：千万注意考虑不同文件的指定数据块大小可能不一致，所以千万不能用默认的 128M一概而论。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Test;

/**
 * 统计 HDFS 整个文件系统中的不足指定数据块大小的数据块的比例
 * 比如指定的数据块大小是 128M，总数据块有 100 个，不是大小为完整的 128M 的数据块有
 * 5 个，那么不足指定数据块大小的数据块的比例就为 5%
 * 注意：千万注意考虑不同文件的指定数据块大小可能不一致。所以千万不能用默认的 128M一概而论
 * @author Administrator
 *
 */
public class Question4 {

	@Test	
	public void Test() throws Exception{
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://hadoop01:9000");
		System.setProperty("HADOOP_USER_NAME", "hadoop");
		FileSystem fs = FileSystem.get(conf);
		
		Path path = new Path("/");
		//获取指定目录下的所有文件
		RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(path, false);
		//指定路径下的block块计数器
		int blockNum = 0;
		//不足block块标准的数据块计数器
		int smallBlockNum = 0;
		
		while(listFiles.hasNext()){
			LocatedFileStatus next = listFiles.next();
			//获取文件的block块
			BlockLocation[] blocks = next.getBlockLocations();
			//所有的block块统计
			blockNum += blocks.length;
			
			if(blocks.length != 0){
				//获取文件最后一个block块的大小
				long lastBlockSize = blocks[blocks.length-1].getLength();
				//获取文件存储的时划分的block块的大小
				long blockSize = next.getBlockSize();
				
				//如果文件的最后一个block块的大小小于block块的划分的大小就视为不完整block块
				if( lastBlockSize < blockSize){
					smallBlockNum++;
				}
			}
		}
		
		//计算不完整的block块的占比
		String percent = (smallBlockNum * 1F / blockNum * 100)+"%";
		
		System.out.println(percent);
	}
}