第三十一讲.源码解析学习思路以及DataNodeInfo案例分析

 视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS

【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS

【视频笔记】

通过FileSystem API访问BlockLocations块位置信息
-----------------------------------------------------------------------------------------------
  

 /**
     * 通过FileSystem API访问BlockLocations块位置信息
     * @throws IOException
     */
    @Test
    public void BlockLByFS() throws IOException{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        Path file = new Path("/spaceQuota/hello.txt");
        FileStatus fst = fs.getFileStatus(file);
        BlockLocation[] blocklocations = fs.getFileBlockLocations(fst, 8, 30);
//        BlockLocation[] blocklocations = fs.getFileBlockLocations(fst, 0, 30);
        for (BlockLocation blockLocation : blocklocations) {
            String[] hosts = blockLocation.getHosts();
            for (String host : hosts) {
                System.out.println(host);
            }
            String[] names = blockLocation.getNames();
            for (String name : names) {
                System.out.println(name);
            }
            String[] topologs = blockLocation.getTopologyPaths();
            for (String topolog : topologs) {
                System.out.println(topolog);
            }
        }
    }

通过FileSystem API访问Datanode信息
----------------------------------------------------------------------------------------------

/**
     * 通过FileSystem API访问Datanode信息
     * @throws IOException
     */
    @Test
    public void datanodeLByFS() throws IOException{
        Configuration conf = new Configuration();
        System.setProperty("HADOOP_USER_NAME", "hyxy"); 
//        conf.set("dfs.permissions.enabled", "false");
        FileSystem fs = FileSystem.get(conf);
        DistributedFileSystem dfs = (DistributedFileSystem)fs;
        DatanodeInfo[] dni = dfs.getDataNodeStats();
        for (DatanodeInfo datanodeInfo : dni) {
            System.out.println("Capacity:"+datanodeInfo.getCapacity());
            System.out.println("Remaining:"+datanodeInfo.getRemaining());
            System.out.println("DatanodeReport:"+datanodeInfo.getDatanodeReport());
            System.out.println("------------------------------------------");
        }
    }