HDFS JAVA API的应用

首先把hadoop服务起来

1. (简答题)

使用HDFS 的JAVA API 进行编程:

(1)获取自己HDFS集群下的所有文件和目录;

//获取自己HDFS集群下的所有文件和目录;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;


public class hdfs_zn1 {
    @Test
    public void testListFile()throws URISyntaxException, IOException, InterruptedException{
        //获取文件对象
        Configuration configuration=new Configuration();
        FileSystem fs=FileSystem.get(new URI("hdfs://hadoop101:8020"),configuration,"zhangna");

        FileStatus[] fileStatuses=fs.listStatus(new Path("/"));
        System.out.println("Files and directories under " + new Path("/") + ":");
        for(FileStatus status:fileStatuses){
            System.out.println(status.getPath());
        }
    }

}

(2)在根目录下创建以自己名字拼音缩写命名的目录,并任意上传一个文件至该目录;

我在D盘下写了一个文件名字叫hdfstest.txt  我要将它上传到创建的目录中

//(2)在根目录下创建以自己名字拼音缩写命名的目录,并任意上传一个文件至该目录;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class hdfs_zn2{
    @Test
    public void testMkdirs() throws URISyntaxException, IOException,InterruptedException
    {
        Configuration configuration=new Configuration();
        FileSystem fs=FileSystem.get(new URI("hdfs://hadoop101:8020"),configuration,"zhangna");
        fs.mkdirs(new Path("/zn1"));
        fs.copyFromLocalFile(new Path("D:/hdfstest.txt"),new Path("/zn1"));
        fs.close();

    }
}

现在变成

可以看到我上传的文件

查看文件内容和我本地文件内容一样的

(3)下载(2)中上传的文件。

(3)下载(2)中上传的文件。
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class hdfs_zn3{
    @Test
    public void testMkdirs() throws URISyntaxException, IOException,InterruptedException
    {
        Configuration configuration=new Configuration();
        FileSystem fs=FileSystem.get(new URI("hdfs://hadoop101:8020"),configuration,"zhangna");
        fs.copyToLocalFile(false,new Path("/zn1/hdfstest.txt"),new Path("D:/znhdfstest.txt"));
        fs.close();
    }
}

我下载了(2)中上传的文件,出现了一点小问题是,我想放到C盘根目录下,会因为权限问题而拒绝访问

要求:分别上传3道小题的源代码和结果截图(浏览器或控制台)。

  • 11
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

智能边缘探索记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值