HDFS常用java api整理及使用示例

主要是一些文件系统的常用操作，包括增删文件及文件夹，读写操作，查看操作等。

一：几个常用类介绍

    （1）：configuration类：此类封装了客户端或服务器的配置，通过配置文件来读取类路径实现（一般是core-site.xml）。

（2）：FileSystem类：一个通用的文件系统api，用该对象的一些方法来对文件进行操作。

FileSystem fs = FileSystem.get(conf);通过FileSystem的静态方法get获得该对象。

（3）：FSDataInputStream：HDFS的文件输入流，FileSystem.open()方法返回的即是此类。

（4）：FSDataOutputStream：HDFS的文件输入出流，FileSystem.create()方法返回的即是此类。

1. //读取配置文件  
2.         Configuration conf = new Configuration();  
3.         //获取文件系统  
4.         FileSystem fs = FileSystem.get(URI.create("hdfs://hadoop1:9000"),conf); 

1. 创建文件夹

1. Path srcPath =  new Path(path);  
2.         //调用mkdir（）创建目录，（可以一次性创建，以及不存在的父目录）  
3.         boolean flag = fs.mkdirs(srcPath);

2. 创建文件并写入数据

1. Path dstPath = new Path(dst);    
2.         //打开一个输出流  
3.         FSDataOutputStream outputStream = fs.create(dstPath);  
4.         outputStream.write(contents);

3. 追加写

1. InputStream in = new BufferedInputStream(new FileInputStream(src));  
2.               
3.             //文件输出流写入  
4.             FSDataOutputStream out = fs.append(dstPath);  
5.             IOUtils.copyBytes(in, out, 4096,true);

4. 列出目录下所有文件

1. FileStatus[] listStatus = fs.listStatus(new Path("/"));  
2.         for(FileStatus f:listStatus){  
3.             String type="-";  
4.             if(f.isDirectory()) type="d";  
5.             System.out.println(type+"\t"+f.getPath().getName());  
6.         }  
7.         fs.close();

5. 修改目录及文件权限

6. 查看目录及文件权限

7. 删除文件/目录

1. Path path = new Path(filePath);  
2.           
3.         //调用deleteOnExit(）  
4.         boolean flag = fs.deleteOnExit(path); 

8. 上传本地文件

1. Path srcPath = new Path(src); //原路径  
2.     Path dstPath = new Path(dst); //目标路径  
3.     //调用文件系统的文件复制函数,前面参数是指是否删除原文件，true为删除，默认为false  
4.     fs.copyFromLocalFile(false,srcPath, dstPath);

9. 下载文件到本地

1. fs.copyToLocalFile(false, new Path("/jdk-7u65-linux-i586.tar.gz"), new Path("C:/"), true);  
2.         fs.close(); 

10. 文件重命名

1. Path oldPath = new Path(oldName);  
2.         Path newPath = new Path(newName);  
3.           
4.         boolean flag = fs.rename(oldPath, newPath);

11. 判断目录/文件是否存在

boolean exist=fs.exists(path)

12. 文件输入流

1. InputStream in = null;  
2.         try {  
3.             in = fs.open(new Path(uri));  
4.             //复制到标准输出流  
5.             IOUtils.copyBytes(in, System.out, 4096,false);  
6.         } catch (Exception e) {  
7.             e.printStackTrace();  
8.         }finally{  
9.             IOUtils.closeStream(in);  
10.         }

14. 修改文件副本数量

fs.setReplication(new Path("/jdk-7u65-linux-i586.tgz"), (short)2);

15. 获取文件block信息

1. RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);  
2.         while(listFiles.hasNext()){  
3.             LocatedFileStatus fileStatus = listFiles.next();  
4.             System.out.println(fileStatus.getPath().getName());  
5.         } 

16. 获取block位置信息

17. 获取block偏移量信息

1. BlockLocation[] fileBlockLocations = fs.getFileBlockLocations(new Path("/jdk-7u65-linux-i586.tar.gz"), 0, 143588167);  
2.         for(BlockLocation location : fileBlockLocations){  
3.             System.out.println(location.getOffset());  
4.             System.out.println(location.getNames()[0]);  
5.         } 

18. 从指定偏移量读取数据

1. FSDataInputStream in = fs.open(new Path("/test.txt"));  
2.         in.seek(6);//定位，设置起始偏移量  
3.         FileOutputStream out=new FileOutputStream("c:/test.seg.txt");  
4.         IOUtils.copyBytes(in, out, new Configuration());  
5.         IOUtils.closeStream(in);  
6.         IOUtils.closeStream(out);  
7.         fs.close(); 

19. 判断是否为目录

fs.isDirectory(path)