一、 读文件
操作步骤:
1.连接HDFS系统
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://hadoop.skedu.com:9000");
2.获得文件系统
FileSystem fileSystem = FileSystem.get(configuration);
3.指定文件路径对象
String filePath = "/user/root/mapreduce/wordcount/input/my.input"
Path readPath = new Path(filePath);
4.获得输入流对象
//open()方法为打开文件流
FSDataInputStream inputStream = fileSystem.open(readPath);
5.输出文件信息
try{
IOUtils.copyBytes(inputStream,System.out,4096,false);
}catch (Exception e){
e.printStackTrace();
}finally {
IOUtils.closeStream(inputStream);
}
结果如下:
二、 写文件
在进行写操作的时候,涉及到写权限Hadoop的HDFS会进行安全检测,为了避免 没有写权限而失败,我们暂时将它关闭。
配置 etc/hadoop/hdfs-site.xml文件:
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
操作步骤:
1.连接HDFS系统
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://hadoop.skedu.com:9000");
2.获得文件系统对象
FileSystem fileSystem = FileSystem.get(configuration);
3.准备本地文件
String localFilePath =
HdfsDemo.class.getClassLoader().getResource("my.log").getPath();
FileInputStream inputStream = new FileInputStream(new File(localFilePath));
4.准备Put文件路径
String hdfsDirPath = "/user/root/mapreduce/wordcount/wcinput/my.log";
Path path = new Path(hdfsDirPath);
5.获得输入流对象
FSDataOutputStream outputStream = fileSystem.create(path);
6.put写入
try{
IOUtils.copyBytes(inputStream,outputStream,4096,false);
}catch (Exception e){
e.printStackTrace();
}finally {
IOUtils.closeStream(inputStream);
IOUtils.closeStream(outputStream);
}