HDFS结构介绍
HDFS是Hadoop提供的基于分布式的文件存储系统。全称为Hadoop Distributed File System。主要由NameNode、DataNode两类节点构成。其中NameNode节点的主要功能是管理系统的元数据,负责管理文件系统的命令空间,记录文件数据块在DataNode节点上的位置和副本信息,协调客户端对文件系统的访问,以及记录命名空间的改动和本身属性的变动。DataNode节点的主要功能就是负责节点所在物理节点上的存储管理。HDFS结构示意图
HDFS文件系统介绍
Hadoop提供的操作HDFS的api接口是以FileSystem为基础的,在该类中提供一系列操作文件的方法,比如:文件上传copyFromLocalFile方法,创建文件create方法,删除文件delete方法等。该类的全称为org.apache.hadoop.fs.FileSystem。主要的子类有:DistributedFileSystem, WebHdfsFileSystem等。
通过FileSystem访问远程集群一般情况下需要给定配置信息,Hadoop通过自定义的Configuration类来给定hadoop相关的连接信息。Configuration采用延迟加载的模式来加载配置信息,加载顺序是按照代码顺序加载,但是如果在代码中强制指定的话,那么会覆盖文件中的加载。Java API介绍
官方API文档:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.6.0/api/index.html
1.HDFS创建空文件夹
方法:createNewFile
参数:
f:指定要创建文件的路径,可以为相对路径。
返回值:如果创建成功返回true。否则返回false。
import java.io.BufferedWriter;
import java.io.IOException;
import java.io.OutputStreamWriter;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import junit.framework.TestCase;
public class TestCreate extends TestCase{
/**
* 创建目录与文件,写入数据
* @throws IOException
*/
@Test
public void test1() throws IOException{
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.83.189:9000");
FileSystem fs = FileSystem.get(conf);
FSDataOutputStream dos = fs.create(new Path("/edu/api/1.txt"));
BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(dos));
bw.write("HDFS学习实例");
bw.newLine();
bw.write("hadoop离线数据分析");
bw.close();
dos.close();
fs.close();
}
@Test
public void test2() throws IOException{
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.83.189:9000");
FileSystem fs = FileSystem.get(conf);
BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(fs.create(new Path("/edu/api/2.txt"), (short)1)));
bw.write("测试数据");
bw.close();
fs.close();
}
}
2.HDFS写文件
方法:append
参数:
f:指定要写出文件的路径,可以为相对路径。
bufferSize: 缓冲区大小
返回值:如果创建成功获得FSDataOutputStream输出流,否则出现异常信息。
3.HDFS创建文件并输出文件内容
方法:create
参数:
f:指定要创建文件的路径,可以为相对路径。
permission:指定文件权限,默认为644(rw-r–r–)。
overwrite: 是否覆盖,默认覆盖。
bufferSize: 进行写过程中缓存区大小,默认4096。
replication: 备份个数,默认3。
blockSize: 块大小,默认128MB。
progress: 进程通知对象,默认为空。
返回值:如果创建成功,返回FSDataOutputStream对象;否则出现异常信息。
4.HDFS读文件内容
方法:open
参数:
f:指定要读取的文件路径,可以为相对路径。
bufferSize: 缓冲区大小。
返回值:如果创建成功获得FSDataInputStream输出流,否则出现异常信息。
5.HDFS创建文件夹
方法:mkdirs
参数:
f:指定要创建的文件夹路径,可以为相对路径。
permission: 指定创建文件的权限,默认755。
返回值:如果创建成功则返回true;否则返回false
6.HDFS上传文件
方法:copyFromLocal
参数:
delSrc:是否删除本地文件,默认true。
overwrite:当目标文件存在的时候,是否覆盖,默认true。
srcs/src:本地文件,可以指定为数组或者单个文件。
dst:集群存储文件。
返回值:无,如果操作失败,会产生异常信息。
其他类似方法:
moveFromLocal从本地移动文件到集群上。
copyToLocal从集群上复制文件到本地。
moveToLocal从集群上移动文件到本地。
7.HDFS删除文件
方法:delete
参数:
f:要删除的文件路径,可以为绝对路径。
recursive:是否进行递归删除,默认为true。
返回值:如果文件不存在,则返回false。如果指定recursive为false,而且要删除的文件夹不为空,那么抛出异常,如果删除成功返回true。
其他删除方法:
deleteOnExit: 如果存在则返回true,并标记删除,如果不存在,则返回false。
测试代码:
HDFS上下文配置信息初始化类:HdfsUtil
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
public class HdfsUtil {
public static Configuration getCofiguration() {
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.83.189:9000");
return conf;
}
public static FileSystem getFileSystem() throws IOException {
return getFileSystem(getCofiguration());
}
public static FileSystem getFileSystem(Configuration conf) throws IOException {
return FileSystem.get(conf);
}
}
Junit测试类:
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import com.bf.hadoop.hdfs.util.HdfsUtil;
import junit.framework.TestCase;
public class HdfsApiDemo extends TestCase {
/**
* 创建目录
*
* @throws Exception
*/
@Test
public void testMkdir() throws Exception {
FileSystem fs = HdfsUtil.getFileSystem();
boolean mkdirsed = fs.mkdirs(new Path("/edu/api/mkdirs"));
System.out.println(mkdirsed);
fs.close();
}
/**
* 从本地复制到HDFS相应目录
*
* @throws Exception
*/
@Test
public void testCopyFromLocal() throws Exception {
FileSystem fs = HdfsUtil.getFileSystem();
fs.copyFromLocalFile(new Path("F:/data/1.txt"), new Path("/edu/api/3.txt"));
fs.close();
}
/**
* 从HDFS下载到本地
*
* @throws Exception
*/
@Test
public void testCopyToLocal() throws Exception {
FileSystem fs = HdfsUtil.getFileSystem();
fs.copyToLocalFile(new Path("/edu/api/2.txt"), new Path("F:/data/5.txt"));
fs.close();
}
/**
* 追加数据
*
* @throws Exception
*/
@Test
public void testAppend() throws Exception {
FileSystem fs = HdfsUtil.getFileSystem();
Path path = new Path("/edu/api/2.txt");
FSDataOutputStream dos = fs.append(path);
dos.write("追加的数据".getBytes());
dos.close();
fs.close();
}
/**
* 获得文件或者目录的状态
*
* @throws Exception
*/
@Test
public void testGetFileStatus() throws Exception {
FileSystem fs = HdfsUtil.getFileSystem();
FileStatus status = fs.getFileStatus(new Path("/edu/api/1.txt"));
System.out.println(status.isDirectory() ? "是文件夹" : "是文件");
System.out.println("提交时间:" + status.getAccessTime());
System.out.println("复制因子:" + status.getReplication());
System.out.println("长度:" + status.getLen());
System.out.println("最后修改时间:" + status.getModificationTime());
fs.close();
}
/**
* 打开文件读取数据
*
* @throws Exception
*/
@Test
public void testOpen() throws Exception {
FileSystem fs = HdfsUtil.getFileSystem();
InputStream is = fs.open(new Path("/edu/api/1.txt"));
BufferedReader br = new BufferedReader(new InputStreamReader(is));
String line = null;
while ((line = br.readLine()) != null) {
System.out.println(line);
}
br.close();
is.close();
fs.close();
}
@Test
public void testDel() throws Exception, IOException {
FileSystem fs = HdfsUtil.getFileSystem();
boolean deleted = fs.delete(new Path("/edu/api/3.txt"), true);
// boolean deleted = fs.delete(new
// Path("/beifeng/api/createNewFile1.txt"), true);
System.out.println("Delete方法删除" + deleted);
deleted = fs.deleteOnExit(new Path("/edu/api/4.txt"));
// deleted = fs.deleteOnExit(new Path("/beifeng/api/3.txt"));
System.out.println("DeleteOnExit方法删除:" + deleted);
System.in.read();
fs.close();
}
}
以上为hdfs javaAPI基本操作介绍!