HDFS读写过程

HDFS读过程：
1、初始化FileSystem，然后客户端(client)用FileSystem的open()函数打开文件。
2、FileSystem用RPC调用元数据节点，得到文件的数据块信息，对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。
3、FileSystem返回FSDataInputStream给客户端，用来读取数据，客户端调用stream的read()函数开始读取数据。
4、DFSInputStream连接保存此文件第一个数据块的最近的数据节点，data从数据节点读到客户端。
5、当此数据块读取完毕时，DFSInputStream关闭和此数据节点的连接，然后连接此文件下一个数据块的最近的数据节点。
6、当客户端读取完毕数据的时候，调用FSDataInputStream的close函数。
7、在读取数据的过程中，如果客户端与数据节点通信出现错误，则尝试连接包含此数据块的下一个数据节点。
8、失败的数据节点将被记录，以后不再连接。

HDFS写过程：
1、初始化FileSystem，客户端调用create()来创建文件
2、FileSystem用RPC调用元数据节点，在文件系统的命名空间中创建一个新的文件，元数据节点首先确定文件原本不存在，并且客户端有创建文件的权限，然后创建新文件
3、FileSystem返回DFSOutputStream，客户端用于写数据，客户端开始写数据
4、DFSOutputStream将数据分成块，写入data queue。data queue由Data Streamer读取，并且通知元数据节点分配数据节点，用来存储数据块（每块默认复制3份）。分配的数据节点放在一个pipeline里。Data Streamer将数据块写入pipeline中第一个数据节点。第一个数据节点将数据块发送给第二个数据节点。第二个数据节点将数据发送到第三个数据节点。
5、DFSOutputStream为发出去的数据块保存了ack queue，等待pipeline中的数据节点告知数据已经写入成功。
6、当客户端结束写入数据，则调用stream的close函数。此操作将所有的数据库写入pipeline中的数据节点，并等待ack queue返回成功。最后通知元数据节点写入完毕。
7、如果数据节点在写入的过程中失败，关闭pipeline，将ack queue中的数据块放入data queue的开始，当前的数据库在写入的数据节点中被元数据节点赋予新的标示，则错误节点重启后能够察觉其数据块是过时的，会被删除。失败的数据节点从pipeline中移除，另外的数据库则写入pipeline中的另外两个数据节点。元数据节点则被通知此数据块是复制块数不足，将来会再创建第三份备份。

代码：

package cn.itcast.hadoop.hdfs;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;

public class HDFSDemo {
	
	private FileSystem fs = null;
	@Before
	public void init() throws IOException, URISyntaxException, InterruptedException{
	  //首先创建FileSystem的实现类（工具类）
	   //“root”是伪装的一个root权限，不安全
		fs = FileSystem.get(new URI("hdfs://zhou:9000"), new Configuration(),"root");
	}
	@Test
	public void  testDel() throws IllegalArgumentException, IOException{
		boolean flag = fs.delete(new Path("/words.txt"), true);
		System.out.println(flag);
	}
	@Test
	public void testMkdir() throws IllegalArgumentException, IOException{
		boolean flag = fs.mkdirs(new Path("/zhou88888888"));
		System.out.println(flag);
	}
	@Test
	public void testUpload() throws IllegalArgumentException, IOException{
	//在HDFS上创建一个文件，返回输出流
		FSDataOutputStream out = fs.create(new Path("/words.txt"));
		//读取本地文件系统的文件，返回输入流
		FileInputStream in = new FileInputStream(new File("c:/w.txt"));
		//输入--》输出
		IOUtils.copyBytes(in, out, 2048, true);
	}

	public static void main(String[] args) throws IOException, URISyntaxException {
		
		FileSystem fs = FileSystem.get(new URI("hdfs://zhou:9000"), new Configuration());
		
		InputStream in = fs.open(new Path("/jdk.avi"));
		
		FileOutputStream out = new FileOutputStream(new File("c:/jdk123456"));
		
		IOUtils.copyBytes(in, out, 2048, true);

	}

}

源码分析：
针对读取文件，最重要的步骤：

 FileSystem fs = FileSystem.get(new URI("hdfs://zhou:9000"), new Configuration());

1、通过读取配置信息得到实现类
2、根据实现类发射构造实例化对象（反射的实例化对象中的很多成员变量未初始化）
3、在initialize方法中初始化。—最重要的是new DFSClient()作为成员变量
4、DFSClient构造方法中通过hadoop RPC机制得到server端代理对象
5、又对代理对象进行代理。—进行方法增强
6、将其对象作为DFSClient代理对象。

DFSClient就是server的代理对象

 InputStream in = fs.open(new Path("/jdk.avi"));

重要方法：NameNode是代理对象也是接口，定义的方法，真正的调用是服务端，getBlockLocations—真正的server调用

步骤：
FileSystem—DistributedFileSystem—DFSClient–ClientProtocol（代理对象，接口）
–实现在NameNodeRPCServer
getProxy最终是调用：由getProtocolProxy调用getProtocolEngine

注：装饰是方法增强
代理也是为方法增强—使用到动态代理