hadoop 2.6 采用 谷歌protocol buffer作为通信协议,但是protocol buffer 相对于Thrift ,需要自己实现一套底层通信框架。
hadoop Server类及其相关类,采用java NIO 及 多reactor 模式事件驱动I/O模型,外加多线程,实现了服务端高并发通信,构建了强有力的分布式基础设施。
今天剖析下其代码实现。
多reactor
java NIO 服务端 reactor 模式实现的关键是 Selector 类对象,Selector 监控需要观察的事件,并返回就绪的 Set < SelectionKey>,然后进行处理。
hadoop 为提高效率,使用了三类reactor :
1、用于监听连接的 selector (一个)
2、用于监听读事件的 readSelector (每个reader 线程一个)
3、用于监听写事件的 writeSelector (一个)
多线程
服务端所用的线程池并非是ExecutorService,而是构造的线程数组
如Reader 线程
for (int i = 0; i < readThreads; i++) {
Reader reader = new Reader(
"Socket Reader #" + (i + 1) + " for port " + port);
readers[i] = reader;
reader.start();
}
服务端使用了四组线程
Listener:
单个线程,用于监听连接,持有selector ,然后从 Reader[]线程组内挑选一个线程接受监听好的SelectionKey
Reader[]:
reader 线程组负责读取连接上的读请求,并传递给 Handler线程组,每个线程持有一个readSelector
Handler[]:
hander 线程组负责处理请求并返回响应,未能成功返回的响应交Responder
Responder:
持有一个writeSelector,监听写事件
线程之间的通信
reader hander ,这两个线程组,通过callQueue进行数据交互,callQueue是两个线程类的外部类Server类的成员
//外部类 Server类的成员
CallQueueManager< Call > callQueue