HDFS1.0源代码解析—DataNode类主要数据成员和函数

DataNode.java主要包含三个类DataNode主类、DataTransfer和BlockRecord辅助类。
一、看主类DataNode：
1、主要的数据成员 

public DatanodeProtocol namenode = null;
  public FSDatasetInterface data = null;
  public DatanodeRegistration dnRegistration = null;
  volatile boolean shouldRun = true;
  private LinkedList<Block> receivedBlockList = new LinkedList<Block>();
  /** list of blocks being recovered */
  private final Map<Block, Block> ongoingRecovery = new HashMap<Block, Block>();
  private LinkedList<String> delHints = new LinkedList<String>();
  public final static String EMPTY_DEL_HINT = "";
  AtomicInteger xmitsInProgress = new AtomicInteger();
  Daemon dataXceiverServer = null;
  ThreadGroup threadGroup = null;

 DataNodeInstrumentation myMetrics;   
 private Thread dataNodeThread = null;   public DataBlockScanner blockScanner = null;      
 public Daemon blockScannerThread = null;       
 public Server ipcServer; 

namenode ：执行NN RPC调用的对象。
data ：DN上管理存储数据结构的对象，对于FSDataset后面会继续讨论。
dnRegistration ：存储NN需要的所有的DN的信息。
receivedBlockList ：记录DN接受到的数据块的链表，通过该数据结构向NN报告接收到的block的信息
ongoingRecovery：记录正在进行recovery的block
delHints ：receivedBlockList 的副本，暂时没有弄清楚使用两个相同链表的原因
myMetrics：记录DN的运行过程中的一些信息。dataNodeThread ：DN的主线程。
dataXceiverServer：DN上接受数据的线程
threadGroup ：建立一个线程组，主要管理dataXceiverServer和recoverBlocks的线程，有针对线程组的函数，方便对多个线程进行操作。
blockScanner与blockScannerThread：对DN上的block进行扫描处理，具体见BlockScanner类的介绍
ipcServer：管理不同DN之间进行数据传输
2、主要的成员函数：
private NamespaceInfo handshake() throws IOException {
从NN获取version和id的信息。

 private void register() throws IOException {  
向NN报告DN的一些元信息，包括layoutVersion、namespaceID、cTime。同时从NN获得registrationID。

 private void transferBlock( Block block,
                              DatanodeInfo xferTargets[]
                              ) throws IOException {

该函数负责在DN直接进行数据传输，首先进行检查，确保传输的数据正确后，启动一个专门的线程进行传输。该线程后边会进行专门的介绍。
  protected void notifyNamenodeReceivedBlock(Block block, String delHint) { 
函数名容易让人产生歧义，其实该函数做的只是见添加的block加入到数据结构receivedBlockList中，在后续的函数中会根据receivedBlockList决定是否通知NN。
  public void run() {   
 	while (shouldRun) {
      try {
        startDistributedUpgradeIfNeeded();
        offerService();
      } catch (Exception ex) {
        LOG.error("Exception: " + StringUtils.stringifyException(ex));
        if (shouldRun) {
          try {
            Thread.sleep(5000);
          } catch (InterruptedException ie) {
          }
        }
 该函数一直执行直到shouldRun变为false，在循环中一直调用offerService函数，在出现任何异常的情况下都最大可能的提供服务，就是不断的与NN就行交互，发送心跳、接受到block的情况等。

 public BlockRecoveryInfo startBlockRecovery(long blockId) 
该方法暂时还是没有看明白。<pre 剩余的其他方法都是简单方法，不再一一介绍。

二、辅助类 DataTransfer

 DataTransfer是一个线程类，负责进行DN之间的数据传输。主要流程跟client与DN之间的传输类似，先建立连接，发送元信息（需要发送到几个DN等等），最后发送数据内容。
 三、辅助类BlockRecord
该类的作用只是定义一种数据类型，用于blockrecovery，好吧这个过程我还没有搞清楚。至此整个DataNode类终于纠结完了，虽然还有一些地方不清楚，欢迎大家讨论。