DataNode之DirectoryScanner分析

DirectoryScanner的作用就是定期扫描磁盘上的数据块，检查磁盘数据块信息是否和FsDataSetImpl的数据块信息一致，如果不一致则进行更新，他只会检查内存和磁盘上FINALIZED状态的数据块是否一致
比较核心的字段：

异步收集磁盘上数据块信息的线程池

privatefinal ExecutorServicereportCompileThreadPool;

主线程，定期调用run方法，执行整个扫描逻辑

privatefinal ScheduledExecutorServicemasterThread;

描述磁盘上保存的数据块信息和内存之间差异，在扫描过程中更新，扫描结束后，把diffs更新到FsDatasetImpl

final ScanInfoPerBlockPooldiffs = newScanInfoPerBlockPool();

 

voidstart() {

    shouldRun = true;

    long offset = DFSUtil.getRandom().nextInt((int) (scanPeriodMsecs/1000L)) * 1000L; //msec

    long firstScanTime = Time.now() +offset;

    //定期调用这个线程类,然后执行这个类的run方法

    masterThread.scheduleAtFixedRate(this,offset, scanPeriodMsecs,

                                     TimeUnit.MILLISECONDS);

  }

  public voidrun() {

       //......

       reconcile();

       //......

  }

 

  /**

   *调节磁盘上和内存上数据块的不同

   */

voidreconcile() throws IOException {

//在磁盘和内存的blocks扫描不同，只是扫描那些FINALIZED标记的数据块

    scan();

    for (Entry<String, LinkedList<ScanInfo>>entry : diffs.entrySet()) {

      Stringbpid = entry.getKey();

      //遍历差异信息

      LinkedList<ScanInfo>diff = entry.getValue();

      //更新FsDataset保存的数据块

      for (ScanInfo info :diff) {

       dataset.checkAndUpdate(bpid,info.getBlockId(),info.getBlockFile(),

           info.getMetaFile(),info.getVolume());

      }

    }

    if (!retainDiffs)clear();

  }