Hadoop2.4.1集群启动DataNode 不能正常启动

在haodop2.4.1集群启动的时候出现以下问题：

java.io.IOException: Incompatible clusterIDs in /home/hadoop/dfs/data: namenode clusterID = CID-317769c7-7930-44dc-9721-fa9fd102f28e; datanode clusterID = CID-59d756ba-3ecf-4443-ab6c-546ff82a8b68

at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:477)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:226)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:254)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:974)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:945)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:278)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:220)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:816)
at java.lang.Thread.run(Thread.java:745)
2014-07-26 10:14:41,152 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool <registering> (Datanode Uuid unassigned) service to n1.hadoop/192.168.2.1:8020
2014-07-26 10:14:41,253 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool <registering> (Datanode Uuid unassigned)
2014-07-26 10:14:43,253 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2014-07-26 10:14:43,255 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0
2014-07-26 10:14:43,257 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at d1.hadoop/192.168.2.1

************************************************************/

solution1:

1. stop the full cluster

2. 删除出现问题的datanode上的 dfs.namenode.data.dir/tmp/hadoop− {user}, 此变量是在$HADOOP_CONF_DIR/下的hdfs-site.xml里定义的。

3. 重新格式化namenode, 此后所有在hdfs上的数据都将被擦除！（如果是生产环境这样是觉得不可行）

4. restart the cluster

solution2 手动更新clusterID(旧的版本对应更新namespaceID(MRV1))

1. 在namenode上， ${dfs.namenode.name.dir}/current/VERSION 里找到clusterID  ( ${dfs.namenode.name.dir}在hdfs-site.xml里定义， 下同 ）

2. 在出问题的datanode上， ${dfs.namenode.data.dir}/current/VERSION 里找到clusterID, 用步骤1中得到的clusterID覆盖之。

3. 在问题节点上重启datanode.

所以第二种方法是最优先，也是实际可行的。

一定要记住： 出问题的datanode上，${dfs.namenode.name.dir}/current/VERSION 对应的clusterID一定不能更改，不然以前的所以数据会丢失。