Hadoop平台测试

如果按照教程做，步骤：

（1）对Hadoop进行格式化处理，代码：

Hadoop Namenode –format

      易错：版本问题可能导致：Hadoop 未知命令，或者没有Namenode的问题

解决：

hadoop namenode -format

（2）启动整个集群，代码：

start-all.sh

（3）运行jps查看结果，代码：

jsp

易错：运行jps之后发现没有JobTracker和TaskTracker进程

原因：Hdoop2.0.0之后已经取消了jobtracker和tasktracker，而且这两个进程已经封装到了container里面。使用YARN替代了原来的map/reduce。YARN号称是第二代map/reduce，速度比一代更快，且支持集群服务器数量更大。Hadoop 0.20.x和由其发展过来的1.0.x支持集群数量建议在3000台左右，最大支持到4000台。而hadoop 2.0和YARN宣称支持6000-10000台，CPU核心数支持200000颗。从集群数量和运算能力上说，似乎还是提高了不少的。并且加入了namenode的HA，也就是高可用。