hadoop启动及使用

一.开启Hadoop

开启Hadoop命令，进入Hadoop的安装目录，

执行./start-all.sh

正常状态下的JPS

都出来了，并不代表所有节点全起来了，当怎么都有问题时，可以看一下集群的日志信息，看有没有报错

单独启动某个节点， 集群中缺一个都无法正常工作！

sbin/start-all.sh 该命令会把整个集群进行启动，但是如果有一个节点的某个进程挂了。一个 NameNode 进程挂了，一个 DataNode 进行挂了

 

单独启动一个 namenode 进程 nohup bin/hdfsnamenode&

单独启动的两个问题

1.占用控制台

解决：后台启动，让出控制台

2.单独启动会进入安全模式，不让直行命令

解决：1.等他自己退出安全模式

2.用命令主动退出

bin/hdfs dfsadmin -safemode get --获取安全模式

bin/hdfs dfsadmin -safemode leave --离开安全模式

DFSAdmin命令

'bin/hadoop dfsadmin' 命令支持一些和HDFS管理相关的操作。bin/hadoop dfsadmin -help 命令能列出所有当前支持的命令。比如：

• -report：报告HDFS的基本统计信息。有些信息也可以在NameNode Web服务首页看到。
• -safemode：虽然通常并不需要，但是管理员的确可以手动让NameNode进入或离开安全模式。
• -finalizeUpgrade：删除上一次升级时制作的集群备份。

安全模式

NameNode启动时会从fsimage和edits日志文件中装载文件系统的状态信息，接着它等待各个DataNode向它报告它们各自的数据块状态，这样，NameNode就不会过早地开始复制数据块，即使在副本充足的情况下。这个阶段，NameNode处于安全模式下。NameNode的安全模式本质上是HDFS集群的一种只读模式，此时集群不允许任何对文件系统或者数据块修改的操作。通常NameNode会在开始阶段自动地退出安全模式。如果需要，你也可以通过'bin/hadoop dfsadmin -safemode'命令显式地将HDFS置于安全模式。NameNode首页会显示当前是否处于安全模式。关于安全模式的更多介绍和配置信息请参考JavaDoc： setSafeMode()。

二.网页查看

Web接口

NameNode和DataNode各自启动了一个内置的Web服务器，显示了集群当前的基本状态和信息。在默认配置下NameNode的首页地址是http://namenode-name:50070/。这个页面列出了集群里的所有DataNode和集群的基本状态。这个Web接口也可以用来浏览整个文件系统（使用NameNode首页上的"Browse the file system"链接）。

HDFS又一个网页 这里可以查看一些信息 http://192.168.177.130:50070/

启动中的错误信息会以日志打印到日志文件中。

浏览HDFS文件系统

1.hadoop 存放日志信息的目录，

如果jps出现某个节点出现问题，那就查看logs中的日志信息，看是防火墙还是啥问题

下图是logs的目录

下图是日志

也可以去网页查看日志信息