Hadoop-启动集群

启动集群

配置相关注意事项：

1. NameNode和SecondaryNameNode不要放在同一个物理机上，比较消耗内存
2. ResourceManager是消耗内存，不要和NameNode、SecondaryNameNode放在同一个物理机上

如果三台机器，可参考以下配置：

	hadoop1	hadoop2	hadoop3
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
Yarn	NodeManager	ResourceManager NodeManager	NodeManager

hadoop 配置文件分为：默认配置文件、自定义配置文件：

默认配置文件：
core-default.xml 、hdfs-default.xml、yarn-default.xml、mapred-default.xml，在在hadoop安装路径/share/hadoop下的/common/hadoop-common-3.1.4.jar、/hdfs/hadoop-hdfs-3.1.4.jar、/yarn/hadoop-yarn-common-3.1.4.jar、/mapreduce/hadoop-mapreduce-client-core-3.1.4.jar

自定义配置文件：
core-site.xml 、hdfs-site.xml、yarn-site.xml、mapred-site.xml，在hadoop安装路径/etc/hadoop下

1. 自定义配置集群

1. core-site.xml

<!--指定NameNode的地址-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:8020</value>
</property>

<!--指定hadoop的存储目录,如不存在自动创建-->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/module/hadoop-3.1.4/data</value> 
</property>

<!--配置HDFS网页登录为静态用户，可操作网页-->
<property>
  <name>hadoop.http.staticuser.user