安装Linux以及搭建Hadoop3.1.2集群（6）——伪分布式环境搭建

第七章：伪分布式环境搭建

7.1.1 虚拟机准备

	主机
主机名	hadoop100
IP地址	192.168.153.100
安装软件	JDK1.8、Hadoop3.1.2
环境变量	全部配置

7.1.2 伪分布式部署需要修改以下文件

• 配置hadoop，hadoop的配置文件路径在：

	cd /home/software/hadoop-3.1.2/etc/hadoop

1. hadoop-env.sh
   更改JDK环境变量和HADOOP的安装目录：

export JAVA_HOME=/opt/module/jdk1.8.0_144
export HADOOP_CONF_DIR=/opt/module/jdk3.1.2/etc/hadoop

2. core-site.xml

<configuration>
	<!--用来指定HDFS的Leader-namenode的地址-->
	<property>
		<name>fs.default.name</name>
		<value>hdfs://hadoop100:9000</value>
	</property>
	<!--用来表明hadoop运行时所产生的文件的存放目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/software/hadoop-3.1.2/tmp</value>
	</property>
</configuration>

3. hdfs-site.xml

<configuration>
	<!--指定HDFS保存的副本数量,所以1即可-->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<!--设置hdfs的操作权限，false表示任何用户都可以在hdfs上进行操作-->
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
</configuration>

4. mapred-site.xml

<configuration>
	<!--指定MapReduce运行在Yarn上面-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

5. yarn-site.xml

<configuration>
	<!--指定Yarn的Boss，ResourceManager地址-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop100</value>
	</property>
	<!-- NodeManager获取数据的方式-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

6. vim slaves

hadoop100

7. 格式化namenode

hadoop namenode -format

8. 启动hadoop

start-all.sh

9. 查看启动JPS

[zhangyong@hadoop100 ~]$ jps
2018 ResourceManager
1590 NameNode
2902 Jps
2108 NodeManager
1678 DataNode
1871 SecondaryNameNode

10. 网页查看：IP:50070