Hadoop安装手册_hadoop 安装手册-CSDN博客

本文链接：https://blog.csdn.net/znb769525443/article/details/119512858

1 安装环境

内核：3.10.0-229.el7.x86_64

操作系统：CentOS 7

ssh和sshd已经默认配置

在局域网中有三台机器用于安装：192.168.1.170，192.168.1.171，192.168.1.172，此处192.168.1.170为namenode，192.168.1.171和192.168.1.172为datanode1和datanode2。

IP地址已经配置好，三台机器互相可以通信。

2 配置Java

此处将Java配置到系统环境里面去。

首先，解压缩Java官方压缩包，并配置环境变量。

表2-1：配置Java（root用户）

tar -xzf jdk-8u45-linux-x64.gz

mv ./jdk1.8.0_45 /usr/local/java

cat <<HERE >>/etc/profile

JAVA_HOME=/usr/local/java

PATH=\$PATH:\$JAVA_HOME/bin

HERE

需要在三台机器上分别执行该配置操作。

如果需要JAVA_HOME环境变量在当前shell环境立即生效，执行如下命令即可。

表2-2：应用环境变量（root用户）

source /etc/profile

3 添加hadoop用户

分别在三台机器上添加hadoop用户，配置完成后，通过hadoop用户来使用Hadoop。

表3-1：添加hadoop用户（root用户）

useradd hadoop

passwd hadoop

4 配置主机名

4.1 配置/etc/hosts文件

在三台机器上的/etc/hosts文件末尾加入如下内容：

表4-1：修改/etc/hosts文件（root用户）

192.168.1.170 hmaster

192.168.1.171 hslave1

192.168.1.172 hslave2

4.2 配置/etc/hostname文件

将/etc/hostname文件，根据namenode，datanode1，datanode2的顺序修改为：

表4-2：修改/etc/hostname文件（root用户）

hmaster

hslave1

hslave2

修改/etc/hostname文件会在节点重启后依然生效。执行如下命令，只会在当前环境生效，重启失效。

按照同样的顺序（namenode，datanode1，datanode2）分别执行以下命令在各节点上。

表4-3：设置主机名（root用户）

hostname hmaster

hostname hslave1

hostname hslave2

5 配置ssh免密登录

首先，需要在三台机器上修改sshd的配置文件以允许使用密钥的验证方式登录。

表5-1：启用ssh密钥验证方式登录（root用户）

cp /etc/ssh/sshd_config /etc/ssh/sshd_config.backup

sed -i '1,/#RSA/s/#RSA/RSA/' /etc/ssh/sshd_config

sed -i '1,/#Pub/s/#Pub/Pub/' /etc/ssh/sshd_config

service sshd restart

需要在三台机器上分别生成private和public密钥。其中将namenode的公钥分发给namenode，datanode1和datanode2，将datanode1和datanode2的公钥分发给namenode。datanode1和datanode2互相分发公钥。

表5-2：namenode分发公钥（hadoop用户）

mkdir $HOME/namenode

echo "" | ssh-keygen -t rsa -P ''

ssh-copy-id hadoop@hmaster

ssh-copy-id hadoop@hslave1

ssh-copy-id hadoop@hslave2

表5-3：datanode1分发公钥（hadoop用户）

mkdir $HOME/datanode

echo "" | ssh-keygen -t rsa -P ''

ssh-copy-id hadoop@hmaster

ssh-copy-id hadoop@hslave2

表5-4：datanode2分发公钥（hadoop用户）

mkdir $HOME/datanode

echo "" | ssh-keygen -t rsa -P ''

ssh-copy-id hadoop@hmaster

ssh-copy-id hadoop@hslave1

配置完成之后，namenode的hadoop用户就可以免密ssh登录datanode1和datanode2了。同时，datanode1和datanode2也分别可以通过hadoop用户免密ssh登录namenode了。

6 配置Hadoop

6.1 配置环境变量

分别在三台机器上配置Hadoop。首先解压缩Hadoop官方压缩包，并为hadoop用户配置环境变量。

表6-1：配置Hadoop（root用户）

tar -xzf hadoop-2.6.0.tar.gz

mv hadoop-2.6.0 /usr/local/hadoop

chown -R hadoop:hadoop /usr/local/hadoop

表6-2：配置Hadoop环境变量（hadoop用户）

cat <<HERE >>/home/hadoop/.bashrc

HADOOP_HOME=/usr/local/hadoop

HADOOP_PREFIX=\$HADOOP_HOME

HADOOP_COMMON_HOME=\$HADOOP_HOME

HADOOP_CONF_DIR=\$HADOOP_HOME/etc/hadoop

HADOOP_HDFS_HOME=\$HADOOP_HOME

HADOOP_MAPRED_HOME=\$HADOOP_HOME

HADOOP_YARN_HOME=\$HADOOP_HOME

PATH=\$PATH:\$HADOOP_HOME/sbin:\$HADOOP_HOME/bin

HERE

如果需要hadoop相关环境变量在当前shell环境立即生效，执行如下命令即可。

表6-3：应用环境变量（hadoop用户）

source ~/.bashrc

6.2 修改hadoop-env.sh

修改hadoop默认配置文件。默认配置文件存放在$HADOOP_HOME/etc/hadoop目录下。

hadoop-env.sh（三台机器）

首先备份该文件：

表6-4：备份hadoop-env.sh（hadoop用户）

cp hadoop-env.sh hadoop-env.sh.backup

将该文件修改成如下内容：

表6-5：修改后的hadoop-env.sh

export JAVA_HOME=/usr/local/java

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}

for f in $HADOOP_HOME/contrib/capacity-scheduler/*.jar; do

if [ "$HADOOP_CLASSPATH" ]; then

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f

else

export HADOOP_CLASSPATH=$f

done

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_NAMENODE_OPTS"

export HADOOP_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS $HADOOP_DATANODE_OPTS"

export HADOOP_SECONDARYNAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_SECONDARYNAMENODE_OPTS"

export HADOOP_NFS3_OPTS="$HADOOP_NFS3_OPTS"

export HADOOP_PORTMAP_OPTS="-Xmx512m $HADOOP_PORTMAP_OPTS"

export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"

export HADOOP_SECURE_DN_USER=${HADOOP_SECURE_DN_USER}

export HADOOP_SECURE_DN_LOG_DIR=${HADOOP_LOG_DIR}/${HADOOP_HDFS_USER}

export HADOOP_PID_DIR=${HADOOP_PID_DIR}

export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}

export HADOOP_IDENT_STRING=$USER

6.3 修改hdfs-site.xml

hdfs-site.xml（三台机器）

首先备份该文件：

表6-6：备份hdfs-site.xml（hadoop用户）

cp hdfs-site.xml hdfs-site.xml.backup

将该文件修改成如下内容：

表6-7：修改后的hdfs-site.xml

<name>dfs.namenode.name.dir</name>

<value>/home/hadoop/namenode</value>

</property>

<name>dfs.permissions.superusergroup</name>

<value>hadoop</value>

</property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<name>dfs.client.block.write.replace-datanode-on-failure.policy</name>

<value>never</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.support.append</name>

</property>

<name>dfs.namenode.secondary.http-address</name>

<value>hmaster:50090</value>

</property>

<name>dfs.namenode.http-address</name>

<value>hmaster:50070</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:///home/hadoop/datanode</value>

</property>

</configuration>

6.4 修改mapred-site.xml

mapred-site.xml（三台机器）

首先生成该文件：

表6-8：备份mapred-site.xml（hadoop用户）

cp mapred-site.xml.template mapred-site.xml

将该文件修改成如下内容：

表6-9：修改后的mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

</configuration>

6.5 修改slaves

slaves（三台机器）

首先备份该文件：

表6-10：备份slaves（hadoop用户）

cp slaves slaves.backup

将该文件修改成如下内容：

表6-11：修改后的slaves

hslave1

hslave2

6.6 修改yarn-site.xml

yarn-site.xml（三台机器）

首先备份该文件：

表6-12：备份yarn-site.xml（hadoop用户）

cp yarn-site.xml yarn-site.xml.backup

将该文件修改成如下内容：

表6-13：修改后的yarn-site.xml

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>hmaster:8031</value>

</property>

<name>yarn.resourcemanager.address</name>

<value>hmaster:8032</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>hmaster:8030</value>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>hmaster:8033</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>hmaster:8088</value>

</property>

<description>Classpath for typical applications.</description>

<name>yarn.application.classpath</name>

<value> $HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,$HADOOP_YARN_HOME/share/hadoop/yarn/*,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*</value>

</property>

</configuration>