准备软件
jdk-8u102-linux-x64.tar.gz
hadoop-2.5.2.tar.gz
Centos 6.5
配置主机名
vi /etc/sysconfig/network
HOSTNAME=master
host 绑定ip
vi /etc/hosts
192.168.1.254 master
上传文件
Xshell4->Xftp 上传 jdk,hadoop 安装文件
解压文件
$ tar -xzvf jdk-8u102-linux-x64.tar.gz
$ tar -xzvf hadoop-2.5.2.tar.gz
配置环境变量 编辑文件 .bash_profile 我的用户是z你们可以按照自己的用户目录指定
vi /home/z/.bash_profile
加入下面代码
export JAVA_HOME=/home/z/App/jdk/jdk1.8.0_102
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/z/App/hadoop-2.5.2
export PATH=$HADOOP_HOME/bin:$PATH
保存 wq
source ~/.bash_profile
测试 java -version
输出版本正常
免秘钥登录
su z
输入密码
ssh-keygen -t rsa 一直回车
复制公钥文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
修改文件权限
chmod 600 ~/.ssh/authorized_keys
配置hadoop
hadoop-env.sh
core-site.xml
hdfs-site.xml
yarn-site..xml
mapred-site.xml
配置环境变量 hadoop-env.sh
转到 hadoop加压目录
cd /home/z/App/hadoop-2.5.2/etc/hadoop/
vi hadoop-env.sh
将 export JAVA_HOME=${JAVA_HOME} 替换成上面的jdk bin 目录
export JAVA_HOME=/home/z/App/jdk/jdk1.8.0_102
保存文件 :wq
配置核心组件 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/z/App/hadoopData</value>
</property>
</configuration>
保存文件 :wq
配置文件系统 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
保存文件 :wq
配置yarn-site.xml
vi yarn-site..xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
保存文件 :wq
配置mapred-site.xml
vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
Test
启动hadoop
sbin/start-all.sh
查看通过浏览器查看
master:50070
停止hadooop
sbin/stop-all.sh
hadoop fs -ls #查看目录列表
上传到HDFS文件
hadoop fs -put 本地文件 /hdfs目录
问题:
1.出现 Call to master/192.168.1.254:9000 failed on connection exception
执行一下 hadoop namenode -format
更多信息 关注 精彩黑科技
更多信息 关注 精彩黑科技