window 下安装Hadoop2.7.2教程

本文详细介绍了在Windows上安装Hadoop2.7.2的全过程,包括下载Hadoop文件,解决Hadoop.dll和winutils.exe问题,配置Hadoop环境变量,处理因JDK路径含有空格导致的错误,以及配置hadoop/etc/hadoop下的核心配置文件,如core-site.xml、hdfs-site.xml等。最后,通过执行hdfs namenode -format进行格式化,启动start-dfs和start-yarn服务,并提供了访问Hadoop Web界面的URL。
部署运行你感兴趣的模型镜像

window 下安装Hadoop2.7.2教程
安装Hadoop首先确保自己本地安装的jdk以及配置好了jdk的环境变量
首先在Hadoop官网下载Hadoop的文件,下载地址:
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
选择hadoop-2.7.2.tar.gz 下载完成之后解压,在window上面安装还需要下载Hadoop.dll文件和winutils.exe文件,下载地址:https://github.com/sardetushar/hadooponwindows/tree/master/bin,选中文件进去点击右边下载即可,下载成功之后将下载的两个文件拷贝到自己本地的Hadoop文件的bin目录下面。
上述工作都完成之后,我们开始配置Hadoop的环境变量,像配置Java环境变量一样,新建系统环境变量,变量名 HADOOP_HOME 变量值 D:\hadoop-2.7.2\hadoop-2.7.2 这里一定选择自己Hadoop的安装路径,我自己的安装在D盘下面,HADOOP_HOME配置成功之后再编辑path路径的值,在最后面加上 ;%HADOOP_HOME%\bin; 一定不能少了分号;配置成功之后全部确认。
然后我们测试安装是否成功,进入到Hadoop的bin目录下面,运行命令hadoop version 成功的会出现这里写图片描述
不成功的会出现一个这样的错误
这里写图片描述
不要着急,这里并不是我们上面配置的错误,而是我们在安装jdk,指定jdk的路径的时候window的路径出现空格的问题,在Hadoop里面不识别空格造成的,这里我们只需修改jdk环境变量的java_home的变量值即可,在这里我们将原有的带有空格的部分换成 C:\PROGRA~1 即可,jdk的安装就不多说了,这里一定要是自己本地的jdk安装路径,此时我们再次在bin目录下面输入命令hadoop version 就会出现上面成功的部分。
环境变量配置成功之后我们要配置Hadoop的基本文件配置:hadoop配置文件位于:hadoop/etc/hadoop下:core-site.xml / hdfs-site.xml / mapred-site.xml / yarn-site.xml
core-site.xml:

<configuration>  
   <property>  
       <name>fs.defaultFS</name>  
       <value>hdfs://localhost:9000</value>  
   </property>  
</configuration>  

hdfs-site.xml:

<configuration>  
       <property>             
         <name>dfs.replication</name> 
         <value>1</value>  
       </property>  
       <property>              
       <name>dfs.namenode.name.dir</name>                                 <value>file:/hadoop/hadoop272/data/dfs/namenode</value>  
       </property> 
       <property>             
       <name>dfs.datanode.data.dir</name>                <value>file:/hadoop/hadoop272/data/dfs/datanode</value>  
       </property>  
</configuration>  

mapred-site.xml:

<configuration>  

       <property>  

          <name>mapreduce.framework.name</name>  

          <value>yarn</value>  

       </property>  

</configuration>  

yarn-site.xml:  

<configuration>  

       <property>  

          <name>yarn.nodemanager.aux-services</name>  

          <value>mapreduce_shuffle</value>  

       </property>  

       <property>  

          <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  

          <value>org.apache.hadoop.mapred.ShuffleHandler</value>  

       </property>  

</configuration> 

格式化系统文件:

hadoop/bin下执行 hdfs namenode -format

待执行完毕即可,不要重复format。
格式化完成后到hadoop/sbin下执行 start-dfs启动hadoop

访问:http://localhost:50070
这里写图片描述
在hadoop/sbin下启动start-yarn,访问http://localhost:8088可查看 资源、节点管理
这里写图片描述

第一次搭建Hadoop环境,一切皆上网查找,不对的地方欢迎指正。
参考链接:http://blog.csdn.net/fly_leopard/article/details/51250443

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型,相比 3.0 版本,它提升了图像质量、运行速度和硬件效率

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值