window10 部署 Hadoop3.0.0

最新推荐文章于 2024-08-31 21:19:14 发布
最新推荐文章于 2024-08-31 21:19:14 发布
阅读量493 收藏 2
点赞数 2
分类专栏： 大数据 hadoop 文章标签： windows 10 hadoop hdfs java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zuoyushuo/article/details/113375077
版权

求金赞，关注必互

方案亲测可用，附常见异常处理

1. 下载包

1.1. 下载hadoop地址：http://archive.apache.org/dist/hadoop/core/hadoop-3.0.0/ 

 1.2. 下载winutils地址：https://github.com/steveloughran/winutils

2. 解压包

使用管理员权限解压hadoop-3.0.0.tar.gz到目录D:\hadoop

解压winutils-master.zip到目录D:\hadoop

3. 配置环境

配置HADOOP_HOME

配置PATH

4. 准备数据目录

可忽略，执行format时，会自动创建

创建目录：D:\hadoop\hadoop-3.0.0\data\namenode

创建目录：D:\hadoop\hadoop-3.0.0\data\datanode

5. 修改配置

5.1. 修改D:\hadoop\hadoop-3.0.0\etc\hadoop\core-site.xml

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/D:/hadoop/hadoop-3.0.0/data/tmp</value>

    </property>

    <property>

        <name>dfs.name.dir</name>

        <value>/D:/hadoop/hadoop-3.0.0/data/name</value>

    </property>

    <property>

       <name>fs.default.name</name>

       <value>hdfs://localhost:9000</value>

   </property>

</configuration>

5.2. 修改D:\hadoop\hadoop-3.0.0\etc\hadoop\hdfs-site.xml

<configuration>

    <!-- 单机版hadoop副本为1即可 -->

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

         <name>dfs.permissions</name>

         <value>false</value>

     </property>

     <!-- 注意目录分隔符"/" -->

     <property>

          <name>dfs.namenode.name.dir</name>

          <value>/D:/hadoop/hadoop-3.0.0/data/namenode</value>

     </property>

     <property>

          <name>dfs.datanode.data.dir</name>

          <value>/D:/hadoop/hadoop-3.0.0/data/datanode</value>

     </property>

     <property>

          <name>fs.checkpoint.dir</name>

          <value>/D:/hadoop/hadoop-3.0.0/data/snn</value>

     </property>

     <property>

          <name>fs.checkpoint.edits.dir</name>

          <value>/D:/hadoop/hadoop-3.0.0/data/snn</value>

          </property>

</configuration>

5.3. 修改D:\hadoop\hadoop-3.0.0\etc\hadoop\mapred-site.xml

<configuration>

   <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

   </property>

</configuration>

5.4. 修改D:\hadoop\hadoop-3.0.0\etc\hadoop\yarn-site.xml

<configuration>

    <!-- Site specific YARN configuration properties -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

</configuration>

6. 配置JAVA_HOME

修改D:\hadoop\hadoop-3.0.0\etc\hadoop\hadoop-env.cmd

set JAVA_HOME=%JAVA_HOME%

替换为

@rem set JAVA_HOME=%JAVA_HOME%

set JAVA_HOME=D:\java\jdk8_181

7. 替换bin目录

使用D:\hadoop\winutils-master\hadoop-3.0.0\bin

替换D:\hadoop\hadoop-3.0.0\bin 

8. 同步hadoop.dll

拷贝D:\hadoop\hadoop-3.0.0\bin\hadoop.dll到目录C:\Windows\System32

9. 格式化namenode

进入D:\hadoop\hadoop-3.0.0\etc\hadoop目录，shift+鼠标右键，打开Windows PowerShel执行命令：hdfs namenode -format

 

10. 启动服务

进入D:\hadoop\hadoop-3.0.0\sbin目录，shift+鼠标右键，打开Windows PowerShel执行命令： ./start-all.cmd

11. 验证服务 

11.1. 访问地址：http://127.0.0.1:8088/

11.2. 访问地址：http://localhost:9870/ 

11.3. 验证功能 

对hadoop执行文件命令，命令如下：

# hdfs dfs -mkdir /data

# hdfs dfs -ls /

 

12. 异常解决 

12.1.  缺少JAVA_HOME配置

若缺少步骤6、配置JAVA_HOME，即使配置了系统默认的JAVA_HOME环境变量也会有异常：程序默认使用32位模式，执行start-all.cmd会报异常，异常详情如下：

2021-01-28 17:23:16,522 ERROR namenode.NameNode: Failed to start namenode.

java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

        at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)

        at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:606)

        at org.apache.hadoop.fs.FileUtil.canWrite(FileUtil.java:971)

        at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:613)

        at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:573)

        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:365)

        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:221)

        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1072)

        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:704)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:665)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:727)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:950)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:929)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1653)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1720)

2021-01-28 17:23:16,547 INFO util.ExitUtil: Exiting with status 1: java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

2021-01-28 17:23:16,550 INFO namenode.NameNode: SHUTDOWN_MSG:

 12.1.1. 解决方案 

 按6、配置JAVA_HOME指定JDK目录，删除数据目录D:\hadoop\hadoop-3.0.0\data，重新依次执行命令：hdfs namenode -format、./start-all.cmd。

 12.1.2. 异常重现 

 配置前，start-all.cmd启动失败，VM type = 32-bit

第一步执行命令：hdfs namenode -format

 

第二步执行命令：./start-all.cmd

配置后，启动成功，VM type = 64-bit

第一步执行命令：hdfs namenode -format

 

第二步执行命令：./start-all.cmd

12.2.  反复format namenode

若多次执行hdfs namenode -format在执行./start-all.cmd启动hadoop服务时会出现以下异常：

2021-01-29 11:17:26,489 WARN common.Storage: Failed to add storage directory [DISK]file:/D:/hadoop/hadoop-3.0.0/data/datanode

java.io.IOException: Incompatible clusterIDs in D:\hadoop\hadoop-3.0.0\data\datanode: namenode clusterID = CID-8d357e36-84d8-4826-88de-46eed7496841; datanode clusterID = CID-ea42610f-00fc-438a-9a85-180620d5c556

        at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:722)

        at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadStorageDirectory(DataStorage.java:286)

        at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadDataStorage(DataStorage.java:399)

        at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:379)

        at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:544)

        at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1690)

        at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1650)

        at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:376)

        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:280)

        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:816)

        at java.lang.Thread.run(Thread.java:748)

2021-01-29 11:17:26,494 ERROR datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid 4b462ddc-e84c-4582-bd64-eb056507837e) service to localhost/127.0.0.1:9000. Exiting.

java.io.IOException: All specified directories have failed to load.

        at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:545)

        at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1690)

        at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1650)

        at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:376)

        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:280)

        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:816)

        at java.lang.Thread.run(Thread.java:748)

2021-01-29 11:17:26,500 WARN datanode.DataNode: Ending block pool service for: Block pool <registering> (Datanode Uuid 4b462ddc-e84c-4582-bd64-eb056507837e) service to localhost/127.0.0.1:9000

2021-01-29 11:17:26,602 INFO datanode.DataNode: Removed Block pool <registering> (Datanode Uuid 4b462ddc-e84c-4582-bd64-eb056507837e)

2021-01-29 11:17:28,603 WARN datanode.DataNode: Exiting Datanode

2021-01-29 11:17:28,609 INFO datanode.DataNode: SHUTDOWN_MSG:

12.2.1.解决方案   

删除数据目录D:\hadoop\hadoop-3.0.0\data，重新依次执行命令：hdfs namenode -format、./start-all.cmd。

 12.2.2. 异常重现  

     12.2.2.1. 重复执行命令：hdfs namenode -format

     12.2.2.2. 启动hadoop服务：./start-all.cmd

目录

1. 下载包

2. 解压包

3. 配置环境

4. 准备数据目录

5. 修改配置

5.1. 修改D:\hadoop\hadoop-3.0.0\etc\hadoop\core-site.xml

5.2. 修改D:\hadoop\hadoop-3.0.0\etc\hadoop\hdfs-site.xml

5.3. 修改D:\hadoop\hadoop-3.0.0\etc\hadoop\mapred-site.xml

5.4. 修改D:\hadoop\hadoop-3.0.0\etc\hadoop\yarn-site.xml

6. 配置JAVA_HOME

7. 替换bin目录

8. 同步hadoop.dll

9. 格式化namenode

10. 启动服务

11. 验证服务 

11.1. 访问地址：http://127.0.0.1:8088/

11.2. 访问地址：http://localhost:9870/ 

11.3. 验证功能 

12. 异常解决 

12.1.  缺少JAVA_HOME配置

 12.1.1. 解决方案 

 12.1.2. 异常重现 

12.2.  反复format namenode

12.2.1.解决方案   

 12.2.2. 异常重现  

谜诺
关注
专栏目录
Window（win10）下安装Hadoop3.0.0安装步骤介绍
caopeng721210的博客
09-23 2238
本文章将详细介绍再win10下安装hadoop3.0.0得详细过程，以及安装成功后，简单得启动和使用，图文并茂。 一、准备工作 1、下载Hadoop3.0.0安装包 Hadoop安装包官网下载地址：http://hadoop.apache.org/releases.html 点进去后如下图，可以看到并没有最新是3.3.0版本，并没有3.0.0.版本的，然后点击红色框框标注的位置。进入Hadoop版本库下载3.0.0版本： 如下版本库： 选择3.0.0版本点进去，下载安装包： 二、解
hadoop-3.0.0.zip
07-19
Hadoop 3.0.0是Hadoop发展的重要版本，带来了许多改进和新特性，旨在提高性能、可扩展性和稳定性。下面将详细讨论Hadoop 3.0.0的关键知识点。 一、Hadoop的架构 Hadoop的核心组件包括Hadoop Distributed File ...
【hadoop-3.0.0版本】winutils.exe和hadoop.dll
01-22
hadoop3.0.0 windows平台需要的文件 .
hadoop-bin winutils 3.0.0，x64版本
12-28
此版本是Hadoop-3.0.0的winutils工具，直接将bin中文件覆盖即可在win下使用hadoop，此版本是在64位系统编译，win10、8、7皆可以使用，欢迎下载
windows配置hadoop环境
最新发布
qq_41444892的博客
08-31 664
windows中配置hadoop
Hadoop2.7.3 Window10 hadoop.dll winutils.exe
03-09
Window10 Eclipse下开发Hadoop2.7.3资源共享，亲测可用。
hadoop.dll+winutils.exe（hadoop-3.0.0）
03-25
hadoop-3.0.0中的hdfs.dll和winutils.exe 解决java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V
winutils.exe_hadoop-3.0.0
09-18
该版本是hadoop-3.0.0,包括winutils.exe和hadoop.dll请选择对应版本，本人测试可以使用，直接解压配置环境变量，并添加hadoop.dir.home变量即可
win安装部署hadoop3.0.0并启动上传文件到HDFS(博文相关代码)
04-27
在本文中，我们将深入探讨如何在Windows环境下安装和部署Hadoop 3.0.0，并进行基本的操作，如启动服务、上传文件到HDFS、创建目录以及运行MapReduce的WordCount示例。Hadoop是Apache基金会的一个开源项目，主要用于...
hadoop-3.0.0.rar
05-13
7. **安全认证**：Hadoop 3.0.0引入了更强大的安全特性，如Kerberos认证，这对于企业级部署来说是至关重要的。 总之，"hadoop-3.0.0.rar" 包含了在Windows系统上搭建和运行Hadoop 3.0.0集群所需的所有组件。为了...
hadoop2.7.1的版本hadoop.dll、winutils.exe（win10_x64下编译）
09-15
花了N久时间在win10_x64下编译的hadoop2.7.1版本的hadoop.dll和winutils.exe，ECLIPSE下集成开发使用，供大家下载。
hadoop-3.0.0 win工具包 hadoop.dll winutils.exe
05-21
util.Shell (Shell.java:<clinit>(694)) - Did not find winutils.exe: {} java.io.FileNotFoundException: Could not locate Hadoop executable: E:\hadoop-3.0.2\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems
hadoop.dll & winutils.exe For hadoop-3.0.0
01-30
我是搬运工，适合不方便连接外网的朋友使用，O(∩_∩)O多谢！
hadoop3.0.0-windows-bin.zip
11-11
包含winutils 注意版本 已经成功运行 之后配置环境变量 解决 Hadoop报错：Failed to locate the winutils binary in the hadoop binary path
hadoop3.0.0安装和配置
10-23
hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置
hadoop-3.0.0-alpha2-src.tar经过centos64位系统编译后native文件
03-04
现有hadoop中的natvie是32位系统生成，执行start-all.sh会有warn，如下：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable。
Hadoop-3.0.0版本Windows安装
m0_54866636的博客
08-16 1153
如果将hadoop-env.cmd中的JAVA_HOME设置为“C:Program FilesJavajdk1.8.0_192”，将会出错，因为路径中不能含有空格。winutils-masterhadoop-3.0.0in”目录下的内容拷贝到“C:Hadoopin”目录。4.进入“C:Hadoopsbin”目录运行命令“stop-dfs”，关闭HDFS分布式文件系统。在C:Hadoopdata路径下创建“datanode”子目录。**/test****，创建多级目录****-r****参数）**...
hadoop.dll winutils.exe for hadoop3.0.0
04-15
hadoop.dll 和 winutils.exe下载 for hadoop 3.0.0 版本
winutils.exe(hadoop必备文件)
12-31
压缩文件包括以下版本的winutils.exe及hadoop.dll： hadoop-2.6.3;hadoop-2.6.4;hadoop-2.7.1;hadoop-2.8.1;hadoop-2.8.3;hadoop-3.0.0
Windows10上安装Hadoop3.0.0详细步骤
"在Windows10上安装Hadoop1的步骤和配置" 在Windows系统上安装和配置Hadoop是一项相对复杂的过程，特别是因为Hadoop主要设计用于Linux环境。以下是安装Hadoop 3.0.0的详细步骤： 1. 下载Hadoop: 首先，你需要从...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值