环境变量配置:
JAVA环境变量配置:略;
Hadoop环境变量配置:
- 新建HADOOP_HOME变量 地址为C:\xxxx\hadoop-2.7.3
- PATH添加%HADOOP_HOME%/bin;
- 下载winutils相关,选择对应版本,将hadoop/bin中不包含的文件复制到bin下。winutils链接。下载对应版本的就可以,例如我用的是2.7.3,可以直接下载2.7.1的就好。然后把winutils.exe和hadoop.dll复制到hadoop的bin目录下。
- hadoop单节点配置
- idea中运行drive即可debug。
注意:
- 如果hadoop nameformat -namenode 时文件夹不是你配置文件中的文件夹,则说明配置文件读取不正确,环境变量中不需要配置HADOOP_CONF_DIR、YARN_CONF_DIR 或者
修改hadoop-env.cmd在尾部添加
set HADOOP_PREFIX=C:\hadoop-2.7.3
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set PATH=%HADOOP_PREFIX%\bin
- 系统找不到指定的批标签的错误,可能是替换了yarn文件引起,需要使用原来yarn,不能使用winutils中的