1.首先声明,我没有在windows上的eclipse上安装MapReduce插件,需要的话自己可以查找。我只是介绍如何编程。
2.在linux上安装完hadoop伪分布式或者全分布式之后,将主节点上的hadoop文件夹放置到磁盘上,如:d:/hadoop272。
下面配置windows环境:
Java JDK :我采用的是1.8的,配置JAVA_HOME,如果默认安装,会安装在C:\Program Files\Java\jdk1.8.0_51。此目录存在空格,启动hadoop时将报错,JAVA_HOME is incorrect ...此时需要将环境变量JAVA_HOME值修改为:C:\Progra~1\Java\jdk1.8.0_51,Program Files可以由Progra~1代替。
Hadoop 环境变量: 新建HADOOP_HOME,指向hadoop目录,如:D:/hadoop272。path环境变量中增加:%HADOOP_HOME%\bin;。
Hadoop 依赖库:winutils相关,hadoop在windows上运行需要winutils支持和hadoop.dll等文件,将这些文件放到hadoop272/bin下。
下载地址:http://download.csdn.NET/detail/fly_leopard/9503059
注意hadoop.dll等文件不要与hadoop冲突。为了不出现依赖性错误可以将hadoop.dll再放到c:/windows/System32下一份。
hadoop环境测试:
起一个cmd窗口,起到hadoop/bin下,hadoop version,显示如下:
注意的是由于直接拷贝的hadoop集群上的hadoop文件夹,所以配置文件已经在d盘的hadoop272中。这就省去了配置.xml。但是要配置host文件:
C盘 -> Windows -> System32 -> drives -> etc -> hosts文件
添加 192.168.1.100 zhangge(hadoop 节点的名字)