eclipse开发hadooop2.2.0程序

转载地址

http://mmicky.blog.163.com/blog/static/150290154201310237543291/

1：下载hadoop2部署文件和源代码，解压缩至/app/hadoop/hadoop220和/app/hadoop/hadoop220_src。然后建立一个放置jar包的文件夹/app/hdaoop2lib，将/app/hadoop/hadoop220/share/hadoop各项目（common、hdfs、mapreduce、yarn）下的JAR包以其lib目录下的JAR包都复制到/app/hdaoop2lib

2：Eclipse设置及新增项目
A：Windows->Prefernces->Java->Build Path->User Libraries->New...增加一个hadoop2lib用户库

 B：Add External JARS..->将/app/hadoop2lib/目录中所有JAR文件加入

 
3：测试
A：新增一个java project，其中Libraries->Add Library...->User Library->hadoop2lib

B：在源码增加hadoop2samples package和WordCount class，然后将hadoop2源码包中自带的WordCount源码（/app/hadoop/hadoop220_src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples）复制过来并修改正确。
C：在hadoop2集群建立要测试数据，然后在eclipse配置Run Configurations

 D：运行

 
4：TIPS
A：在建立hadoop2lib时，最好是将common、hdfs、mapreduce、yarn都复制过来，一般的mapreduce程序都会涉及到，笔者忘了将yarn下的JAR包复制过来，运行时报错。
B：在hadoop集群缺省配置下，存取hdfs是需要权限的，如果在开发客户端使用的用户不是hadoop集群的启动用户，会报文件存取权限的错误，只需要重新配置一下hdfs-site.xml，增加下面配置：
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>