机器:ubuntu
使用hadoop2.6版本
在eclipse上进行代码编写运行测试
使用vmware建立三个虚拟机来搭建一个hadoop cluster
1、搭建hadoop cluster
//TODO
2、eclipse集成hadoop
下载hadoop2x-eclipse-plugin,使用ant编译(需要eclipse.home和hadoop.home)打包成jar包hadoop-eclipse-plugin-2.6.0.jar
将jar包复制到eclipse的插件目录,重启
在eclipse中配置hadoop安装目录window->preference->hadoop map/reduce
配置视图:window->open perspective->other->map/reduce->ok
window->show view->other->map/reduce locations->ok
配置后,控制台会出现map/reduce locations的tab页
新建hadoop locations,主要是配置mapreduce和hdfs的master(host and port)以及hadoop用户
新建一个map/reduce project,编写map/reduce 程序(例如:wordcount)配置这个程序的启动参数
hdfs://10.100.13.229:9000/input
hdfs://10.100.13.229:9000/output
一个是输入一个是输出
最后run on hadoop
注:这时候运行不成功,因为此时eclipse的运行用户不是hadoop的,我的解决方式是,修改hadoop cluster中的
hadoop.home/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
当然也可以修改hdfs的文件系统权限