Hadoop学习---第二篇搭建Hadoop开发环境

Hadoop集群搭建好了，我们就可以开发了，那么就涉及到Hadoop开发环境的搭建。

       Hadoop最好是在Linux系统上的Eclipse里开发，这就能省好多麻烦事。在Linux的Eclipse里开发就只需导入Hadoop的jar包就行，jar包需要哪些根据自己的开发需求而定，不清楚那就导入所有的jar包。因为我们大部分人都习惯了在windows里开发，所以在windows搭建Hadoop开发环境是有必要的，今天就记录一下windows搭建Hadoop开发环境注意事项。

      1、 解压Hadoop包到windows的一个文件，我的解压出来是在E:\Study\hadoop-2.4.1

       2、配置Hadoop的环境变量，在path里追加  ";E:\Study\hadoop-2.4.1\bin" 内容

       3、修改windows里ip地址和Linux系统上的主机名映射关系，修改路径是C:\Windows\System32\drivers\etc里的hosts文件，修改hosts文件需要有admin权限，修改内容如下：192.168.146.181 hadoop-server1  ，说明：上面分别是我集群的一台机器IP和对应的机器的主机名，配置好可以通过cmd测试ping hadoop-server1，能ping通就通讯OK了

       4、把E:\Study\hadoop-2.4.1里的bin和lib文件里的内容替换掉，我把我用的windows7-64bit-hadoop本地库上传到我的csdn，如果没有适合自己环境的在网上找这两个文件夹里的东西，或者自己编译也行，下载链接：http://download.csdn.net/detail/zxl333/8749349

       5、把hadoop的jar包导入到工程里进行开发，把集群上的hdfs-site.xml放置到src里面，不然默认跑的是default.xml的配置

     以下是我的本地测试代码

package cn.itcast.bigdata.hdfs;

import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Before;
import org.junit.Test;

public class HdfsTest {
private FileSystem fs = null;


@Before
public void init() throws Exception{

Configuration conf = new Configuration();
// conf.set("fs.defaultFS", "hdfs://hadoop-server01:9000/");
// fs = FileSystem.get(conf);
//说明如果windows没有配置集群机器的ip和主机名映射，那么hadoop-server1可以换成192.168.146.181
fs = FileSystem.get(URI.create("hdfs://hadoop-server1:9000/"), conf, "hadoop");
}

@Test
public void testMkdir() throws IllegalArgumentException, IOException{

fs.mkdirs(new Path("/wineclipse"));

}
}