hadoop-0.23编译

Hadoop-0.23.0 eclipse环境搭建

by  老刘  posted on  OCTOBER 2, 2011

主要参考 https://wiki.apache.org/hadoop/EclipseEnvironment

这里考虑0.23版本

svn co http://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.23/

相关介绍：http://www.hortonworks.com/update-on-apache-hadoop-0-23/
文档位置：http://hadoop.apache.org/common/docs/r0.23.0/index.html

Linux

1）注意编译的时候，maven的版本要3.*.*，java要1.6
2）maven最好从官网下载安装
3）protobuf需要提前安装好，并且

?

1	export LD_LIBRARY_PATH=/usr/local/lib

yarn编译需要
4）按照common，hdfs，mapred和yarn的顺序编译

?

1	mvn clean install package -DskipTests

5）编译mapred和yarn的时候，

?

1	mvn clean install assembly:assembly -DskipTests -P-cbuild

> > That means you don't have the autotool chain necessary for build the
> > native code.
> >
> > For now pass -P-cbuild to skip them.

5）最后mvn eclipse:eclipse生成.classpath和.project文件

Windows下
1）同样需要安装maven，java，ant；
2）下载protobuf的可运行程序，并配置到环境变量；
3）在hadoop-mapreduce-project，ant eclipse