Hadoop2.2.0编译

Hadoop2.2.0编译

由于官方的hadoop只有32位的，64位系统安装就需要重新编译生成了。

操作系统 Centos 6.4 final

编译参考：http://blog.csdn.net/duheaven/article/details/16938947

1.   依赖软件

1)        hadoop-2.2.0-src.tar http://apache.fayea.com/apache-mirror/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz

2)        apache-maven-3.2.1-bin.tar http://apache.dataguru.cn/maven/maven-3/3.2.1/binaries/apache-maven-3.2.1-bin.tar.gz

3)        protobuf-2.5.0.tar.gz   http://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

4)        cmake     # yum install cmake

5)        libssl-dev  # yum install libssl-dev

6)        openssl-devel   #yum install openssl-devel

7)        其他依赖库，如gcc等等在之前安装mesos的时候已经都安装好了，额外还需要什么依赖库了

1.1 安装maven

下载apache-maven-3.1.1-bin.tar.gz  

（下载地址   http://maven.apache.org/download.cgi）

 

并解压   tar zxvf apache-maven-3.1.1-bin.tar.gz  

 

mv  apache-maven-3.1.1 maven   (改名)

注意一下maven存放路径，可以自定义路径

 

添加变量：以root用户 vi  /etc/profile

根据自己路径在最后添加以下两行

 exportMAVEN_HOME=/home/hadoop/maven 

 exportPATH=$PATH:$MAVEN_HOME/bin   

 

添加之后执行sourc  /etc/profile 重新加载

1.2 安装protobuf

下载：http://code.google.com/p/protobuf/downloads/detail?name=protobuf-2.5.0.tar.gz

解压，设置属主为 root  chowd  -R  root.root protobuf-2.5.0

编译安装protobuf

①　cd  protobuf-2.5.0  

②　./configure

③　make

④　make install

检测  protoc --version

2.   修改配置

<源码根目录>/hadoop-common-project/hadoop-auth/pom.xml

找到：

<dependency>

     <groupId>org.mortbay.jetty</groupId>

     <artifactId>jetty</artifactId>

     <scope>test</scope>

</dependency>

在这之后添加：

<dependency>

     <groupId>org.mortbay.jetty</groupId>

     <artifactId>jetty-util</artifactId>

     <scope>test</scope>

</dependency>

3.   执行编译

# mvn clean package -Pdist,native-DskipTests -Dtar -e –X

-e -X 参数是输出错误信息用的

编译的时候，一般会有网络连接不上的错误，重新执行命令就好了，一般需要个把小时。

成功后的截图：

4.   编译好的Hadoop文件

最终我们希望获得的hadoop2.2.0文件在：

<源码根目录>/hadoop-dist/target/hadoop-2.2.0.tar.gz

接下去就是正常的配置hadoop了