Hadoop2.2.0编译
由于官方的hadoop只有32位的,64位系统安装就需要重新编译生成了。
操作系统 Centos 6.4 final
编译参考:http://blog.csdn.net/duheaven/article/details/16938947
1. 依赖软件
1) hadoop-2.2.0-src.tar http://apache.fayea.com/apache-mirror/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz
2) apache-maven-3.2.1-bin.tar http://apache.dataguru.cn/maven/maven-3/3.2.1/binaries/apache-maven-3.2.1-bin.tar.gz
3) protobuf-2.5.0.tar.gz http://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
4) cmake # yum install cmake
5) libssl-dev # yum install libssl-dev
6) openssl-devel #yum install openssl-devel
7) 其他依赖库,如gcc等等在之前安装mesos的时候已经都安装好了,额外还需要什么依赖库了
1.1 安装maven
下载apache-maven-3.1.1-bin.tar.gz
(下载地址 http://maven.apache.org/download.cgi)
并解压 tar zxvf apache-maven-3.1.1-bin.tar.gz
mv apache-maven-3.1.1 maven (改名)
注意一下maven存放路径,可以自定义路径
添加变量:以root用户 vi /etc/profile
根据自己路径在最后添加以下两行
exportMAVEN_HOME=/home/hadoop/maven
exportPATH=$PATH:$MAVEN_HOME/bin
添加之后执行sourc /etc/profile 重新加载
1.2 安装protobuf
下载:http://code.google.com/p/protobuf/downloads/detail?name=protobuf-2.5.0.tar.gz
解压,设置属主为 root chowd -R root.root protobuf-2.5.0
编译安装protobuf
① cd protobuf-2.5.0
② ./configure
③ make
④ make install
检测 protoc --version
2. 修改配置
<源码根目录>/hadoop-common-project/hadoop-auth/pom.xml
找到:
<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jetty</artifactId>
<scope>test</scope>
</dependency>
在这之后添加:
<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jetty-util</artifactId>
<scope>test</scope>
</dependency>
3. 执行编译
# mvn clean package -Pdist,native-DskipTests -Dtar -e –X
-e -X 参数是输出错误信息用的
编译的时候,一般会有网络连接不上的错误,重新执行命令就好了,一般需要个把小时。
成功后的截图:
4. 编译好的Hadoop文件
最终我们希望获得的hadoop2.2.0文件在:
<源码根目录>/hadoop-dist/target/hadoop-2.2.0.tar.gz
接下去就是正常的配置hadoop了