编译hadoop源码和snappy压缩

编译hadoop2.X源码和snappy压缩

1.前期工作准备

 **1.CentOS联网** 

配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的
注意：采用root角色编译，减少文件夹权限出现问题
2. jar包准备(hadoop源码、JDK8、maven、ant 、protobuf)
（1）hadoop-2.7.4-src.tar.gz
（2）jdk-8u144-linux-x64.tar.gz
（3）apache-ant-1.9.9-bin.tar.gz（build工具，打包用的）
（4）apache-maven-3.0.5-bin.tar.gz
（5）protobuf-2.5.0.tar.gz（序列化的框架）
（6）snappy-1.1.1.tar.gz

2. jar包安装

注意：所有操作必须在root用户下完成

2.1.JDK解压、配置环境变量 JAVA_HOME和PATH，验证java-version(如下都需要验证是否配置成功)

[root@hadoop101 software] # tar -zxf jdk-8u144-linux-x64.tar.gz -C /opt/module/

[root@hadoop101 software]# vi /etc/profile
#JAVA_HOME：
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

[root@hadoop101 software]#source /etc/profile
验证命令：java -version

2.2.Maven解压、配置 MAVEN_HOME和PATH

[root@hadoop101 software]# tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/module/

[root@hadoop101 apache-maven-3.0.5]# vi conf/settings.xml

nexus-aliyun central Nexus aliyun http://maven.aliyun.com/nexus/content/groups/public

[root@hadoop101 apache-maven-3.0.5]# vi /etc/profile
#MAVEN_HOME
export MAVEN_HOME=/opt/modules/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin

[root@hadoop101 software]#source /etc/profile
验证命令：mvn -version

2.3ant解压、配置 ANT _HOME和PATH

[root@hadoop101 software]# tar -zxvf apache-ant-1.9.9-bin.tar.gz -C /opt/module/

[root@hadoop101 apache-ant-1.9.9]# vi /etc/profile
#ANT_HOME
export ANT_HOME=/opt/modules/apache-ant-1.9.9
export PATH=$PATH:$ANT_HOME/bin

[root@hadoop101 software]#source /etc/profile
验证命令：ant -version

2.4安装 glibc-headers 和 g++ 命令如下

[root@hadoop101 apache-ant-1.9.9]# yum install glibc-headers
[root@hadoop101 apache-ant-1.9.9]# yum install gcc-c++

2.5安装make和cmake

[root@hadoop101 apache-ant-1.9.9]# yum install make
[root@hadoop101 apache-ant-1.9.9]# yum install cmake

2.6 解压protobuf ，进入到解压后protobuf主目录，/opt/module/protobuf-2.5.0，然后相继执行命令

[root@hadoop101 software]# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/
[root@hadoop101 opt]# cd /opt/module/protobuf-2.5.0/

[root@hadoop101 protobuf-2.5.0]#./configure
[root@hadoop101 protobuf-2.5.0]# make
[root@hadoop101 protobuf-2.5.0]# make check
[root@hadoop101 protobuf-2.5.0]# make install
[root@hadoop101 protobuf-2.5.0]# ldconfig

[root@hadoop101 hadoop-dist]# vi /etc/profile
#LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/opt/modules/protobuf-2.5.0
export PATH=$PATH:$LD_LIBRARY_PATH

[root@hadoop101 software]#source /etc/profile
验证命令：protoc --version

2.7安装openssl库

[root@hadoop101 software]#yum install openssl-devel

2.8安装 ncurses-devel库

[root@hadoop101 software]#yum install ncurses-devel
到此，编译工具安装基本完成。

3 编译源码

1**. 解压源码到/opt/目录**
[root@hadoop101 software]# tar -zxvf hadoop-2.7.4-src.tar.gz -C /opt/module/
2. 进入到hadoop源码主目录
[root@hadoop101 hadoop-2.7.4-src]# pwd
/opt/hadoop-2.7.4-src
3. 通过maven执行编译命令
[root@hadoop101 hadoop-2.7.2-src]#mvn package -Pdist,native -DskipTests -Dtar //这个命令是编译hadoop本身

4.安装snappy
[root@hadoop101 module]# tar xf snappy-1.1.1.tar.gz
[root@hadoop101 snappy-1.1.1]#cd snappy-1.1.1
./configure
make && make install
查看snappy是否安装完成
ll /usr/local/lib/ | grep snappy

记住编译snappy要在hadoop-2.7.2-src目录下输入以下命令

[root@hadoop101 hadoop-2.7.2-src]#mvn package -Pdist,native,docs -DskipTests -Dtar -Drequire.snappy

如果有说明安装成功

最后把生成的libsnappy.so相关文件复制到/opt/module/hadoop-2.7.4/lib/native的目录下 最后如下
-rw-r–r--. 1 root root 1210676 10月 1 09:48 libhadoop.a
-rw-r–r--. 1 root root 1487268 10月 1 09:48 libhadooppipes.a
lrwxrwxrwx. 1 root root 18 11月 14 2018 libhadoop.so -> libhadoop.so.1.0.0
-rwxr-xr-x. 1 root root 716420 10月 1 09:48 libhadoop.so.1.0.0
-rw-r–r--. 1 root root 582048 10月 1 09:48 libhadooputils.a
-rw-r–r--. 1 root root 364852 10月 1 09:48 libhdfs.a
lrwxrwxrwx. 1 root root 16 11月 14 2018 libhdfs.so -> libhdfs.so.0.0.0
-rwxr-xr-x. 1 root root 229121 10月 1 09:48 libhdfs.so.0.0.0
-rw-r–r--. 1 root root 233386 10月 1 07:59 libsnappy.a
-rwxr-xr-x. 1 root root 953 10月 1 07:59 libsnappy.la
lrwxrwxrwx. 1 root root 18 10月 1 07:59 libsnappy.so -> libsnappy.so.1.2.0
lrwxrwxrwx. 1 root root 18 10月 1 07:59 libsnappy.so.1 -> libsnappy.so.1.2.0
-rwxr-xr-x. 1 root root 147622 10月 1 07:59 libsnappy.so.1.2.0

5. 成功的64位hadoop包在/opt/hadoop-2.7.4-src/hadoop-dist/target下
   [root@hadoop101 target]# pwd
   /opt/hadoop-2.7.4-src/hadoop-dist/target
6. 编译源码过程中常见的问题及解决方案
   （1）MAVEN install时候JVM内存溢出
   处理方式：在环境配置文件和maven的执行文件均可调整MAVEN_OPT的heap大小。（详情查阅MAVEN 编译 JVM调优问题，如：http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method）
   （2）编译期间maven报错。可能网络阻塞问题导致依赖库下载不完整导致，多次执行命令（一次通过比较难）：
   [root@hadoop101 hadoop-2.7.4-src]#mvn package -Pdist,nativeN -DskipTests -Dtar
   （3）报ant、protobuf等错误，插件下载未完整或者插件版本问题，最开始链接有较多特殊情况，同时推荐
   2.7.0版本的问题汇总帖子 http://www.tuicool.com/articles/IBn63qf