为什么要编译hadoop
由于appache给出的hadoop的安装包没有提供带C程序访问的接口,所以我们在使用本地库
(本地库可以用来做压缩,以及支持C程序等等)的时候就会出问题,需要对Hadoop源码包进
行重新编译
准备环境:
centos 64位 内存大于等于4G
虚拟机联网,关闭防火墙,关闭selinux:
关闭防火墙命令:
service iptables stop
chkconfig iptables off
关闭selinux
vim /etc/selinux/config
SELINUX=disabled
安装1.7jdk:
mkdir -p /export/servers
mkdir -p /export/softwares
cd /export/softwares
tar -zxvf jdk-7u71-linux-x64.tar.gz -C ../servers/
配置环境变量:
vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.7.0_71
export PATH=:$JAVA_HOME/bin:$PATH
修改完立即生效:
source /etc/profile
安装maven:
这里使用maven3.x以上的版本应该都可以,不建议使用太高的版本,强烈建议使用3.0.5的版本即可
将maven的安装包上传到/export/soxwares
然后解压maven的安装包到/export/servers
cd /export/softwares/
tar -zxvf apache-maven-3.0.5-bin.tar.gz -C ../servers/
配置maven 环境变量:
vim /etc/profile
export MAVEN_HOME=/export/servers/apache-maven-3.0.5
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:$MAVEN_HOME/bin:$PATH
修改立即生效:
source /etc/profile
加油maven 仓库:
cd /export/servers/apache-maven-3.0.5/conf
vim settings.xml
配置阿里云的镜像地址,下载jar更快:
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
安装findbugs:
解约findbugs:
tar -zxvf findbugs-1.3.9.tar.gz -C ../servers/
配置findbugs的环境变量:
vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.7.0_75
export PATH=:$JAVA_HOME/bin:$PATH
export MAVEN_HOME=/export/servers/apache-maven-3.0.5
export PATH=:$MAVEN_HOME/bin:$PATH
export FINDBUGS_HOME=/export/servers/findbugs-1.3.9
export PATH=:$FINDBUGS_HOME/bin:$PATH
修改立即生效:
source /etc/profile
在线安装一些依赖包:
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install lzo-devel zlib-devel gcc gcc-c++
bzip2压缩需要的依赖包
yum install -y bzip2-devel
安装protobuf:
解约protobuf并安装:
cd /export/softwares
tar -zxvf protobuf-2.5.0.tar.gz -C ../servers/
cd /export/servers/protobuf-2.5.0
./configure
make && make install
安装snappy:
cd /export/softwares/
tar -zxf snappy-1.1.1.tar.gz -C ../servers/
cd ../servers/snappy-1.1.1/
./configure
make && make install
编译hadoop源码:
对源码进行编译:
cd /export/softwares
tar -zxvf hadoop-2.7.5-src.tar.gz -C ../servers/
cd /export/servers/hadoop-2.7.5
编译snappy压缩:
mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X
编译完成后的压缩包所在目录:
/export/servers/hadoop-2.7.5/hadoop-dist/target