三、hadoop2.5.2+centos6.5编译源码

最新推荐文章于 2017-07-26 10:56:08 发布
最新推荐文章于 2017-07-26 10:56:08 发布
阅读量653 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zipo/article/details/54709637
版权
1、安装jdk1.7，并配置环境变量

2、安装其他基础库
[ root@hadoop0 cdh]# yum install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev

(1). 如果是Debian或CentOs 安装

# yum install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev
# yum install openssh-clients
# yum install openssh-server   
========编译源码=========

yum install openssl 

yum install openssl-devel


(2). 安装protobuf
下载地址：下载最新的安装包，当前最新的安装包为 protobuf-2.5.0


# tar -xzvf protobuf-2.5.0.tar.gz

# cd probuf-2.5.0

# ./configure ; make ; make check; make install

# protoc --version

   libprotoc 2.5.0

3. 安装maven
Maven是一个软件项目管理及自动构建工具，用于组件的编译和构建。
 (1). 首先到Maven官网(  http://maven.apache.org/download.cgi ),
      下载最新的bin包(apache-maven-3.2.1-bin.tar.gz)。完成后解压并将目录移动到/usr/local/apache-maven
# tar -xzvf  apache-maven-3.2.1-bin.tar.gz 
# cp  -r apache-maven-3.2.1 /usr/local/apache-maven-3.2.1
(2). 编辑/etc/profile,配置环境变量
MAVEN_HOME=/usr/local/apache-maven-3.2.1
 PATH=$PATH:$MAVEN_HOME/bin
 export MAVEN_HOME PATH
(3). 保存环境变量
# source /etc/profile
(4). 测试安装成功与否
$ echo $MAVEN_HOME
 /usr/local/apache-maven/apache-maven-3.2.1
$ mvn -v

 Apache Maven 3.2.1 (ea8b2b07643dbb1b84b6d16e1f08391b666bc1e9; 2014-02-15T01:37:52+08:00)  
  Maven home: /usr/local/apache-maven/apache-maven-3.2.1 
  Java version: 1.7.0_51, vendor: Oracle Corporation 
  Java home: /usr/java/jdk1.7.0_51/jre 
  Default locale: en_US, platform encoding: UTF-8  
  OS name: "linux", version: "2.6.18-194.el5", arch: "amd64", family: "unix"

(5). 修改maven配置
 由于maven国外服务器可能连不上，先给maven配置一下国内镜像，在maven目录下，conf/settings.xml,
 在<mirrors></mirros>里添加，原本的不要动, 同样, 在<profiles></profiles>内新添加
# vim $MAVEN_HOME/conf/settings.xml
<mirror>
<id>nexus-osc</id>
<mirrorOf>*</mirrorOf>
<name>Nexusosc</name>
</mirror>


<profile>
<id>jdk-1.7</id>
<activation>
<jdk>1.7</jdk>
</activation>
<repositories>
<repository>
<id>nexus</id>
<name>local private nexus</name>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
</repositories>
<pluginRepositories>
<pluginRepository>
<id>nexus</id>
<name>local private nexus</name>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</pluginRepository>
</pluginRepositories>
</profile>
4. 编译安装Hadoop

(1).  首先官方下载hadoop源码
# tar -xzvf hadoop-2.5.2-src.tar.gz 
# cd hadoop-2.5.2-src
(2).  编译hadoop源码，见BUILDING.txt

# mvn package -Pdist,native -DskipTests -Dtar

[ root@hadoop0 hadoop-2.5.2-src]# mvn package -Pdist,native -DskipTests -Dtar


main:
     [exec] $ tar cf hadoop-2.5.2.tar hadoop-2.5.2
     [exec] $ gzip -f hadoop-2.5.2.tar
     [exec] 
     [exec] Hadoop dist tar available at: /home/jit/hadoop-2.5.2-src/hadoop-dist/target/hadoop-2.5.2.tar.gz
     [exec] 
[INFO] Executed tasks
[INFO] 
[INFO] --- maven-javadoc-plugin:2.8.1:jar (module-javadocs) @ hadoop-dist ---
[INFO] Building jar: /home/jit/hadoop-2.5.2-src/hadoop-dist/target/hadoop-dist-2.5.2-javadoc.jar
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Apache Hadoop Main ................................ SUCCESS [6:18.375s]
[INFO] Apache Hadoop Project POM ......................... SUCCESS [2:49.482s]
[INFO] Apache Hadoop Annotations ......................... SUCCESS [1:21.699s]
[INFO] Apache Hadoop Assemblies .......................... SUCCESS [0.317s]
[INFO] Apache Hadoop Project Dist POM .................... SUCCESS [47.975s]
[INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [2:48.379s]
[INFO] Apache Hadoop MiniKDC ............................. SUCCESS [3:44.819s]
[INFO] Apache Hadoop Auth ................................ SUCCESS [40.856s]
[INFO] Apache Hadoop Auth Examples ....................... SUCCESS [20.129s]
[INFO] Apache Hadoop Common .............................. SUCCESS [12:46.117s]
[INFO] Apache Hadoop NFS ................................. SUCCESS [7.586s]
[INFO] Apache Hadoop Common Project ...................... SUCCESS [0.091s]
[INFO] Apache Hadoop HDFS ................................ SUCCESS [8:58.964s]
[INFO] Apache Hadoop HttpFS .............................. SUCCESS [1:10.984s]
[INFO] Apache Hadoop HDFS BookKeeper Journal ............. SUCCESS [1:23.640s]
[INFO] Apache Hadoop HDFS-NFS ............................ SUCCESS [7.357s]
[INFO] Apache Hadoop HDFS Project ........................ SUCCESS [0.043s]
[INFO] hadoop-yarn ....................................... SUCCESS [0.059s]
[INFO] hadoop-yarn-api ................................... SUCCESS [2:07.007s]
[INFO] hadoop-yarn-common ................................ SUCCESS [1:17.938s]
[INFO] hadoop-yarn-server ................................ SUCCESS [0.097s]
[INFO] hadoop-yarn-server-common ......................... SUCCESS [26.052s]
[INFO] hadoop-yarn-server-nodemanager .................... SUCCESS [1:13.852s]
[INFO] hadoop-yarn-server-web-proxy ...................... SUCCESS [3.312s]
[INFO] hadoop-yarn-server-applicationhistoryservice ...... SUCCESS [5.614s]
[INFO] hadoop-yarn-server-resourcemanager ................ SUCCESS [15.575s]
[INFO] hadoop-yarn-server-tests .......................... SUCCESS [0.668s]
[INFO] hadoop-yarn-client ................................ SUCCESS [4.992s]
[INFO] hadoop-yarn-applications .......................... SUCCESS [0.088s]
[INFO] hadoop-yarn-applications-distributedshell ......... SUCCESS [2.776s]
[INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SUCCESS [1.838s]
[INFO] hadoop-yarn-site .................................. SUCCESS [0.068s]
[INFO] hadoop-yarn-project ............................... SUCCESS [6.152s]
[INFO] hadoop-mapreduce-client ........................... SUCCESS [0.071s]
[INFO] hadoop-mapreduce-client-core ...................... SUCCESS [39.780s]
[INFO] hadoop-mapreduce-client-common .................... SUCCESS [29.196s]
[INFO] hadoop-mapreduce-client-shuffle ................... SUCCESS [9.253s]
[INFO] hadoop-mapreduce-client-app ....................... SUCCESS [20.963s]
[INFO] hadoop-mapreduce-client-hs ........................ SUCCESS [12.344s]
[INFO] hadoop-mapreduce-client-jobclient ................. SUCCESS [17.145s]
[INFO] hadoop-mapreduce-client-hs-plugins ................ SUCCESS [1.957s]
[INFO] Apache Hadoop MapReduce Examples .................. SUCCESS [12.555s]
[INFO] hadoop-mapreduce .................................. SUCCESS [6.724s]
[INFO] Apache Hadoop MapReduce Streaming ................. SUCCESS [9.407s]
[INFO] Apache Hadoop Distributed Copy .................... SUCCESS [1:02.991s]
[INFO] Apache Hadoop Archives ............................ SUCCESS [2.343s]
[INFO] Apache Hadoop Rumen ............................... SUCCESS [13.471s]
[INFO] Apache Hadoop Gridmix ............................. SUCCESS [4.361s]
[INFO] Apache Hadoop Data Join ........................... SUCCESS [2.644s]
[INFO] Apache Hadoop Extras .............................. SUCCESS [11.507s]
[INFO] Apache Hadoop Pipes ............................... SUCCESS [8.624s]
[INFO] Apache Hadoop OpenStack support ................... SUCCESS [8.665s]
[INFO] Apache Hadoop Client .............................. SUCCESS [14.059s]
[INFO] Apache Hadoop Mini-Cluster ........................ SUCCESS [0.096s]
[INFO] Apache Hadoop Scheduler Load Simulator ............ SUCCESS [13.475s]
[INFO] Apache Hadoop Tools Dist .......................... SUCCESS [9.339s]
[INFO] Apache Hadoop Tools ............................... SUCCESS [2.331s]
[INFO] Apache Hadoop Distribution ........................ SUCCESS [41.499s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 57:52.573s
[INFO] Finished at: Thu Feb 18 13:49:53 CST 2016
[INFO] Final Memory: 143M/478M
[INFO] ------------------------------------------------------------------------
[ root@hadoop0 hadoop-2.5.2-src]# 
[ root@hadoop0 hadoop-2.5.2-src]# pwd
/home/jit/hadoop-2.5.2-src
[ root@hadoop0 hadoop-2.5.2-src]# cd hadoop-dist
[ root@hadoop0 hadoop-dist]# ll
总用量 12
-rw-r--r--. 1 10021 10021 6826 11月 15 2014 pom.xml
drwxr-xr-x. 7 root  root  4096 2月  18 13:49 target
[ root@hadoop0 hadoop-dist]# cd target
[ root@hadoop0 target]# ll
总用量 390176
drwxr-xr-x. 2 root root      4096 2月  18 13:49 antrun
-rw-r--r--. 1 root root      1767 2月  18 13:49 dist-layout-stitching.sh
-rw-r--r--. 1 root root       639 2月  18 13:49 dist-tar-stitching.sh
drwxr-xr-x. 9 root root      4096 2月  18 13:49 hadoop-2.5.2
-rw-r--r--. 1 root root 132935327 2月  18 13:49 hadoop-2.5.2.tar.gz
-rw-r--r--. 1 root root      2771 2月  18 13:49 hadoop-dist-2.5.2.jar
-rw-r--r--. 1 root root 266565313 2月  18 13:49 hadoop-dist-2.5.2-javadoc.jar
drwxr-xr-x. 2 root root      4096 2月  18 13:49 javadoc-bundle-options
drwxr-xr-x. 2 root root      4096 2月  18 13:49 maven-archiver
drwxr-xr-x. 2 root root      4096 2月  18 13:49 test-dir

  同样在刚刚进行编译的那个目录下，有一个 hadoop-dist文件夹，进入里面的target文件夹，然后就可以看到编译成功64位的hadoop文件，解压后的在 hadoop-2.5.2 这个文件夹中，同时还生成了一个压缩包：hadoop-2.5.2-tar.gz 这个压缩包可以拷贝到别的机器上进行安装 

zipo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop2.7.7源码编译(Centos6.10)
一名假的程序猿
08-01 1690
源码包准备【hadoop-2.7.7-src.tar.gz】 略 解压后找到构建说明【BUILDING.txt】，看一下基本要求都有什么 安装以下软件【以防万一】没有列全： yum install -y gcc yum install -y gcc-c++ yum install -y make * Unix System Centos6.10 * JDK 1.7+ 略 ...
CentOS6.4编译Hadoop2.2.0
04-12 4722
1.安装jdk 不要小看这一步，起先装了个jdk1.8.0，出现如下错误。 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar (module-javadocs) on project hadoop-maven-plugins: MavenReportException:
hadoop 2.5.2 源码
11-30
文件是hadoop 2.5.2源码，从官方网站下载的，供国内访问不正常的同学下载
hadoop2.5.2 eclipse 插件编译
larntin
11-27 1296
原文地址：http://aub.iteye.com/blog/2162155 插件地址：https://github.com/winghc/hadoop2x-eclipse-plugin    1.下载并解压hadoop2.x，下载地址http://hadoop.apache.org/releases.html#Download（我下载的是编译好的包）  2.下载并解压ecli
Hadoop源码学习－编译源码
strongyoung的专栏
04-02 4197
编译源码非常简单，步骤如下： 下载源代码 安装依赖软件或库 编译打包 下载源码 官方下载并解压，过程略 查看编译要求 切换到解压后的hadoop源码根目录 此目录下有个BUILDING.txt文件，里面有对building的详细说明，以Linux为例，要求如下： Unix System JDK 1.7+ Maven 3.0 or later Findbugs ...
CentOS6.5下编译Hadoop-2.7.2
fstab_的博客
02-29 704
CentOS6.5 编译Hadoop
本地编译Hadoop2.7.1源码总结和问题解决
热门推荐
young_kim的技术博客
12-11 2万+
分享一下编译的过程、遇到的问题以及相应的解决办法，以供接下来学习的人查阅。
hadoop-2.8.1 CentOS6.5编译的源码
10-09
《Hadoop 2.8.1在CentOS6.5上的源码编译详解》 Hadoop是一个开源的分布式计算框架，广泛应用于大数据处理领域。本文将深入探讨如何在CentOS 6.5操作系统上，从源代码编译Hadoop 2.8.1版本，以获取针对该系统的优化...
VMware10+CentOS6.5+Hadoop2.2+Zookeeper3.4.6+HBase0.96安装过程详解.pdf
09-19
VMware10+CentOS6.5+Hadoop2.2+Zookeeper3.4.6+HBase0.96安装过程详解.pdf
VMware10+CentOS6.5+Hadoop2.2+Zookeeper3.4.6+HBase0.96安装过程详解
10-30
VMware10+CentOS6.5+Hadoop2.2+Zookeeper3.4.6+HBase0.96安装过程详解 用于解决分布式集群服务器
Centos 6.5 下hadoop2.5.2的HA集群原理讲解以及详细配置（自动切换）
不积跬步，无以至千里；不积小流，无以成江海！
03-25 2580
简介 在Centos 6.5 下hadoop2.5.2的HA集群原理讲解以及详细配置（手动切换） 一文中讲述了如何搭建一个通过手工方式实现namenode HA机制，本文描述如同通过Zookeeper来实现自动的HA. 基本原理以及部分参数的讲解可参考手动切换的章节 硬件环境 HOSTNAME IP Hadoop
hadoop 2.5.2源码编译
weixin_30480075的博客
01-16 89
编译过程漫长无比，错误百出，需要耐心耐心！！ 1.准备的环境及软件 操作系统：Centos6.4 64位 jdk：jdk-7u80-linux-x64.rpm，不要使用1.8 maven：apache-maven-3.3.3-bin.tar.gz protobuf：protobuf-2.5.0.tar.gz　　注：谷歌的产品，最好是提前百度准备一下这...
编译hadoop-2.5.2总结
02-10 112
前两天废了很大的劲来对hadoop-2.5.2进行64位系统的手动编译，由于对linux系统环境以及hadoop本身的不熟悉，编译过程中也出现了很多的问题，在此记录一下，对自己以后再次编译和看到此文章的你有一个参考和帮助。 一、准备的资料 64位linux系统。我使用的是 CentOS JDK 1.7+。注：使用1.7即可，如果是1.8则会编译失败，1.6没有试过，看网上大牛的...
自己动手编译hadoop-2.5.2源码
weixin_33675507的博客
07-22 190
搭建环境:Centos x 6.5  64bit   (后来：我才知道原来官网上发布的就是64位的，不过这个对我来说是个学习过程，对以后进行其他平台编译的时候有帮助！) 1、安装JDK 我这里用的是64位机，要下载对应的64位的JDK,下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-dow...
编译hadoop-2.5.2的源码过程
xirideguang的博客
07-25 560
1， ssh root@101.200.173.244，登录第一台服务器。 2，mkdir workspace，cd workspace/ 。建立workspace目录。 3，wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2-src.tar.gz ./ 将hadoop-2.5.2下载到目录
Debian7下Hadoop-2.6.2伪分布式环境搭建
王鸿飞的专栏
11-27 1580
服务器使用阿里云学生优惠版的ESC，1核/1G， 系统为32位的Debian7。下载安装Hadoopwget http://apache.fayea.com/hadoop/common/hadoop-2.6.2/hadoop-2.6.2.tar.gz cp hadoop-2.6.2.tar.gz /usr/local cd /usr/local tar -zxvf hadoop-2.6.2.tar.
windows下安装hadoop-2.7.3
Jason的专栏
07-26 4445
windows下安装hadoop-2.7.3不需要Cygwin、、、 准备条件： 首先需要下载 hadoop的tar.gz包，目前最新版本是2.7.3 下载地址：http://hadoop.apache.org/releases.html然后确保操作系统是64bit，已安装.netframework，要4.0以上版本，一般现在的windows系统都有自带的。
debian 系统安装 hadoop 和hbase 环境。
freewebsys的专栏
12-25 336
由于 自己使用的电脑 是debian 系统。所以 也想在自己的电脑上面安装一个 hbase 的环境。   笔记本 是64 bit 的但好像不可以，虚拟 64bit的系统。   所以干脆 装一个 环境算了。。   参考文档：   https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation   https://ccp.cl...
Hadoop2.2.0在CentOS6.5x64上配置19节点集群教程
"CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南" 在本文档中，你将找到一个详细的步骤指南，教你如何在CentOS 6.5 64位操作系统上搭建一个包含19个实体节点的Hadoop 2.2.0集群。Hadoop是一个广泛使用的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值