012-Ambari二次开发之组件Zookeeper,Kafka,Hadoop编译

Zookeeper是大数据生态圈组件之间协调的基础组件。本篇我们开始编译基于HDP3.0版本栈的Zookeeper。
关注微信公众号,获取更多内容
在这里插入图片描述
Zookeeper编译

  1. 安装ant,Zookeeper依赖于ANT编译,所以需要安装ant
    yum install ant
  2. 编译
    在这里我们指定的是HDP栈版本,3.4.6.3.0.0.0-1634,编译完的所有文件都在build目录下。
    ant clean compile -Dversion=3.4.6.3.0.0.0-1634 -f build.xml
    在这里插入图片描述
  3. 打包
    ant package tar -Dversion=3.4.6.3.0.0.0-1634 -f build.xml
    我们在编译的时候出现如下错误,解决方法:
    sed -i -e ‘s@AM_PATH_CPPUNIT(1.10.2)@PKG_CHECK_MODULES([CPPUNIT], [cppunit])@’ src/c/configure.ac
    在这里插入图片描述
    重新打包
    在这里插入图片描述
  4. 安装到maven仓库中,供其他组件调用
    mvn install:install-file -DcreateChecksum=true -DgroupId=org.apache.zookeeper -DartifactId=zookeeper -Dversion=3.4.6.3.0.0.0-1634 -Dpackaging=jar -Dfile=build/zookeeper-3.4.6.3.0.0.0-1634.jar
    在这里插入图片描述
  5. 将测试jar包安装到maven仓库中
    mvn install:install-file -DcreateChecksum=true -DgroupId=org.apache.zookeeper -DartifactId=zookeeper -Dversion=3.4.6.3.0.0.0-1634 -Dpackaging=jar -Dfile=build/zookeeper-3.4.6.3.0.0.0-1634-test.jar
    在这里插入图片描述

Kafka编译

  1. 安装gradle
    kafka编译需要gradle,需要下载并配置环境变量。
    https://gradle.org/releases/?_ga=2.140075258.850609145.1533014212-2095602238.1533014212

  2. 切换到kafak源代码目录下并执行 gradle wrapper,第一次执行比较慢,需要下载文件
    在这里插入图片描述

  3. 执行编译
    ./gradlew -PscalaVersion=2.11 clean install releaseTarGz -x signArchives -Drepo.maven.org=file:///home/zhangxiong/local/repo/ -DskipTests -DrecompileMode=all
    scalaVersion表示scala版本,repo.maven.org表示maven仓库地址,这个第一次执行时间比较长,执行了3个小时,需要下载很多文件,当然和网络也有关系。
    在这里插入图片描述

Hadoop编译

  1. maven 安装
    我们使用的是3.3.9 版本,下载地址
    https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/
    下载完后,解压并设置环境变量。配置完后,可以通过 maven -version验证。
    替换为国内源,速度比较快,编辑maven安装路径下的 conf/setting.xml,添加如下内容
    在这里插入图片描述

  2. 安装环境依赖包
    yum install gcc gcc-c++ fuse-devel fuse openssl-devel ncurses-devel cmake autoconf automake libtool
    在这里插入图片描述

  3. 编译
    mvn -Dsnappy.prefix=x -Dbundle.snappy=true -Dsnappy.lib=/usr/lib -Pdist -Pnative -Psrc -Dtar-Dzookeeper.version=3.4.6.3.0.0.0-1634 -DskipTests -DskipTest -DskipITs -Dtomcat.version=6.0.48 -Dtomcat.download.url=“http://192.168.70.52/dependency-packages/apache-tomcat-6.0.48.tar.gz” install
    在这里插入图片描述

以上就是基于HDP3.0.0站版本的Zookeeper,Kafka,Hadoop的编译,下一篇我们将介绍如何编译Kafka。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值