CDH6环境下KYLIN4.0单节点安装

前提要素

  1. 已有CDH6.3.2集群,准备好对应版本的parcel包(CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel)
  2. 一台与CDH集群网络互通的CentOS7.9虚机(4C16G起)
  3. 下载spark包Spark4.2.7(备用,因为本文是在新客户端节点安装Kylin)
  4. 下载kylin包Kylin-4.0.1
  5. 下载KylinOnCDH6依赖包

官网地址

Kylin官网
https://kylin.apache.org/cn/docs/gettingstarted/kylin-quickstart.html

Kylin安装

官方说明:Kylin 可以在 Hadoop 集群的任意节点上启动。方便起见,您可以在 master 节点上运行 Kylin。但为了更好的稳定性,我们建议您将 Kylin 部署在一个干净的 Hadoop client 节点上。
所以本文选择在一个干净的 Hadoop client 节点上安装Kylin。

Hadoop客户端节点环境配置

准备工作

  1. CentOS7.9
  2. JDK1.8
  3. cdh的parcels上传到服务器随便建个目录

敲命令

mkdir -p /opt/cloudera/parcels
cd /opt/cloudera/parcels
把CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel这个包移动到这个目录下
tar -zxvf CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
ln -s CDH-6.3.2-1.cdh6.3.2.p0.1605554 CDH

效果图如下
在这里插入图片描述

下载CDH配置

从已有的CDH集群中下载配置文件,并上传服务器
在这里插入图片描述

  • 下载hive-clientconfig.zip(hive配置文件中已经包含了hdfs和yarn、mapreduce等)
    在这里插入图片描述

配置cdh客户端

mkdir -p /opt/cloudera/etc/
cd /opt/cloudera/etc/
把hive-clientconfig.zip传到这个目录下
unizp hive-clientconfig.zip

在这里插入图片描述

配置环境变量profile文件

# hadoop env
export HADOOP_HOME=/opt/cloudera/parcels/CDH
export HADOOP_CONF_DIR=/opt/cloudera/etc/hive-conf
export CDH_MR2_HOME=$HADOOP_HOME/lib/hadoop-mapreduce
export JAVA_LIBRAY_PATH=/opt/cloudera/parcels/CDH/lib/hadoop/lib/native
export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/jars/*

# hive env
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
export HCAT_HOME=/opt/cloudera/parcels/CDH
export HIVE_CONF_DIR=/opt/cloudera/etc/hive-conf
export HIVE_CONF=/opt/cloudera/etc/hive-conf

# yarn env
export YARN_CONF_DIR=/opt/cloudera/etc/hive-conf

# spark env
export SPARK_HOME=/data/apache-kylin-4.0.1-bin-spark2/spark

# kafka env
export KAFKA_HOME=/opt/cloudera/parcels/CDH/lib/kafka

# zookeeper env
export ZOOKEEPER_HOME=/opt/cloudera/parcels/CDH/lib/zookeeper

# kylin env
export KYLIN_HOME=/data/apache-kylin-4.0.1-bin-spark2

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_CONF_DIR:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HCAT_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin:/$KYLIN_HOME/bin

unset HADOOP_HOME

其中kylin和spark环境是之后才配置上的,请注意路径
使用命令使之生效

source /etc/profile

验证cdh客户端配置

hadoop fs -ls /
hive
show databases;

命令效果如图
在这里插入图片描述

安装KYLIN程序

准备好依赖包

解压 kylin的tar 包,配置环境变量 $KYLIN_HOME 指向 Kylin 文件夹(配置环境变量profile文件)。

tar -zxvf apache-kylin-4.0.1-bin-spark2.tar.gz
cd apache-kylin-4.0.1-bin-spark2
export KYLIN_HOME=`pwd`

依赖包放到各自位置

cd $KYLIN_HOME
### 1. Prepare specific jars for CDH6
mkdir -p bin/hadoop3_jars/cdh6
cp commons-configuration-1.10.jar lib/
cp hive-exec-1.21.2.3.1.0.0-78.jar bin/hadoop3_jars/cdh6
cp stax2-api-3.1.4.jar bin/hadoop3_jars/cdh6
 
### 2. Prepare mysql driver
mkdir ext
cp mysql-connector-java-5.1.49.jar ext/

将下载的spark 二进制包解压后放置在 KYLIN_HOME目录下,并重命名为 spark。
配置SPARK_HOME指向环境中的 spark2.4.7(配置环境变量profile文件)。

修改配置文件

vim conf/kylin.properties
kylin.metadata.url=kylin_metadata@jdbc,url=jdbc:mysql://localhost:3306/kylin,username=root,password=Root_123456,maxActive=10,maxIdle=10
kylin.env.hdfs-working-dir=/kylin
kylin.env.zookeeper-base-path=/kylin
kylin.env.zookeeper-is-local=false
kylin.env.zookeeper-connect-string=master:2181
kylin.env.hadoop-conf-dir=/opt/cloudera/etc/hive-conf

kylin.metadata.url中记得按实际情况改url、username和password

Kylin环境检测

$KYLIN_HOME/bin/check-env.sh

在这里插入图片描述
以上基本完成部署,过程中可能会出现一些问题,部分可能碰到过的可以看QA(已踩过的坑)。

使用步骤请看官网
https://kylin.apache.org/cn/docs/tutorial/web.html

QA

Q: 验证的时候出现权限问题,如无法新建kylin文件夹
A: 权限问题,加一个HADOOP_USER_NAME=hdfs的环境

vim /etc/profile
export HADOOP_USER_NAME=hdfs
source /etc/profile 
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值