Ambari集成接入Hue 4.2

最新推荐文章于 2024-10-15 09:21:37 发布

源神

最新推荐文章于 2024-10-15 09:21:37 发布

阅读量5.1k

点赞数 2

分类专栏： Hue

本文链接：https://blog.csdn.net/zhouyuanlinli/article/details/83374416

版权

Hue 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

安装前准备
1. 下载Hue安装包

环境：

Ambari：2.5.0.0

HDP：2.6.4.0

HDP-UTILS：1.1.0.21

Centos：7.0

Hue下载地址：

http://gethue.com/downloads/releases/4.2.0/hue-4.2.0.tgz

下载后，将hue-4.2.0.tgz文件拷贝到本地yum源的/var/www/html/repo/HDP/HDP-2.6.4.0/centos7/2.6.4.0-91/hue目录下（此路径可以通过查看配置源获取cat /etc/yum.repos.d/HDP.repo）。

1. 在Hue安装节点安装依赖

yum install -y ant

yum install -y maven

yum install -y git

yum install -y gcc gcc-c++ make

yum install -y cyrus-sasl-devel cyrus-sasl-plain cyrus-sasl-gssapi

yum install -y krb5-devel libxml2-devel libxslt-devel

yum install -y python-setuptools

yum install -y openldap-devel python-devel sqlite-devel openssl-devel gmp-devel libffi-devel saslwrapper-devel

yum install -y mysql mysql-devel

yum install -y asciidoc

yum install -y python-simplejson（或者pip install simplejson，本人下载python-simplejson的RPM包进行手动安装rpm -ivh python-simplejson-3.5.3-5.el7.x86_64.rpm）

没安装成功的，不需要管。

安装Hue
1. Hue纳入Ambari的管理

在主节点上执行如下三个命令

# VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - $[0-9]\.[0-9]$.*/\1/'`

# rm -rf /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/HUE

# sudo git clone https://github.com/EsharEditor/ambari-hue-service.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/HUE

1. 版本修改

上一步下载下来的文件中涉及到的Hue版本与所要安装的Hue版本（4.2）是不一致的。所以需要修改相关文件。

涉及到版本的文件如下：

metainfo.xml

README.md

package/scripts/params.py

package/scripts/setup_hue.py

将里面出现所有的3.11.0替换成4.2.0即可

注意：params.py文件源码中hue/hue-4.2.0.tgz，我再前面添加/变成了/hue/hue-4.2.0.tgz

download_url = 'cat /etc/yum.repos.d/HDP.repo | grep "baseurl" | awk -F \'=\' \'{print $2"/hue/hue-4.2.0.tgz"}\''

不然安装Hue会因路径拼接错误找不到下载位置而安装失败

1. 修改脚本

个人下载的是hue 4.2.0版本，进行如下修改：

cd /var/lib/ambari-server/resources/stacks/HDP/2.6/services/HUE/package/scripts/

vim common.py

大概从第58行开始，新增了三行执行命令，修改后如下：

因为我们采用了4.2版本，与之前的版本有区别，所以修改vim setup_hue.py，注释掉如下2行代码：

#vim common.py第90行开始，注释掉如下3行：

如果ambari平台密码变更，还需修改默认密码

# cd /var/lib/ambari-server/resources/stacks/HDP/2.6/services/HUE/package/files

# vim configs.sh

修改脚本# vim params.py：186行，将端口14000改为50070

1. 重启Ambari Server

在主节点执行命令：# service ambari-server restart

1. 通过Ambari界面来安装Hue

重启Ambari Server后就能发现，可安装的服务中有Hue了。

1. 安装hadoop-httpfs

由于我们的hdfs启用了HA模式，所以需要开启hadoop-httpfs服务，因为webhdfs不能自动感知hdfs-site.xml里面配的HA高可用信息。而HDP是阉割了httpfs的，所以这里需要手动安装，安装也很简单

# sudo yum install hadoop-httpfs

启动HttpFs

# sudo service hadoop-httpfs start（或者/usr/hdp/current/hadoop-httpfs/etc/rc.d/init.d/hadoop-httpfs start）

HDFS组件在自定义core-site配置文件中添加如下参数（类似参数common.py脚本中都有涉及）：

hadoop.proxyuser.hue.groups=*

hadoop.proxyuser.hue.hosts=*

hadoop.proxyuser.httpfs.groups=*

hadoop.proxyuser.httpfs.hosts=*

hadoop.proxyuser.livy.groups=*

hadoop.proxyuser.livy.hosts=*

注： livy为Spark提供了REST接口。

HDFS组件在自定义hdfs-site配置文件中添加如下参数：

dfs.namenode.acls.enabled=true

同时确保webhdfs处于开启状态

1. 配置数据库

安装前，需要在MySQL上创建Hue数据库。

create database hue;

CREATE USER hue@'%'IDENTIFIED BY 'password';

GRANT ALL PRIVILEGES ON hue.* TO hue@'*' IDENTIFIED BY 'password';

GRANT ALL PRIVILEGES ON hue.* TO hue@'%' IDENTIFIED BY 'password';

FLUSH PRIVILEGES;

1. 选择Hue，安装

1、设置Hue Metasotre使用mysql保存元数据

如下此处也可以配置到sqlite中

2、启用User Sync，暂时使用Linux本地系统用户

其他保持默认值，点击“下一步”，一直到完成部署，因涉及到源码编译，安装会等待较长一段时间
一切正常时，/usr/local/hue/build/env/bin/目录如下就表明安装成功。

1. 安装成功，启动失败，手动修改Hue配置文件hue.ini（默认是通过Hue配置界面刷入到pseudo-distributed.ini配置文件中，以下为手动安装操作，仅记录下各组件配置参数）

这个过程中，Hue安装成功，但是启动失败。

配置文件在/usr/local/hue/desktop/conf/目录下。从头到尾配置。需要配置mysql、hive、hdfs、webhdfs、yarn等等。根据自己已有的组件进行修改（hue启动代码是通过界面配置参数刷入到pseudo-distributed.ini文件，此操作仅作参考），具体内容如下所示：

desktop