CentOS7 ambri2.6.1.5+hdp2.6.4.0 大数据平台搭建

CentOS7 ambari

前言

---

本文是讲如何在centos7（64位） 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装，需要先将集群服务停掉，然后将不需要的环境变量注释掉即可，如果不注释掉，后面虽然可以安装成功，但是在启动某些服务的时候可能会有异常，比如最后提到的hive启动异常。本文适合系统： RedHat7、CentOS7、Oracle Linux7(都是64位)
注意:centos7中文系统有bug（python脚本中文识别问题）,需要使用英文系统。
本文仅作参考（基本每个配置博客都有局限性和坑~），推荐先参考官方文档：

https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/ch_Getting_Ready.html

以下均在root用户下执行。

1.满足最低要求

1.1 浏览器

建议使用Chrome浏览器

1.2 软件要求（每台主机上）

1. yum rpm
2. scp curl unzip tar wegt
3. openssl(v1.01以上)
4. python：2.7(注意如果有使用python3.x的需求，不要改变python环境变量，否则3.x会报错)
5. jdk:1.8以上
6. mysql:5.6以上
7. 内存要求：Ambari主机应该至少有1 GB RAM，500 MB空闲，（但如果使用的话，建议内存8g以上，我自己的虚拟机内存4g搭好后跑起来会很卡，配置低的话警告也会很多）
8. 最大打开文件描述符，更改为10000以上
9. mysql-connector-java

2. 环境准备（每台主机）

2.1 SSH免密

只需master免密其它节点

2.2 启用NTP时间同步

yum -y install ntp
systemctl start ntpd
systemctl enable ntpd

2.3 编辑主机hosts文件

192.168.44.138 ambari.master.com
192.168.44.139 ambari.slave1.com

其中后面的如ambari.master.com为完全限定域名（FQDN)（通过符号“.”）,不能简单的设为master等，如果该文件里有其他映射，如上面的配置必须要在最前面（自带的localhost下面一行），否则后面安装会报错。

2.4 设置主机名（每台机器）

以ambari.master.com为例

2.4.1

hostname ambari.master.com

2.4.2

vim /etc/hostname
ambari.master.com

两步缺一不可，通过命令验证

hostname
hostname -f
两个必须都为ambari.master.com才行

2.5 编辑网络配置文件

vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=ambari.master.com

2.6 禁用iptables

systemctl disable firewalld
service firewalld stop

2.7 禁用selinux

2.7.1 临时禁用

set enforece 0

2.7.2 永久禁用

vim /etc/sysconfig/selinux
SELINUX=disabled

3. 制作本地源（仅在master）

因为ambari 和 hdp 安装文件比较大，如果在线安装的话会很慢，所以最好选择本地源。
（可以在集群可以访问的任何机器上制作本地源）

3.1 安装制作本地源工具

yum -y install yum-utils createrepo

3.2 创建一个HTTP服务器

yum -y install httpd
systemctl start httpd
systemctl enable httpd

3.3 为web服务器创建目录

mkdir -p /var/www/html/hdp/HDP-UTILS

3.4 下载系统对应的安装包

其中包括Ambari、HDP、HDP-UTILS,由于HDP-GPL较小只有几百k，所以没有配置为本地源。

3.4.1 下载

wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.1.5/ambari-2.6.1.5-centos7.tar.gz
wget http://public-repo-1.hortonworks.com/