001-Ambari-大数据平台搭建利器(一)

    微信搜索公众号：BearData，关注更多内容。

Ambari是Hortonworks开源的大数据生态圈的管理软件，具备大数据生态圈组件的安装、管理、运维等基本功能(官方未提供组件可以自己去集成)，提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。搭建大数据平台主要分为两部分，一部分是大数据平台管理系统搭建，即Ambari安装，另一部分通过Ambari安装大数据生态圈组件(如Hadoop,Spark,HBase,Hive等)。

      本文将介绍Ambari安装前期准备工作(本系列文章都是基于 centos7完成的)。

软件包准备

       1. JDK，我们使用JDK1.8版本

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

      2. Apache Ambari2.6.2

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari-2.6.2.0-centos7.tar.gz

     3. HDP2.6.2.0

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.2.0/HDP-2.6.2.0-centos7-rpm.tar.gz

     4. HDP-UTILS-1.1.0.21

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

环境准备

       本文以三个节点为例来准备环境，主机名分别为bigdata001(192.168.163.130),bigdata002(192.168.163.132),bigdata003(192.168.163.131)，并以root用户操作

    1. 检查并设置hostname

    在开始安装之前，我们需要设置每台机器的hostname，编辑/etc/sysconfig/networl文件，需要root权限或者具有sudo权限的用户

      上述文件设置完后，检查hostname，有时会发现hostname并未修改，如下图所示

     这时需要执行 hostnamectl set-hostname 主机名  命令，可以立即生效并且重启之后也会生效

    再次验证hostname是否已修改，发现此时已经修改成功

    2.设置hosts，编辑/etc/hosts，设置格式：主机IP地址 域名 主机名。每台机器都需要设置

    3. 在每台主机上安装JDK1.8，并且设置环境变量

    4. 配置SSH免密登录

    Ambari和大数据生态圈组件的控制脚本都依赖SSH来执行群集范围的操作，因此我们需要配置SSH免密登录，以方便后续使用。

      首先，通过根据RSA算法生成密钥对，在~/.ssh 目录下生成两个文件，id_rsa表示私钥，id_rsa.pub表示公钥。

      然后执行 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys将公钥拷贝到authorized_keys文件中。

      在这有两种配置方式，第一种方式是在每台机器上执行上述命令，将每个节点生成的id_rsa.pub追加到统一的一个authorized_keys文件中，然后将追加后的文件拷贝到每台主机的 ~/.ssh/ 目录下。第二种方式是将第一台主机的~/.ssh文件拷贝到所有其他主机上(执行命令scp ~/.ssh/* root@bigdata***:~/.ssh/)，这种方式相当于是所有主机都使用了同一个秘钥对。

      最后，配置完成后，需要验证是否成功。注意，由于第一需要将主机添加到know_hosts，需要确认询问，输入 y即可

    5. 安装openssl，安装版本必须是1.0.1e或者更高版本

     可以直接使用 yum install openssl，该版本高于要求的版本，输入y

    6.检查最大文件数，官方推荐的是该值是10000或者更大

        通过命令可以看出，系统默认的不符合要求，需要修改

      修改并查看

     7. NTP时间同步服务

    首先检查服务是否开启，系统默认是关闭的

    开启时间同步服务，执行 service ntpd start

    8. 关闭SELinux

    9. 关闭防火墙

        systemctl stop firewalld.service

创建本地源

    1.任意找台机器，放置安装源文件，前提必须启动httpd服务。执行以下命令，创建放置源文件的路径

    mkdir -p /var/www/html/hdp_repo

    2.上传前面下载的ambari-2.6.2.0-centos7.tar.gz,HDP-2.6.2.0-centos7-rpm.tar.gz,HDP-UTILS-1.1.0.22-centos7.tar.gz文件到 /var/www/html/hdp_repo目录下，或者将源文件放置在其他目录解压后创建软链也可以。

    3. 解压拷贝的文件

    cd /var/www/html/hdp_repo

    tar -zxvf ./HDP-2.6.2.0-centos7-rpm.tar.gz -C

    tar -zxvf ./HDP-UTILS-1.1.0.21-centos7.tar.gz -C

    tar -zxvf ./ambari-2.6.2.0-centos7.tar.gz -C

    此时访问 http://192.168.70.52/hdp_repo，就可以看到文件列表了

    4. 分别为三个文件夹创建.repo文件，即yum源地址

ambari.repo

#VERSION_NUMBER=2.6.2.0-155
[ambari-2.6.2.0]
name=ambari Version - ambari-2.6.2.0
baseurl=http://192.168.70.52/hdp_repo/ambari/centos7/2.6.2.0-155
gpgcheck=1
gpgkey=http://192.168.70.52/hdp_repo/ambari/centos7/2.6.2.0-155/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

hdp.repo

#VERSION_NUMBER=2.6.2.0-205
[HDP-2.6.2.0]
name=HDP Version - HDP-2.6.2.0
baseurl=http://192.168.70.52/hdp_repo/HDP/centos7/
gpgcheck=1
gpgkey=http://192.168.70.52/hdp_repo/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

hdp-utils.repo

[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.70.52/hdp_repo/HDP-UTILS/
gpgcheck=1
gpgkey=http://192.168.70.52/hdp_repo/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

    将上述三个文件拷贝同时拷贝到每个节点的/etc/yum.repo.d目录下。

    以上就是基于Ambari搭建大数据平台需要准备的环境及配置过程，下一篇将会介绍如何安装Ambari。

 

原创文章，欢迎转载，转载请注明：转载自微信公众号BearData

 

扫描二维码，关注BearData