准备干净的linux系统,我这里准备了4台虚拟机centos6(CDH1/CDH2/CDH3/CDH4,其实之前准备搞CDH的,现在拿来搞HDP了)安装集群,一台centos6(base-server)是yum源
---------------------------------------
1,首先linux系统安装好,配置好yum源
关闭selinux:vim /etc/selinux/config
修改:SELINUX=disabled
关闭THP:vim /etc/rc.local
添加:
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
exit 0
然后:echo never > /sys/kernel/mm/transparent_hugepage/enabled
检查:有[never]则表示THP被禁用
cat /sys/kernel/mm/transparent_hugepage/enabled
ntp时间同步:参看另一篇ntp时间同步文档
2,下载
public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.2.0/ambari-2.2.2.0-centos6.tar.gz
public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.2.0/HDP-2.4.2.0-centos6-rpm.tar.gz
public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz
3,将上述压缩包上传到base-server解压到/var/www/html/
4,下载public-repo-1.hortonworks.com/ARTIFACTS/jdk-8u60-linux-x64.tar.gz
上传到CDH1/CDH2/CDH3/CDH4,解压安装/root/bsoft/jdk1.8.0_60
5,在CDH1的/etc/yum.repos.d/下创建repo文件
CentOS-Local.repo:参看另一篇本地yum源配置制作文档(略)
ambari.repo:
#VERSION_NUMBER=2.2.2.0-460 [Updates-ambari-2.2.2.0] name=ambari-2.2.2.0 - Updates baseurl=http://192.168.204.100/AMBARI-2.2.2.0/centos6/2.2.2.0-460 gpgcheck=1 gpgkey=http://192.168.204.100/AMBARI-2.2.2.0/centos6/2.2.2.0-460/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 |
hdp.repo:
#VERSION_NUMBER=2.4.2.0-258 [HDP-2.4.2.0] name=HDP Version - HDP-2.4.2.0 baseurl=http://192.168.204.100/HDP/centos6/2.x/updates/2.4.2.0 gpgcheck=1 gpgkey=http://192.168.204.100/HDP/centos6/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 [HDP-UTILS-1.1.0.20] name=HDP Utils Version - HDP-UTILS-1.1.0.20 baseurl=http://192.168.204.100/HDP-UTILS-1.1.0.20/repos/centos6 gpgcheck=1 gpgkey=http://192.168.204.100/HDP/centos6/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 |
6,yum clean all 然后才看,yum repolist就看到有了需要的ambari和hdp相关rpm包
7,安装ambari-server
在CDH1上执行yum install ambari-server,注意一定要看到Complete! 才算成功,一开始在装有apachhadoop的服务器上安装始终不能成功且屡试失败,才换到这三台安装
8,配置启动ambari-server 执行ambari-server setup
选择自己已安装好的jdk 不然会联网下载jdk,数据库默认的PostgreSql
看到Ambari Server 'setup' completed successfully. 即成功
9,启动ambari-server ambari-server start
登录浏览器打开192.168.204.121:8080,默认账号密码admin:admin
10,开始创建集群
取集群名字
下一步,修改成自己的yum源地址
下一步
然后注册,等4台都变成Succes后就可以了
next
查看并且选择Hadoop相关组件
Ambari Metrics一定要安装
注意:Metrics与其它组件不要装在一台机器上,因为Metrics内置了HBase和Zookeeper,容易产生问题,且可用磁盘最好大于10G,否则有警告。
下一步
注意:Assign Masters中SNameNode必须跟NameNode在同一主机,否则Secondnamenode不能运行!! next
下一步配置服务,全部默认,输入admin的密码
Review 直接next , Ambari 会开始安装选择的 Service 到 Ambari Agent 的机器(如下图)。这里可能需要等好一会。安装完成之后,Ambari 就会启动这些 Service有安装进度
安装好后下一步下一步