cloudera manager和cdh离线安装
前言
之前使用apache hadoop版本安装部署集群,需要自己控制各个组件版本,以及添加节点和服务要花很多时间,所以使用cloudera来进行安装和管理,以及后期方便维护与升级。目前我厂集群正式环境使用的是这种方式
组件介绍
cloudera公司在apache hadoop发行版基础上,bug fixs和加入额外的一些组件,整体测试打包发行的版本叫CDH。融入到CDH的额外组件如spark和impala。
有些组件需要单独下载安装包进行安装,如kafka和LZO,cm安装kafka见cloudera集成kafka
cloudera提供了三种安装集群方式,可以在线和离线安装,本文使用cloudera manager离线安装CDH
cloudera manager有两个主要组件:server和agent
server端作用:
分发agent到各个节点
汇集各个agent的信息
下载parcel包,且分发激活到各个agent节点,具体激活又agent执行
agent端作用:
接受server端指令
收集所在节点的健康状态且向server报告
安装前的资源准备
云主机3台(配置:内存32G,cpu8核,硬盘500G,系统盘20G) 说明:内存3个G的虚拟机三台也可以安装
操作系统Centos 6.5
CDH5.4.4
Cloudera manager 5.4.3,简称CM 5.4.3
mysql 5
cloudera-manager-installer.bin
外网ip(如果你内网可以访问则不需要)
注意:cloudera manager自带了jdk,不需要自行下载安装jdk
修改各个主机名: 可以临时修改,并做永久配置,这样重启之后还会生效,如
[root@hostname ~]# vi /etc/sysconfig/network //永久修改
NETWORKING=yes
HOSTNAME=dmall1
[root@hostname ~]# reboot //重启生效
配置hosts文件,如
[root@dmall1 ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
# hostname loopback address
#127.0.1.1 i-weovdr9t
172.16.20.2 dmall1
172.16.20.3 dmall2
172.16.20.4 dmall3
注意:如果主机名带域名,则/etc/sysconfig/network和/etc/hosts文件分别带有域名,其中hosts的格式为”ip 带有域名的主机名 主机名”
hostname 主机名
不需重启,立即生效
配置ssh免密码登录,如
[root@dmall1 ~]# ssh-keygen -t rsa -P ''
[root@dmall1 ~]# cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys
[root@dmall1 ~]# chmod -R 700 ~/.ssh
[root@dmall1 ~]# chmod 600 ~/.ssh/authorized_keys
分发.ssh和hosts到其他两个节点
[root@dmall1 ~]# scp -r .ssh/ dmall2:~/
scp /etc/hosts dmall2:/etc/hosts
scp /etc/hosts dmall3:/etc/hosts
关闭防火墙
[root@dmall1 ~]# service iptables off
Usage: iptables {start|stop|reload|restart|condrestart|status|panic|save}
[root@dmall1 ~]# service iptables stop
[root@dmall1 ~]# chkconfig iptables off
[root@dmall1 ~]# service iptables status
iptables: Firewall is not running.
[root@dmall1 ~]# chkconfig --list iptables
iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off
添加cm本地源
vi /etc/yum.repos.d/cloudera-manager.repo
[cloudera-manager]
name = Cloudera Manager, Version 5.4.3
baseurl = http://域名:8888/cm5.4.3/
gpgcheck = 0
开始安装
[root@dmall1 ~]# chmod +x cloudera-manager-installer.bin
[root@dmall1 ~]# ./cloudera-manager-installer.bin --skip_repo_package=1
登录cloudera manager
地址:http://外网ip:7180/cmf/login
默认账户密码:admin admin
注意:如果访问显示未连接,可能scm-server服务还没启动完成
查看服务是否启动完成:tail -f /var/log/cloudera-scm-server/
安装mysql
[root@dmall1 home]# yum -y install mysql-server
[root@dmall1 home]# chkconfig mysqld on
[root@dmall1 home]# service mysqld start
mysqladmin -u root password dmall1123
设置root授权访问以上所有的数据库:
授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to 'root'@'%' identified by 'dmall1123' with grant option;
flush privileges;
setenforce 0 (临时生效)
修改 /etc/selinux/config 下的 SELINUX=disabled (重启后永久生效)
永久生效
sysctl vm.swappiness=0
echo “vm.swappiness=0”>> /etc/sysctl.conf