cloudera manager和cdh离线安装

cloudera manager和cdh离线安装

前言

---

之前使用apache hadoop版本安装部署集群，需要自己控制各个组件版本，以及添加节点和服务要花很多时间，所以使用cloudera来进行安装和管理，以及后期方便维护与升级。目前我厂集群正式环境使用的是这种方式

组件介绍

cloudera公司在apache hadoop发行版基础上，bug fixs和加入额外的一些组件，整体测试打包发行的版本叫CDH。融入到CDH的额外组件如spark和impala。
有些组件需要单独下载安装包进行安装，如kafka和LZO，cm安装kafka见cloudera集成kafka

cloudera提供了三种安装集群方式，可以在线和离线安装，本文使用cloudera manager离线安装CDH

cloudera manager有两个主要组件：server和agent
server端作用：
分发agent到各个节点
汇集各个agent的信息
下载parcel包，且分发激活到各个agent节点，具体激活又agent执行
agent端作用：
接受server端指令
收集所在节点的健康状态且向server报告

安装前的资源准备

云主机3台（配置：内存32G，cpu8核，硬盘500G，系统盘20G） 说明：内存3个G的虚拟机三台也可以安装
操作系统Centos 6.5
CDH5.4.4
Cloudera manager 5.4.3，简称CM 5.4.3
mysql 5
cloudera-manager-installer.bin
外网ip(如果你内网可以访问则不需要)

注意：cloudera manager自带了jdk，不需要自行下载安装jdk

修改各个主机名: 可以临时修改，并做永久配置，这样重启之后还会生效，如

[root@hostname ~]# vi /etc/sysconfig/network   //永久修改
NETWORKING=yes
HOSTNAME=dmall1
[root@hostname ~]# reboot //重启生效

配置hosts文件，如

[root@dmall1 ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

# hostname loopback address
#127.0.1.1      i-weovdr9t
172.16.20.2     dmall1
172.16.20.3     dmall2
172.16.20.4     dmall3

注意：如果主机名带域名，则/etc/sysconfig/network和/etc/hosts文件分别带有域名，其中hosts的格式为”ip 带有域名的主机名 主机名”
hostname 主机名 不需重启，立即生效

配置ssh免密码登录，如

[root@dmall1 ~]# ssh-keygen -t rsa -P ''
[root@dmall1 ~]# cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys
[root@dmall1 ~]# chmod -R 700 ~/.ssh
[root@dmall1 ~]# chmod 600 ~/.ssh/authorized_keys
分发.ssh和hosts到其他两个节点
[root@dmall1 ~]# scp -r .ssh/ dmall2:~/
scp /etc/hosts dmall2:/etc/hosts
scp /etc/hosts dmall3:/etc/hosts

关闭防火墙

[root@dmall1 ~]# service iptables off
Usage: iptables {start|stop|reload|restart|condrestart|status|panic|save}
[root@dmall1 ~]# service iptables stop
[root@dmall1 ~]# chkconfig iptables off
[root@dmall1 ~]# service iptables status
iptables: Firewall is not running.
[root@dmall1 ~]# chkconfig --list iptables
iptables        0:off   1:off   2:off   3:off   4:off   5:off   6:off

添加cm本地源

vi /etc/yum.repos.d/cloudera-manager.repo
[cloudera-manager]
name = Cloudera Manager, Version 5.4.3
baseurl = http://域名:8888/cm5.4.3/
gpgcheck = 0

开始安装

[root@dmall1 ~]# chmod +x cloudera-manager-installer.bin
[root@dmall1 ~]# ./cloudera-manager-installer.bin --skip_repo_package=1

登录cloudera manager
地址：http://外网ip:7180/cmf/login
默认账户密码：admin admin

注意：如果访问显示未连接，可能scm-server服务还没启动完成
查看服务是否启动完成：tail -f /var/log/cloudera-scm-server/

安装mysql

[root@dmall1 home]# yum -y install mysql-server
[root@dmall1 home]# chkconfig mysqld on
[root@dmall1 home]# service mysqld start
mysqladmin -u root password dmall1123

设置root授权访问以上所有的数据库：

授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on *.* to 'root'@'%' identified by 'dmall1123' with grant option;
flush privileges;

setenforce 0 （临时生效）
修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）

永久生效
sysctl vm.swappiness=0
echo “vm.swappiness=0”>> /etc/sysctl.conf