一、相关包的下载地址 Cloudera Manager
下载地址: archive.cloudera.com/cm5/cm/5/ 或者 archive.cloudera.com/cm5/repo-as-tarball/
下载信息: www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Version-and-Download-Information/Cloudera-Manager-Version-and-Download-Information.html#cmvdtopic1
CDH安装包地址:archive.cloudera.com/cdh5/parcels/latest/,由于我的操作系统为CentOS6.5,需要下载以下文件: CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha manifest.json
二、环境配置
只安装基础服务,节点准备:
cdh-node1 主节点内存大于4G---->5.5G
cdh-node2 大于2G---->2.5G
cdh-node3 大于2G---->2.5G
1、配置jdk 、主节点ssh到所有节点、防火墙、selinux、ntp服务
2、安装配置MySql(主节点)
安装:yum install mysql-server -y
设置开机启动:chkconfig mysqld on
启动:service mysqld start
设置root的初试密码:mysqladmin -u root password 'hive'
进入mysql:mysql -uroot -p
创建数据库:
hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8generalci;
activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8generalci;
授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on . to 'root'@'cdh-node1' identified by 'hive' with grant option; flush privileges;
三、安装Cloudera Manager Server 和Agent
1、上传 cloudera-manager安装包,解压到/opt目录下tar xzvf cloudera-manager*.tar.gz -C /opt,得到cm-5.1.3和cloudera目录
2、为Cloudera Manager 5建立数据库 将mysql-connector-java-5.1.32.jar,放到/opt/cm-5.1.3/share/cmf/lib/
3、主节点初始化CM5的数据库: /opt/cm-5.1.3/share/cmf/schema/scmpreparedatabase.sh mysql cm -hlocalhost -uroot -phive --scm-host localhost scm scm scm
出现All done, your SCM database is configured correctly!配置成功
4、Agent配置
修改/opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini中的serverhost为主节点的主机名:
vi cm-5.1.3/etc/cloudera-scm-agent/config.ini --->serverhost=cdh-node1
同步Agent到其他节点
scp -r /opt/cm-5.1.3 root@cdh-node2:/opt/
scp -r /opt/cm-5.1.3 root@cdh-node3:/opt/
所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
5、准备Parcels
将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中(如果没有parcel-repo需要手动创建)
相关的文件如下:
CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel
CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1
manifest.json
将CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1,重命名为CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha
6、启动脚本
启动服务端:/opt/cm-5.1.3/etc/init.d/cloudera-scm-server start
启动Agent服务:/opt/cm-5.1.3/etc/init.d/cloudera-scm-agent start
停止:stop 重启:restart
7、浏览器访问主节点 192.168.204.131:7180 用户名:密码默认是admin:*****
继续,全选继续
本地Parcel包配置无误,最新版是5.14.2,但是我只下载了5.1.3,所以选择5.1.3,否则会在线下载会很慢,继续
因为是本地Parcel包,所以第一条绿杠瞬间完成,分配过程取决于内网网速,耐心等待几分钟,等全部完成后继续遇到这个问题的解决办法是echo 0 > /proc/sys/vm/swappiness,然后重新运行
选择安装的服务一般按默认即可,继续数据库的设置,检查通过后继续
集群设置的审查,继续
安装Hive的时候可能会报错,因为使用了MySql作为hive的元数据存储,hive默认没有带mysql的驱动
解决方法拷贝一个到hive路径 然后重试:
cp /opt/cm-5.1.3/share/cmf/lib/mysql-connector-java-5.1.32.jar /opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/lib/