CDH离线安装

一、相关包的下载地址 Cloudera Manager

下载地址： archive.cloudera.com/cm5/cm/5/ 或者 archive.cloudera.com/cm5/repo-as-tarball/
下载信息： www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Version-and-Download-Information/Cloudera-Manager-Version-and-Download-Information.html#cmvdtopic1

CDH安装包地址：archive.cloudera.com/cdh5/parcels/latest/，由于我的操作系统为CentOS6.5，需要下载以下文件： CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha manifest.json

二、环境配置
只安装基础服务，节点准备：
    cdh-node1 主节点内存大于4G---->5.5G
    cdh-node2 大于2G---->2.5G
    cdh-node3 大于2G---->2.5G
1、配置jdk 、主节点ssh到所有节点、防火墙、selinux、ntp服务
2、安装配置MySql（主节点）
    安装：yum install mysql-server -y
    设置开机启动：chkconfig mysqld on
    启动：service mysqld start
    设置root的初试密码：mysqladmin -u root password 'hive'
    进入mysql：mysql -uroot -p

创建数据库：
hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8generalci;

activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8generalci;

授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on . to 'root'@'cdh-node1' identified by 'hive' with grant option; flush privileges;

三、安装Cloudera Manager Server 和Agent
1、上传 cloudera-manager安装包，解压到/opt目录下tar xzvf cloudera-manager*.tar.gz -C /opt，得到cm-5.1.3和cloudera目录
2、为Cloudera Manager 5建立数据库 将mysql-connector-java-5.1.32.jar，放到/opt/cm-5.1.3/share/cmf/lib/
3、主节点初始化CM5的数据库： /opt/cm-5.1.3/share/cmf/schema/scmpreparedatabase.sh mysql cm -hlocalhost -uroot -phive --scm-host localhost scm scm scm
出现All done, your SCM database is configured correctly!配置成功
4、Agent配置
修改/opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini中的serverhost为主节点的主机名：
    vi cm-5.1.3/etc/cloudera-scm-agent/config.ini --->serverhost=cdh-node1
同步Agent到其他节点
    scp -r /opt/cm-5.1.3 root@cdh-node2:/opt/
    scp -r /opt/cm-5.1.3 root@cdh-node3:/opt/
所有节点创建cloudera-scm用户
    useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
5、准备Parcels
    将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（如果没有parcel-repo需要手动创建）
相关的文件如下：
    CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel
    CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1
    manifest.json

将CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1，重命名为CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha
6、启动脚本
    启动服务端：/opt/cm-5.1.3/etc/init.d/cloudera-scm-server start
    启动Agent服务：/opt/cm-5.1.3/etc/init.d/cloudera-scm-agent start

停止：stop 重启：restart

7、浏览器访问主节点 192.168.204.131:7180 用户名：密码默认是admin:*****

继续，全选继续

本地Parcel包配置无误，最新版是5.14.2,但是我只下载了5.1.3，所以选择5.1.3，否则会在线下载会很慢，继续

因为是本地Parcel包，所以第一条绿杠瞬间完成，分配过程取决于内网网速，耐心等待几分钟，等全部完成后继续遇到这个问题的解决办法是echo 0 > /proc/sys/vm/swappiness，然后重新运行

选择安装的服务一般按默认即可，继续数据库的设置，检查通过后继续

集群设置的审查，继续

安装Hive的时候可能会报错，因为使用了MySql作为hive的元数据存储，hive默认没有带mysql的驱动

解决方法拷贝一个到hive路径 然后重试：

cp /opt/cm-5.1.3/share/cmf/lib/mysql-connector-java-5.1.32.jar /opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/lib/