CDH 6 安装

日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

---

 

总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用

在CDH安装之前必须保证NODE1主节点中的以下程序均已启动
    1.每台机器：根据aliyun提供的服务进行 时间同步：ntpdate -u ntp6.aliyun.com
        启动服务 systemctl start ntpd、systemctl restart ntpd 
        查看是否启动 ps -ef | grep ntpd
        开机启动 systemctl enable ntpd.service 
        查看时间同步状态 ntpstat 
       查看时间：date 或 timedatectl
    2.必须保证MySQL启动了，才能正常启动Cloudera Manager Server：service mysql start
    3.systemctl start httpd 必须保证已启动 httpd 
        启动httpd服务之后，可以浏览器查看 192.168.88.100/cm6.1/ 和 192.168.88.100/cdh6.1/
    
    4.systemctl start cloudera-scm-server 启动之后需要一段时间才能完全整个启动(一般一分钟之内)，才可以访问得到 192.168.88.100:7180/cmf/login
      systemctl stop cloudera-scm-server    
      systemctl restart cloudera-scm-server        
        启动Cloudera Manager Server，一般自动启动，无需手动
        1.ps -ef | grep cloudera-scm-server 查看是否启动
        2.systemctl status cloudera-scm-server 查看启动状态，启动正常显示 Active: active (running) 
        3.cloudera-scm-server 默认使用的端口 7180，那么就可以通过 192.168.88.100:7180/cmf/login 访问 CM
            netstat -lnpt | grep 7180 显示 tcp 0  0 0.0.0.0:7180  0.0.0.0:*  LISTEN  68289/java

=======================================================================================

CDH安装
    1.CDH集群安装向导
        1.通过 192.168.88.100:7180/cmf/login 访问 CM

        2.可以忽略这个自动TLS自动安装，点击“继续”跳到下一个页面

        3.输入主机ip或者名称，点击搜索找到主机后点击继续
            192.168.88.100,192.168.88.101,192.168.88.102

        4.选择自定义存储库，输入cm的http地址：http://192.168.88.100/cm6.1.0/ 或 http://192.168.88.100/cm6.0.0/

        5.使用Parcel选择，点击“更多选项”,点击“-”删除其它所有地址，输入 http://192.168.88.100/cdh6.1.0/ 或 http://192.168.88.100/cdh6.0.0/，点击“保存更改”，点击“继续”

        6.进入下一步安装jdk，点击“继续”

        7.进入下一步配置ssh账号密码(均为 机器用户密码)，点击“继续”

        8.进入下一步，安装Cloudera Manager相关到各个节点，等待agent安装完毕后，自动跳转到下一步开始分发parcel，点击“继续”


        9.进入下一步主机检查，确保所有检查项均通过。Fayson的机器因为有多个Java版本有一些警告，此步忽略。
            1.警告：
                从CDH 6开始，PostgreSQL支持的Hue要求Psycopg2版本至少为2.5.4，有关详细信息，请参阅文档。
                如果主机不运行CDH 6，或者不使用PostgreSQL运行Hue，或者不兼容RHEL 6，则可以忽略此警告。
                以下主机具有不兼容的Psycopg2版本“2.5.1”： 
            2.解决：
         
                首先安装epel扩展源：yum -y install epel-release
                更新完成之后，就可安装pip：yum -y install python-pip
                安装完成之后清除cache：yum clean all
                更新pip：pip install --upgrade pip
                更新psycopg2：pip install --upgrade psycopg2 还是无法解决，暂时忽略
                 其他：
                     安装 python3 如下：
                    yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make
                    https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tar.xz
                    tar -xvJf Python-3.7.2.tar.xz
                    cd /root/Python-3.7.2
                    ./configure prefix=/usr/local/python3
                    make && make install
                    ln -s /usr/local/python3/bin/python3 /usr/bin/python
                    执行python3 -V  看看输出的是不是python3的版本
                    执行python2 -V 和 python -V 看到的就是python2的版本
                    如果执行 python -V 是python3的版本的话，需要修改如下情况：
                        因为执行yum需要python2版本，所以我们还要修改yum的配置，执行 vi /usr/bin/yum 把 #! /usr/bin/python 修改为 #! /usr/bin/python2
                        同理 vi /usr/libexec/urlgrabber-ext-down 文件里面的 #! /usr/bin/python 也要修改为 #! /usr/bin/python2

        10.选择需要安装的服务

 
        11.进入集群角色分配 

https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cm_ig_host_allocations.html#host_role_assignments

 

        12.测试数据库连接
            和前面的MySQL数据库建立的数据库名和用户名密码是相关的 

        create database metastore default character set utf8;  
        CREATE USER 'hive'@'%' IDENTIFIED BY 'password';   
 
        
        create database cm default character set utf8;  
        CREATE USER 'cm'@'%' IDENTIFIED BY 'password';   


        create database am default character set utf8;   
        CREATE USER 'am'@'%' IDENTIFIED BY 'password';    


        create database rm default character set utf8;   
        CREATE USER 'rm'@'%' IDENTIFIED BY 'password';    


        create database hue default character set utf8;   
        CREATE USER 'hue'@'%' IDENTIFIED BY 'password';    


        create database oozie default character set utf8;   
        CREATE USER 'oozie'@'%' IDENTIFIED BY 'password';    

 

1.强烈不推荐写bind-address=xxx，那么后面的CDH安装对应的组件时要填写的“数据库主机名称”默认使用主机名。
2.如果/etc/my.cnf中配置了bind-address=localhost 的话，那么在CDH的安装页面中，配置连接数据库的主机名称必须为localhost。
  缺点：但是在安装hue时，“数据库主机名称”并无法使用localhost或任何主机名，所以造成无法安装hue
3.不配置 bind-address=localhost 的话，则使用主机名(NDOE1)作为此处的数据库主机名称
4.如果安装impala，在impala daemon节点上还需要安装perl：yum install perl
  rpm -qa | grep perl
5.如果安装hue，需要在相关节点上安装python-lxml：yum install python-lxml
  rpm -qa | grep python-lxml

 

        13.进入目录设置，此处使用默认目录，根据实际情况进行目录修改（默认不需要修改）
 
        14.正常全部安装：

        15.错误一 解决：

==========================Oozie====================================

 

 

 

1./opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie

2./opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext

3./var/lib/oozie

4.只需要在 oozie service 所在的 node1节点 配置即可
    下载ExtJS库（必须是2.2版）ext-2.2 下载地址 http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
      yum install unzip 
      unzip /var/lib/oozie/ext-2.2.zip -d /var/lib/oozie
      chown -R oozie:oozie /var/lib/oozie/ext-2.2 或 chown -R oozie:oozie /opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext/ext-2.2
      chown -R oozie:oozie /var/lib/oozie/ext-2.2.zip 或 chown -R oozie:oozie /opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext/ext-2.2.zip
      需要把 mysql-connector-java.jar 和 ext-2.2.zip 也放到 /var/lib/oozie 或 libext 中。
      因为 /opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext 软连接到 /var/lib/oozie目录中，所以当在 libext 目录中解压 ext-2.2.zip时，
      会自动在 /var/lib/oozie目录中 也同步一份 ext-2.2。
      如果是手动安装oozie的话，那么是不存在libext文件夹的，所以也需要 mkdir libext

5.Hadoop的core-site.xml:
      <!-- OOZIE -->
      <property>
            <name>hadoop.proxyuser.[OOZIE_SERVER_USER].hosts</name>
            <value>[OOZIE_SERVER_HOSTNAME]</value>
      </property>
      <property>
            <name>hadoop.proxyuser.[OOZIE_SERVER_USER].groups</name>
            <value>[USER_GROUPS_THAT_ALLOW_IMPERSONATION]</value>
      </property>

6.使用Oozie命令行工具检查Oozie的状态：
    1.oozie admin -oozie http://node1:11000/oozie -status  
      Oozie状态应为System mode: NORMAL
        或者可以尝试 export OOZIE_URL=http://node1:11000/oozie
    2.oozie admin -shareliblist
    3.oozie admin -status

7.oozie web ui：http://node1:11000/oozie/
  oozie 使用文档：http://node1:11000/oozie/docs/

===================================Hue============================================

=================================Impala===================================