CDH 6 的使用（hadoop ha、yarn ha）

日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

---

 

总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用

1.每台机器：根据aliyun提供的服务进行 时间同步：ntpdate -u ntp6.aliyun.com
        启动服务 systemctl start ntpd、重启服务systemctl restart ntpd、关闭服务systemctl stop ntpd  
        查看是否启动 ps -ef | grep ntpd
        开机启动 systemctl enable ntpd.service 
        查看时间同步状态 ntpstat 
        查看时间：date 或 timedatectl
  注意：每个节点执行ntpstat 和 timedatectl 都显示同步并且时间相同，那么CDH才能正常使用。
        每次ntp服务同步到外部授时中心都要一段时间(5~10分钟)，只有当NTP server(node1)节点和其他的NTP client(node2、node3)节点都显示同步成功之后，
        CM页面中的每台机器才不会报错。可通过timedatectl查看到当前节点是否同步成功：如果显示 NTP enabled: yes 和 NTP synchronized: yes 才表示成功。

2.必须保证MySQL启动了，才能正常启动Cloudera Manager Server：service mysql start 和 service mysql status 

3.node1主节点：启动Cloudera Manager Server，一般机器启动时，Cloudera Manager Server便会自动启动，因此无需手动启动
    systemctl start cloudera-scm-server 启动之后需要一段时间才能完全整个启动(一般一分钟之内)，才可以访问到 192.168.88.100:7180/cmf/login  
    systemctl stop cloudera-scm-server    建议每次关机之前都先停止 cloudera-scm-server，要么就挂起
    systemctl restart cloudera-scm-server        
    systemctl status cloudera-scm-server    
        1.ps -ef | grep cloudera-scm-server 查看是否启动
        2.systemctl status cloudera-scm-server 查看启动状态，启动正常显示 Active: active (running) 
        3.cloudera-scm-server 默认使用的端口 7180，那么就可以通过 192.168.88.100:7180/cmf/login 访问 CM
        4.netstat -lnpt | grep 7180 只要被使用时才能访问到 192.168.88.100:7180/cmf/login
            正常显示  tcp 0  0 0.0.0.0:7180  0.0.0.0:*  LISTEN  68289/java

     注意：每次虚拟机要关闭之前都推荐先在CDH页面中停止集群，然后再关机
          如果启动CDH失败，请看 Cloudera Manager Server 启动日志：
                    ll -r   /var/log/cloudera-scm-server/
                    ll -r   /var/log/cloudera-scm-agent/
            报错信息中只要是包含 at com.mysql.jdbc.xxx包 或 com.mysql.jdbc.exceptions 等信息，就表示mysql没启动
3.所有机器的时间同步
    1.ntpdate -u ntp6.aliyun.com 同步阿里云时间
    2.timedatectl 查看当前时间和NTP服务的同步状态，需要显示为 NTP enabled: yes 和 NTP synchronized: yes 才表示各机器之间的时间服务NTP完全同步
    3.如果显示 NTP enabled: no那么 启动服务 systemctl start ntpd，查看是否启动 ps -ef | grep ntpd
    4.执行ntpstat每个节点时间服务NTP的同步情况，主节点显示synchronised to NTP server (xxx.xxx.xxx.xxx)表示成功同步外部的授时中心
      其他子节点显示synchronised to NTP server (主节点IP)表示其他子节点同步主节点的时间，如果显示unsynchronised表示没有同步成功，这时可选择systemctl restart ntpd 
    5.注意：ntpd服务启动后，主节点一般需要1~5分钟才能同步上外部的授时中心，其他子节点同样可能需要1~5分钟才同步上主节点时钟
4.通过 192.168.88.100:7180/cmf/login 访问 CM
        1.HDFS：
            1.dfs.permissions 检查 HDFS 权限
                操作：关闭权限检查，选择不勾选

        2.HDFS/Hive：
            问题：Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件
            解决：经过查看日志，发现 Name node is in safe mode. 
                  sudo -u hdfs hdfs dfsadmin -safemode leave 
            然后重启HDFS，注意可能还要等一段时间CDH才会重新显示hive为正常(绿色)

=============================== Hadoop HA 搭建 ===========================================

dfs.namenode.edits.dir (NameNode 编辑目录) :  写入 NameNode 编辑的本地文件系统上的目录。未指定将存放在namenode数据目录中。

dfs.journalnode.edits.dir (JournalNode 编辑目录):用于存储 NameNode 编辑的本地文件系统目录。journalnode所在节点的目录，存放editlog和其他信息。

 

===========================YARN HA 搭建 ===============================================