CDH 6 的使用(hadoop ha、yarn ha)

日萌社

人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)


 

总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用

1.每台机器:根据aliyun提供的服务进行 时间同步:ntpdate -u ntp6.aliyun.com
        启动服务 systemctl start ntpd、重启服务systemctl restart ntpd、关闭服务systemctl stop ntpd  
        查看是否启动 ps -ef | grep ntpd
        开机启动 systemctl enable ntpd.service 
        查看时间同步状态 ntpstat 
        查看时间:date 或 timedatectl
  注意:每个节点执行ntpstat 和 timedatectl 都显示同步并且时间相同,那么CDH才能正常使用。
        每次ntp服务同步到外部授时中心都要一段时间(5~10分钟),只有当NTP server(node1)节点和其他的NTP client(node2、node3)节点都显示同步成功之后,
        CM页面中的每台机器才不会报错。可通过timedatectl查看到当前节点是否同步成功:如果显示 NTP enabled: yes 和 NTP synchronized: yes 才表示成功。

2.必须保证MySQL启动了,才能正常启动Cloudera Manager Server:service mysql start 和 service mysql status 

3.node1主节点:启动Cloudera Manager Server,一般机器启动时,Cloudera Manager Server便会自动启动,因此无需手动启动
    systemctl start cloudera-scm-server 启动之后需要一段时间才能完全整个启动(一般一分钟之内),才可以访问到 192.168.88.100:7180/cmf/login  
    systemctl stop cloudera-scm-server    建议每次关机之前都先停止 cloudera-scm-server,要么就挂起
    systemctl restart cloudera-scm-server        
    systemctl status cloudera-scm-server    
        1.ps -ef | grep cloudera-scm-server 查看是否启动
        2.systemctl status cloudera-scm-server 查看启动状态,启动正常显示 Active: active (running) 
        3.cloudera-scm-server 默认使用的端口 7180,那么就可以通过 192.168.88.100:7180/cmf/login 访问 CM
        4.netstat -lnpt | grep 7180 只要被使用时才能访问到 192.168.88.100:7180/cmf/login
            正常显示  tcp 0  0 0.0.0.0:7180  0.0.0.0:*  LISTEN  68289/java

     注意:每次虚拟机要关闭之前都推荐先在CDH页面中停止集群,然后再关机
          如果启动CDH失败,请看 Cloudera Manager Server 启动日志:
                    ll -r   /var/log/cloudera-scm-server/
                    ll -r   /var/log/cloudera-scm-agent/
            报错信息中只要是包含 at com.mysql.jdbc.xxx包 或 com.mysql.jdbc.exceptions 等信息,就表示mysql没启动
3.所有机器的时间同步
    1.ntpdate -u ntp6.aliyun.com 同步阿里云时间
    2.timedatectl 查看当前时间和NTP服务的同步状态,需要显示为 NTP enabled: yes 和 NTP synchronized: yes 才表示各机器之间的时间服务NTP完全同步
    3.如果显示 NTP enabled: no那么 启动服务 systemctl start ntpd,查看是否启动 ps -ef | grep ntpd
    4.执行ntpstat每个节点时间服务NTP的同步情况,主节点显示synchronised to NTP server (xxx.xxx.xxx.xxx)表示成功同步外部的授时中心
      其他子节点显示synchronised to NTP server (主节点IP)表示其他子节点同步主节点的时间,如果显示unsynchronised表示没有同步成功,这时可选择systemctl restart ntpd 
    5.注意:ntpd服务启动后,主节点一般需要1~5分钟才能同步上外部的授时中心,其他子节点同样可能需要1~5分钟才同步上主节点时钟
4.通过 192.168.88.100:7180/cmf/login 访问 CM
        1.HDFS:
            1.dfs.permissions 检查 HDFS 权限
                操作:关闭权限检查,选择不勾选

        2.HDFS/Hive:
            问题:Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件
            解决:经过查看日志,发现 Name node is in safe mode. 
                  sudo -u hdfs hdfs dfsadmin -safemode leave 
            然后重启HDFS,注意可能还要等一段时间CDH才会重新显示hive为正常(绿色)


=============================== Hadoop HA 搭建 ===========================================

dfs.namenode.edits.dir (NameNode 编辑目录) :  写入 NameNode 编辑的本地文件系统上的目录。未指定将存放在namenode数据目录中。

dfs.journalnode.edits.dir (JournalNode 编辑目录):用于存储 NameNode 编辑的本地文件系统目录。journalnode所在节点的目录,存放editlog和其他信息。

 

===========================YARN HA 搭建 ===============================================

评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

あずにゃん

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值