CDH 常用指令及问题处理

1.常用指令

## 主节点启动server
systemctl start cloudera-scm-server

## 从节点启动agent
systemctl start cloudera-scm-agent

## 停止
systemctl stop cloudera-scm-server
systemctl stop cloudera-scm-agent
service supervisord stop
systemctl disable cloudera-scm-server

# 关闭开机启动
systemctl disable cloudera-scm-agent 

## 查看日志
tail -F /var/log/cloudera-scm-server/cloudera-scm-server.log

tail -F /var/log/cloudera-scm-agent/cloudera-scm-agent.log

# 服务端口查看
netstat -apn | grep 7180

# 测试数据库是否 正常连接
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmf root 123456

# 跑mapreduce 测试：
sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 1 1

2.CDH配置

1. oozie 时区设置

配置搜索：oozie-site
添加名称：oozie.processing.time.zone
值：GMT+0800

2. hue 时区设置

配置搜索：time
Hue（服务范围）：Asia/Shanghai

3.问题处理

1) 时区同步

启用时钟
systemctl start ntpd
# 同步主节点
ntpdate -u hdp01

2) 重新安装，不开启Auto-TLS

错误：
安装失败。 无法接收 Agent 发出的检测信号。
请确保主机的名称已正确配置。
请确保端口 7182 可在 Cloudera Manager Server 上访问（检查防火墙规则）。
请确保正在添加的主机上的端口 9000 和 9001 空闲。
检查正在添加的主机上 /var/log/cloudera-scm-agent/ 中的代理日志（某些日志可在安装详细信息中找到）。
如果在 Cloudera Manager 中启用为代理使用 TLS 加密（管理 -> 设置 -> 安全），请确保 /etc/cloudera-scm-agent/config.ini 在正在添加的主机上有 use_tls=1。重启相应的代理，并单击此处的重试链接。

解决办法：

---- 每台服务器做删除重装 ----
service cloudera-scm-agent stop

service supervisord stop

systemctl stop cloudera-scm-server

yum remove cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

rm -rf /opt/cloudera/*

数据库部分：删掉cmf数据库在重新创建
drop database cmf;

create database cmf default charset utf8 collate utf8_general_ci;
grant all on cmf.* to 'root'@'%' identified by '123456';

重新安装
rpm -vih cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

重新上传 .parcel 文件
cd /opt/cloudera/parcel-repo/

修改配置文件：
vi /etc/cloudera-scm-server/db.properties
vi /etc/cloudera-scm-agent/config.ini


# 保已安装cloudera-manager-agent
JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera /opt/cloudera/cm-agent/bin/certmanager setup --configure-services

3) 虚拟内存设置

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：

临时解决

通过echo 0 > /proc/sys/vm/swappiness即可解决。

永久解决
sysctl -w vm.swappiness=0

echo vm.swappiness = 0 >> /etc/sysctl.conf

4) 大内存页设置

大内存页禁用

echo never>/sys/kernel/mm/transparent_hugepage/defrag

echo never>/sys/kernel/mm/transparent_hugepage/enabled

5) 大内存页设置

Cloudera 安装Parcel提示主机运行状况不良

[root@esgyn001 ~]# cd /var/lib/cloudera-scm-agent/

[root@esgyn001 cloudera-scm-agent]# rm -rf cm_guid

[root@esgyn001 cloudera-scm-agent]# service cloudera-scm-agent restart