CDH6.3.0 报错汇总--转载

最新推荐文章于 2023-03-24 15:34:30 发布
最新推荐文章于 2023-03-24 15:34:30 发布
阅读量2.5k 收藏 5
点赞数
分类专栏： CDH
原文链接：https://blog.csdn.net/qq_39680564/article/details/100013275
版权

文章目录

 

- Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10

  • Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。
    在这里插入图片描述

临时生效：

sysctl vm.swappiness=10 && cat /proc/sys/vm/swappiness

永久生效：

echo 'vm.swappiness=10'>> /etc/sysctl.conf

- 已启用透明大页面压缩，可能会导致重大性能问题。

  • 已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。
    在这里插入图片描述

临时生效：

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

永久生效：

echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local

echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local

- JDBC driver cannot be found. Unable to find the JDBC database jar on host

  • JDBC driver cannot be found. Unable to find the JDBC database jar on host : gateway.cdh.
    在这里插入图片描述
    解决方案
    给这台主机安装MySQL JDBC驱动
mkdir -p /usr/share/java/  \
&& wget -O /usr/share/java/mysql-connector-java-5.1.48.tar.gz \
https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.48.tar.gz \
&& cd /usr/share/java/;tar -zxvf mysql-connector-java-5.1.48.tar.gz \
&& cp /usr/share/java/mysql-connector-java-5.1.48/mysql-connector-java-5.1.48-bin.jar /usr/share/java/mysql-connector-java.jar \
&& rm -rf /usr/share/java/mysql-connector-java-5.1.48/ \
&& rm -rf /usr/share/java/mysql-connector-java-5.1.48.tar.gz \
&& ls /usr/share/java/

- 存在隐患 : 9 DataNodes are required for the erasure coding policies: RS-6-3-1024k.

  • 存在隐患 : 9 DataNodes are required for the erasure coding policies: RS-6-3-1024k. The number of DataNodes is only 3.
    在这里插入图片描述

解决方案

使用RS-6-3-1024k编码纠删码策略至少需要9个DataNodes，当前只安装了3个，所以再增加6个DataNodes节点即可解决该问题。
修改编码纠删码策略同样也可以解决，不过会比较麻烦

- 不良 : 该主机与 Cloudera Manager Server 失去联系的时间过长。

解决方案

主机的NTP服务未开启，导致时间未同步，开启并重新同步服务器时间即可

systemctl start ntpd # 开启
systemctl status ntpd # 查看状态
systemctl enable ntpd # 设置开机自启
ntpdate -u 0.cn.pool.ntp.org #同步时间

同步时间后还是报错，可以考虑重启下服务器。

- Redaction rules file doesn’t exist

报错详情：
启动Cloudera Management Service服务时，各角色日志报错

[14/Nov/2019 10:17:16 +0000] 23674 MainThread redactor     ERROR    Redaction rules file doesn't exist, not redacting logs. file: redaction-rules.json, directory: /run/cloudera-scm-agent/process/342-cloudera-mgmt-SERVICEMONITOR

进入服务器查看/var/log/cloudera-scm-firehose/mgmt-cmf-mgmt-SERVICEMONITOR-tools.cdh.log.out日志时，发现详细报错

2019-11-14 10:48:29,931 ERROR com.cloudera.cmon.tstore.leveldb.LDBPartitionManager: Failed to open or create partition
com.cloudera.cmon.tstore.leveldb.LDBPartitionManager$LDBPartitionException: Unable to open DB in directory /var/lib/cloudera-service-monitor/ts/type/partitions/type_2019-11-08T18:14:12.168Z for partition LDBPartitionMetadataWrapper{tableName=type, partitionName=type_2019-11-08T18:14:12.168Z, startTime=2019-11-08T18:14:12.168Z, endTime=null, version=2, state=CLOSED}

解决方案
将/var/lib/cloudera-service-monitor目录改个名字，或者删掉，然后重启Cloudera Management Service即可。

- 不良 : 群集中有 1,972 个 副本不足的块 块。群集中共有 1,977 个块。百分比 副本不足的块: 99.75%。 临界阈值：40.00%。

在这里插入图片描述
原因
原因是设置的副本备份数与DataNode的个数不匹配。dfs.replication属性默认是3，也就是说副本数—块的备份数默认为3份。
DataNode不足三个会提示这个错误。
解决方案
步骤一：找到dfs.replication属性，设置为与DataNode安装的数量一致。
在这里插入图片描述
步骤二：通过命令更改备份数
在master主机上

sudo -u hdfs hadoop fs -setrep -R 2 /

- 不良 : 此 DataNode 未连接到其一个或多个 NameNode。

在这里插入图片描述
原因
详细的报错日志：

下午2点37:11.217分	ERROR	DataNode	
Initialization failed for Block pool BP-1320069028-192.168.1.31-1578636727309 (Datanode Uuid 0cf6e7cb-5bd8-4f97-92dc-74ee979a9b16) service to master.cdh/192.168.1.31:8022 Datanode denied communication with namenode because the host is not in the include-list: DatanodeRegistration(192.168.1.248:9866, datanodeUuid=0cf6e7cb-5bd8-4f97-92dc-74ee979a9b16, infoPort=9864, infoSecurePort=0, ipcPort=9867, storageInfo=lv=-57;cid=cluster10;nsid=124835555;c=1578636727309)
	at org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager.registerDatanode(DatanodeManager.java:1035)
	at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.registerDatanode(BlockManager.java:2315)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:3777)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.registerDatanode(NameNodeRpcServer.java:1467)
	at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolServerSideTranslatorPB.registerDatanode(DatanodeProtocolServerSideTranslatorPB.java:101)
	at org.apache.hadoop.hdfs.protocol.proto.DatanodeProtocolProtos$DatanodeProtocolService$2.callBlockingMethod(DatanodeProtocolProtos.java:31658)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:523)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:991)
	at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:869)
	at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:815)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2675)

看日志的意思是IP为192.168.1.31的master.cdh主机不在主机解析列表中。导致集群通讯失败。
解决方案
查看master.cdh主机的IP

[root@master ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens192: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:f6:d3:7a brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.248/24 brd 192.168.1.255 scope global noprefixroute dynamic ens192
       valid_lft 1776sec preferred_lft 1776sec
    inet 192.168.1.31/24 brd 192.168.1.255 scope global secondary noprefixroute ens192
       valid_lft forever preferred_lft forever
    inet6 fe80::e605:e475:3112:21d9/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

发现有两个IP，192.168.1.31是我之前设置的静态IP，192.168.1.248是系统自动生成的动态IP
修改网卡配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens192

将BOOTPROTO参数改为none

BOOTPROTO="none"

重启网卡

systemctl restart network

- not enough live tablet servers to create a table with the requested replication factor 3; 1 tablet servers are alive

在这里插入图片描述
原因
Kudu的默认存储副本是3，而我只安装了一个tablet服务
在这里插入图片描述
解决方案
所以修改Kudu的默认存储策略default_num_replicas为1，重启即可
注意修改为1之后，数据备份只会有一份，建议安装三个以上的tablet服务，备份策略为3，且个数只能是奇数
在这里插入图片描述

- impala-shell -f 脚本失败

报错详情

使用impala-shell -f 执行一个脚本向kudu表中插入数据，该脚本的内容是一百万条insert语句、大小是90M左右，执行了一会儿就报错了。

报错日志

ERROR: Memory limit exceeded: Could not allocate memory for KuduTableSink
KuduTableSink could not allocate 20.00 MB without exceeding limit.
Error occurred on backend gateway.cdh:22000 by fragment 2e4e42b84912de87:925e6af800000000
Memory left in process limit: 13.97 MB

解决方案
字面意思猜测是impala的KuduTableSink组件，使用的文件大小有限制为20M，所以修改impala的Maximum Cached File Handles配置多加几个0，保证大于读取的sql脚本文件大小。
在这里插入图片描述
也有人说修改这个配置，不过我没试。不知道行不行的通。
在这里插入图片描述

- impala并发执行查询SQL报错

报错详情

写了一个死循环脚本，并发执行impala的查询功能，运行了三分钟报错停止

报错日志

Could not execute command: select * from  kudu_big_data_test t where t.name='test4' and t.age=14
Starting Impala Shell without Kerberos authentication
Opened TCP connection to gateway.cdh:21000
Connected to gateway.cdh:21000
Server version: impalad version 3.2.0-cdh6.3.0 RELEASE (build 495397101e5807c701df71ea288f4815d69c2c8a)
Query: select * from  kudu_big_data_test t where t.name='test4' and t.age=14
Query submitted at: 2020-01-22 09:30:16 (Coordinator: http://gateway.cdh:25000)
Query progress can be monitored at: http://gateway.cdh:25000/query_plan?query_id=314d3442ff4461af:2e2c186500000000
ERROR: ExecQueryFInstances rpc query_id=314d3442ff4461af:2e2c186500000000 failed: Memory limit exceeded: Query 314d3442ff4461af:2e2c186500000000 could not start because the backend Impala daemon is over its memory limit
Error occurred on backend master.cdh:22000
Memory left in process limit: -104.70 MB
Process: memory limit exceeded. Limit=256.00 MB Total=360.70 MB Peak=760.13 MB
  Buffer Pool: Free Buffers: Total=0
  Buffer Pool: Clean Pages: Total=0
  Buffer Pool: Unused Reservation: Total=0
  Control Service Queue: Limit=50.00 MB Total=0 Peak=160.00 B
  Data Stream Service Queue: Limit=12.80 MB Total=0 Peak=0
  Data Stream Manager Early RPCs: Total=0 Peak=0
  TCMalloc Overhead: Total=39.69 MB
  RequestPool=root.admin: Total=0 Peak=18.30 MB
  RequestPool=root.root: Total=0 Peak=570.23 KB

解决方案
又是impala的内存限制，修改impala的配置，提高限制大小

在这里插入图片描述

zuoseve01
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop基础----hadoop实战(九)-----hadoop管理工具---CDH的错误排查(持续更新)
直到世界的尽头
11-29 1万+
啊解决红色警报时钟偏差这是因为我们的NTP服务不起作用导致的，几台机子之间有几秒钟的时间偏差。这种情况下一是把NTP重新整理配置一下。一种是在操作里调整报警误差范围。因为NTP的时间同步是平滑同步，不是跳跃式同步，如果设置得不好的话，很难校验出它同步成功了没，总感觉会缺少几秒钟的感觉。有一种解决方法是  我们这里不用NTP的自动同步，而是使用crond每分钟ntpdate 跳跃式同步一次。这种方法
CDH安装常见错误以及解决方法
qq_35757427的博客
11-09 182
opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-server stop #停止server。/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-agent stop #停止agent。#删除/opt/cloudera-manager/cm-5.14.0/lib/cloudera-scm-server-db/data/目录下内容。为CDH群集安装指定主机无法勾选。
CDH运维报错问题
hcq_lxq的博客
08-21 3096
ERROR Failed to connect to previous supervisor 问题背景： CDH有一台服务器重启，然后重启agent的服务的时候总是重启后自动挂掉，该节点的所有大数据的组件都不能开启。 查看log目录下的agent启动日志发现报如下错误： ERROR Failed to connect to previous supervisor 后来查询有解释说，是因为服务器重启后，再启动agent会报这个错误，除非删掉主机重新配置集群supervisor重启有残留配置在，需要清
初玩--CDH集群操作报错
Jantelope的博客
07-22 395
报错1:登录cdh主页报错连接被拒绝例如:192.168.137.111:7180 往往是cloudera-scm-server服务挂掉,我的CDH服务经常莫名其妙的挂掉,启动cloudera 就可以了 :service cloudera-scm-server start(在启动之前可以查看状态:service cloudera-scm-server status:cloudera-scm-...
CDH 部署错误（集合）持续更新~
小蚯蚓的博客
06-09 575
一、目的 在部署CDH集群，会有各式各样的意外，这些小错误太多。可能是一个阈值，也可能重启一下，也可能就是因为等一会就好。所以，在此记录所有错误，以备今后踩坑可以快速爬出来。 二、错误 1.CDH启动HDFS报错 Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件。 如下图 问题原因：namenod...
CDH集群启动时的异常错误
qq_41919284的博客
09-21 5662
在启动CDH集群的时候，两个错误： Inspector did not run successfully IOException thrown while collecting data from host:没有到主机的路由 Inspector did not run successfully： 命令：ps -auxlgrep agent 检查agent的启动路径 发现agent的启动有一个...
CDH 6.3.1 ranger ranger-2.1.0-admin.tar.gz
11-04
CDH 6.3.1 ranger admin模块； 需要剩下的 编译包请留言。已经完全解决所有版本的编译。
CDH6.3.0 rpm安装包大全 离线下载地址
05-02
cdh6\6.3.0\redhat7\yum\RPMS\noarch cdh6\6.3.0\redhat7\yum\RPMS\x86_64 2个目录 包含hadoop hive hbase bigtop impala spark kudu zookeeper sqoop flume 等等全系列安装rpm包 cdh6\6.3.0\parcels 包含cloudera ...
hbase-client-2.1.0-cdh6.3.0.jar
10-28
hbase-client-2.1.0-cdh6.3.0.jar
cdh6.3.0安装部署包，适合redhat7
05-08
cdh6.3.0安装部署包，适合redhat7
CDH集群大数据hadoop报错解决办法及思路整理-绝对干货
12-22
CDH集群大数据hadoop报错解决办法及思路整理，主要解决大数据在运行过程中所遇到的问题，相关解决办法都是实践验证过。
hive2.1.1-cdh6.3.2
05-08
hive JDBC jar包全家桶。由于项目使用，此jar包从国外下载费了好大劲，现分享给大家。 cdh6.3.2版本的
cdh对应hadoop_CDH安装错误集锦（详细解决教程）
weixin_42522964的博客
01-31 541
这里是实际项目CDH安装过程中的一部分错误，如果大家也有类似的问题，可以查阅。更多的信息可以访问itstaredu.com官网进行学习和查看。Q:java.io.IOException: the path component: '/var' is world-writable. Its permissions are 0666. Please fix this or select a differ...
问题解决：CDH重启报错，启动不了的解决步骤
枫夜
05-22 5726
因为园区突发断电，导致服务器断电。部署在服务器上面的CDH集群都挂了。现在需要重新启动起来，但是重启之后，服务一直启动不起来。本篇博文主要是针对这种情况，阐述解决问题的思路和问题解决的过程。
CDH5.16.X 常见错误集锦
queen123444的博客
02-28 139
CDH5.16.X 常见错误集锦
CDH常见错误之主机添加
予挚之的博客
03-24 1986
集群添加主机时出现的错误问题
学习hadoop遇到的问题（部署CDH5.9.1遇到的问题）
小马哥的博客
04-10 1637
问题1 错误提示： cloudera-scm-agent 已死，但 pid 文件仍存 解决办法： [root@node1 ~]# cd /var/run/ [root@node1 run]# rm -rf cloudera-scm-agent.pid 问题2 错误提示： error: No socket could be created on (‘node1’, 9000) – ...
CDH问题及维护汇总
热门推荐
北京小辉
05-22 1万+
目录：一、HIVE错误二、HDFS错误三、oozie错误四、Kafka错误五、Hbase错误六、Yarn和CM错误七、维护及添加服务八、其他错误————————————————————————————————————————————一、HIVE错误错误01命令详细信息: 创建 Hive Metastore 数据库表 解决办法： cp -r /var/lib/hive/mysql-con
CDH常见问题及解决方法（待续）
柯西柯西Cauchy
05-24 1万+
启动CDH提示Deploy Client configuration fail 原因： 依赖包perl未安装 yum install -y perl Po出自用脚本中的yum操作所需依赖包，仅做参考 yum -Cy install wget bind-utils psmisc libxslt zlib sqlite cyrus-sasl* fuse portmap fuse-libs r...
hbase2.1.0-cdh6.3.0 hbck2
最新发布
01-20
hbase2.1.0-cdh6.3.0是一个分布式的、面向列的开源数据库，适用于非结构化和半结构化数据存储。而hbck2是HBase 2.0及以上版本的工具，用于检测和修复HBase集群中的一些问题，比如不一致的region分配、损坏的region等。 hbck2工具能够帮助用户检测HBase集群中可能存在的问题，并尝试修复这些问题，确保集群的稳定性和可靠性。它可以检查并修复region的状态，使其与集群其他部分保持一致，还可以修复一些损坏的region文件，防止数据丢失。 在使用hbase2.1.0-cdh6.3.0的过程中，集群可能会出现一些意外情况，比如网络故障、磁盘损坏等，这时就需要hbck2工具来检查并修复这些问题。通过运行hbck2，用户可以及时发现集群中的潜在问题，并采取相应的措施进行修复，保障数据的完整性和可用性。 总之，hbase2.1.0-cdh6.3.0和hbck2是分布式数据库集群中非常重要的组件，能够帮助用户管理和维护HBase集群，保障集群的稳定运行和数据安全。通过使用hbck2工具，用户可以更加方便地了解集群状态，及时发现并解决潜在问题，为集群的高效运行提供保障。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值