bug
hadoop程序猿
爸爸的爸爸是爷爷
展开
-
spark消费kafka问题记录(cdh5.16.2)
版本如下kafka和spark都安装完成后,执行spark2-shell竟然报错Error: A JNI error has occurred, please check your installation and try again网上搜大概是jdk版本的问题,添加环境变量可以解决export SPARK_DIST_CLASSPATH=$(hadoop clas...原创 2019-11-01 10:42:29 · 562 阅读 · 0 评论 -
sqoop将hive数据导进mysql报错:Unsupported major.minor version 52.0
离线分析需要将hive的数据导入到mysql做可视化,导数据时报错,查看log:发现jdk版本原因,sqoop shell命令会用系统jdk编译成jar包,然后用cdh的jdk跑map将数据导到mysql. 查看jdk(jdk1.7为报错之后,新装的,原来就jdk1.7cloudera,jdk1.8, 本人以为1.7cloudera与1.7有区别),发现系统用...原创 2018-05-17 15:35:48 · 1354 阅读 · 0 评论 -
断电后cdh集群后续处理
执行jps连接7180 cloudera-manager UI界面,无法连接执行/opt/cloudera-manager/cm-5.14.1/etc/init.d/cloudera-scm-server status提示:cloudera-scm-server dead but pid file exists删除.pid文件rm /opt/cloudera-manager...原创 2018-06-13 10:33:17 · 1362 阅读 · 3 评论 -
提交spark streaming产生大量磁盘文件
前一天提交的spark streaming测试程序,master为local[*]第二天从cdh界面发现该主机多了100多G文件查看hdfs 目录下/user/spark/applicationHistory,发现提交的spark程序产生了大量日志文件hdfs dfs -du -h /user/spark/applicationHistory查看前几行,都是些event日志,下面是...原创 2018-11-30 13:02:50 · 636 阅读 · 0 评论 -
CDH角色的日志目录的可用空间不足
CDH主界面发现好多角色都存在隐患点hdfs的隐患发现就是log和临时目录空间不足所引起的。此角色的日志目录所在的文件系统的可用空间小于10.0吉字节。/var/log/hadoop-httpfs/dfs/tmp/xxx到某台节点查看,df -h可以看到由于数据都挂载在根目录,而home目录却空闲了100多个G故在home目录下创建dfs,log...原创 2018-12-03 11:39:50 · 4780 阅读 · 0 评论