![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
源神
天道酬勤
展开
-
NameNode启动报错:safemode get | grep 'Safe mode is OFF'' returned 1.
执行命名行:hadoop dfsadmin -safemode leave让NameNode离开安全模式原创 2017-09-17 20:06:00 · 2861 阅读 · 0 评论 -
集群扩容DataNode报错:Invalid dfs.datanode.data.dir /data2/hadoop/hdfs/data : EPERM: Operation not permitt
刚开始尝试修改一个集群节点进行扩容,然后修改了配置参数文件dfs.datanode.data.dir参数后面追加挂载的数据目录,发现启动时正常,后面索性多修改几个节点发现集群后面修改的DataNode全部启动报错(日志记录在/var/log/hadoop/dfs/hadoop-hdfs-datanode-*.log):Too many failed volumes - current va原创 2017-09-17 20:43:24 · 5705 阅读 · 0 评论 -
Hadoop集群扩容新增4T硬盘(解决分区大小问题限制2T问题)
用fdisk分区,发现最大支持2T的分区简单记录下操作命令流程:1、查询磁盘信息:fdisk -l2、4T硬盘分4个区:parted /dev/sdcmklabel gpt/dev/sdc mkpart sdc1 2048s 1000gb/dev/sdc mkpart sdc2 1000gb 2000gb/dev/sdc mkpart sdc3 20原创 2017-09-15 21:47:53 · 2721 阅读 · 0 评论 -
hadoop设置配额出错:Access denied for user Administrator. Superuser privilege is required
查看源码中,用户获取流程:先读取HADOOP_USER_NAME系统环境变量,然后是java环境变量,没有就从NTUserPrincipal里取。可以配置HADOOP_USER_NAME环境变量,因为我是windows开发测试,所以个人解决方案:(1)在代码前设置用户:System.setProperty("HADOOP_USER_NAME", "hdfs"); 或者:(2)URI uri = n...原创 2018-06-26 09:27:25 · 2771 阅读 · 0 评论 -
Could not find or load main class org.apache.hadoop.fs.FsShell
hadoop常用命令,例如hdfs dfs -ls出现如上报错,发现配置文件/etc/profile中包含$HADOOP_COMMON_HOME注释掉在source/etc/profile即可。注:当您有多个hadoop实例时,通常会发生这种情况,检查哪个hadoop并查看它是否指向您已安装的版本。如果它指向/ usr / bin / hadoop而不是/ ...原创 2019-05-17 09:39:01 · 1971 阅读 · 0 评论 -
hadoop dfs -ls / 显示不出来killed掉了,报错Java heap space
问题原因:根目录下生成太多的小文件,导致元数据加载到client客户端时会引起内存不足解决办法:加大HADOOP_CLIENT_OPTS的配置,export HADOOP_CLIENT_OPTS="-Xmx2048m $HADOOP_CLIENT_OPTS"HADOOP_CLIENT_OPTS="-Xmx2048m" hadoop dfs -ls /发现hadoop根目录都是*...原创 2019-06-03 11:33:10 · 756 阅读 · 0 评论 -
hive数据迁移(跨集群,中文乱码问题)
命令:hadoop distcp -skipcrccheck -update hdfs://132.bd:8020/tmp/ds10/ hdfs://chinacreator/tmp/ds10/在目标集群上执行此命令源地址:hdfs://132.bd:8020/tmp/ds10/目标地址:hdfs://chinacreator/tmp/ds10/-skipcrccheck 因本次...原创 2019-09-12 15:07:10 · 518 阅读 · 0 评论