hadoop
zhangyingchengqi
学无止境。
展开
-
idea中big data tools工具联接hadoop错误
idea中的big data tools工具联接hadoop集群问题.原创 2022-06-08 20:57:41 · 1038 阅读 · 1 评论 -
hadoop fsck命令及namenode元数据修复.
报错如下:FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: recoverUnfinalizedSegments failed for required journal (JournalAndStream(mgr=QJM to [192.168.76.201:8485, 192.168.76.202:8485, 192.168.76.203:8485], stream=null))java.lang.AssertionEr.原创 2021-08-10 08:07:43 · 1501 阅读 · 0 评论 -
hadoop的stop-all无法关闭集群原因及解决方案
在虚拟机中长时间运行hadoop之后,如果运行stop-all.sh,会发现:[root@node1 sbin]# stop-all.shThis script is Deprecated. Instead use stop-dfs.sh and stop-yarn.shStopping namenodes on [node1 node2]node1: no namenode to stopnode2: no namenode to stopnode2: no datanode to s..原创 2021-07-21 20:32:19 · 4471 阅读 · 1 评论 -
eclipse操作HDFS时异常的解决: Permission denied: user=administrator, access=WRITE,
在虚拟机上搭建了一个Hadoop的环境(4节点),在用windows上的Java客户端来操作集群中的HDFS文件时出现了如下的认证错误org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="/input4":root:...原创 2019-12-20 11:56:01 · 754 阅读 · 0 评论 -
map reduce简介
MapReduce是为了解决传统HPC框架在面对海量数据时扩展困难而产生的。MapReduce致力于解决大规模数据处理的问题,利用局部性原理将整个问题分而治之。 MapReduce集群由普通PC机构成,为无共享式架构。在处理之前,将数据集分布至各个节点。处理时,每个节点就近读取本地存储的数据处理(Map),将处理后的数据进行合并(Combine)、排序(Shuffle and转载 2016-02-23 14:25:46 · 1085 阅读 · 0 评论 -
hadoop问题: 安全模式
问题描述 : 运行 hadoop fs -put log1.txt /streamingtest 时出错: org.apache.hadoop.dfs.SafeModeException: Cannot put ...... Name node is in safe mode分析: Name node is in safe mode说明Hadoop的N...原创 2018-09-29 10:45:56 · 258 阅读 · 0 评论 -
sqoop 从mysql导入数据到 hadoop出错
19/07/29 01:42:50 ERROR tool.ImportTool: Import failed: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot delete /tmp/hadoop-yarn/staging/root/.st...原创 2019-07-29 13:48:59 · 850 阅读 · 0 评论 -
Cannot create directory /tmp/hadoop-yarn/staging/root/.staging. Name node is in safe mode.
利用 sqoop从mysql导入数据到hadoop 中出现以下错误:19/07/28 07:47:43 ERROR tool.ImportTool: Import failed: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot cr...原创 2019-07-28 19:58:01 · 4552 阅读 · 2 评论