hadoop
文章平均质量分 92
龟速扣代码
大数据开发工程师
展开
-
Hive常见的计算(连续纸,topN,行专列,列转行)
hive 面试sql 连续值 topN 行转列 列转行 json解析 jsont_uple get_json_object原创 2022-05-24 02:54:57 · 1612 阅读 · 0 评论 -
MapReduce的启动流程,源码阅读
MapReduce的启动过程,MR的输入和输出的格式类和路劲检查,切片逻辑,application临时目录构建,原创 2022-05-08 23:03:12 · 949 阅读 · 0 评论 -
Hadoop的安装部署(学习使用)
大数据学习 hadoop yarn HDFS原创 2021-11-24 00:07:07 · 1815 阅读 · 0 评论 -
active RM机子断电后,RM HA切换正常。但是YarnUI上查看不到集群资源,application也一直处于ACCEPTED状态。
目录问题表现:排查思路:判断是application问题 还是 yarn问题 导致问题表现: Active RM所在的机子断电,在ambari上看到了1分钟左右 RM HA主备切换成功了。即standby RM变成了 active RM 访问YarnUi上,查看集群的信息,发现memory和cores都是0. 但是ambari上看到集群的机子都正常运行。 application在yarnUi上看一直处于ACCEPTED状态,但是查看数据库一直有新的数据存入。.原创 2020-12-06 20:21:27 · 960 阅读 · 0 评论 -
Yarn在运行时报错error handling URI: /cluster org.eclipse.jetty.io.RuntimeIOException: org.eclipse.jetty.io
在Yarn运行的application的日志中发现有规律的错误日志影响:并没有影响服务,application正常处理数据。日志现状:1-- 两个时间点。每个时间点往后间隔1分钟会有相同错误日志。2-- 不是每次间隔都会有(即使1分钟的整数倍,有时候2分钟,有时候4分钟)。日志内容:2020-07-01 10:05:43,497 ERROR webapp.Dispatcher (Dispatcher.java:service(171)) - error handling URI:原创 2020-08-27 12:46:54 · 3546 阅读 · 5 评论