Hive-为什么没有启动MapReduce任务

最新推荐文章于 2024-04-22 08:34:56 发布
最新推荐文章于 2024-04-22 08:34:56 发布
阅读量4.1k 收藏 3
点赞数 1
分类专栏： hive 文章标签： hive hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangxin1988/article/details/72903708
版权
当执行某些简单的Hive查询时，Hive可能会使用Fetch Task代替MapReduce，以提高效率。然而，这可能导致内存不足的问题。本文探讨了参数`hive.fetch.task.conversion`、`hive.fetch.task.aggr`和`hive.fetch.task.conversion.threshold`如何影响这一行为，以及如何通过调整这些参数来避免OutOfMemoryError错误。
摘要由CSDN通过智能技术生成

Hive-为什么没有启动MapReduce任务

涉及到关键参数：

  • hive.fetch.task.conversion
  • hive.fetch.task.aggr
  • hive.fetch.task.conversion.threshold

问题的背景：
(1)查询sql
select * from dim_beeper.dim_beeper_trans_match_driver_bid where p_day=’2017-06-06’ and source_id = 1594007;
(2)dim_beeper_trans_match_driver_bid是按照p_day来进行的分区表
(3)dim_beeper_trans_match_driver_bid的存储格式为parquet
(4)dim_beeper_trans_match_driver_bid在p_day＝2017-06-06分区下，包含两个文件，每个文件的大小如下：
这里写图片描述

(5)执行上面的sql会出现OutOfMemoryError错误

＝＝＝＝＝
在执行上面的sql时，由于是简单的selec

最低0.47元/天 解锁文章
Andy-Hadoop
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive调用MapReduce任务失败
sky_flying1的博客
09-24 4899
1. Hive简介Hive（蜂巢）Apache Hadoop生态圈的构成之一，其主要功能是基于Hadoop提供MapReduce的类SQL查询。Hive的语法规则和Mysql中SQL的语法规则极为相似，有Mysql使用经验的同学都能轻松上手。 Hive的执行分为本地模式和集群模式。本地模式执行简单的Hive SQL，不需要启动MapReduce程序，如-- 本地模式 select col_name
Hive无法执行MapReduce任务
MCY的博客
01-05 1509
检查HDFS和yarn集群否工作正常，基本都是yarn没启动或者服务挂掉了，实在不行重启hadoop集群即可，保证HDFS和yarn集群的工作正常
HIVE无法启动问题
最新发布
2301_77836489的博客
04-22 772
HIVE无法启动问题
hive启MapReduce失败
小小鱼
11-13 768
hive启MapReduce失败 一、首先排查hadoop日志IP:50070/logs/ 1.如果NN或SNN日志异常，一般需要重新格式化NN，删除tmp文件(就是删除镜像文件和日志文件，name里放的是edit_log和fsimage，data是数据文件，日志后面的时间戳和数据文件的时间戳对不上了就会出错，删除之后里面的文件都没了，并且权限也恢复为默认的) 2.然后进入sbin/hdfs namenode -format格式化 3.授权：hdfs dfs -chmod -R 777 / 4.重新启动服务
Hive：简单查询不启用Mapreduce job而启用Fetch task
zhoulixin8的专栏
07-06 302
我们都知道，启用MapReduce Job是会消耗系统开销的。对于这个问题，从Hive0.10.0版本开始，对于简单的不需要聚合的类似SELECT from LIMIT n语句，不需要起MapReduce job，直接通过Fetch task获取数据，可以通过下面几种方法实现： set hive.fetch.task.conversion=more; 开启了Fetch任务，所以对于上述简单
hive 只有map没有reducer 的优化
yisun123456的博客
08-02 2938
hive中在做查询时，经常会碰到这种问题，任务只起map不起reduce； 环境： hive  100出头的节点 7T左右的内存 basic表有300-400个分区，总数据量在6亿-7亿； 如下sql： select * from  basic_sum where user_log_acct='abcd'; 这个sql只会起一个job，这个job只有map，没有reduce；输入数...
Hive小问题记录-＞卡在提交JOB，无map与reduce任务出现-＞释放资源解决
啊帅和和的博客
01-12 1167
今天在运行一个hivesql的时候，整体的运行总是卡在这个阶段，没有map任务出现，也没有reduce任务出现，但是在不涉及mapreduce任务的sql都可以查询出来结果 整体也只有这一个application在运行，其余的运行任务，也都通过“yarn application -kill application_id”给终结了 整体的环境也没有任何问题 后来通过命令发现是整体的datanode磁盘使用过多，也有很多的垃圾文件没有来得及回收，这里删除一部分hdfs的文件，就可以正常运行了。 感谢阅读，
apache-hive-2.3.3-bin.tar.gz
04-02
7. **Hive Execution Engine**：负责将HQL转换为MapReduce任务或Tez任务（在Hive 2.x版本中，默认执行引擎是Tez，它提供了比MapReduce更高的性能）。 8. **Hive Web UI**：提供一个Web界面，用于监控Hive服务器的...
apache-hive-2.3.0-bin.tar.gz
01-05
3. **编译器和优化器**：Hive接收到HQL后，会将其转化为MapReduce任务。这个过程中，编译器会生成执行计划，优化器则会根据数据分布和集群资源情况对其进行优化。 4. **执行引擎**：Hive的执行引擎负责运行生成的...
apache-hive-2.1.1-bin.tar.gz
04-24
4. **容错性**：Hive 的作业都是通过 MapReduce 运行的，因此天然具备了 Hadoop 的容错性，当某个节点失败时，任务会被重新调度到其他节点执行。 5. **数据持久化**：Hive 可以将查询结果存储为新的表或文件，方便...
apache-hive-2.3.7-bin.tar.gz
09-15
1. **bin**：包含可执行脚本，如 `hive` 和 `hiveserver2`，这些脚本用于启动 Hive CLI（命令行界面）和服务。 2. **conf**：配置文件夹，存放如 `hive-site.xml` 和 `log4j.properties` 等配置文件，用于自定义 ...
apache-hive-2.3.2-bin.tar.gz
08-08
4. **Compiler**：将 SQL 查询转化为一系列的 MapReduce 任务。 5. **Execution Engine**：负责任务的调度和执行，可以是 MapReduce、Tez 或 Spark。 6. **Hcatalog**：作为数据层的接口，允许外部工具如 Pig、...
Hadoop 3.1.3 集群搭建踩坑记录 --Hive无法调用mapreduce
大数据研究小白
01-13 800
hive hadoop集成
hive sql 卡在提交JOB，mapreduce无法正常执行。
weixin_43930715的博客
11-19 3843
hive sql卡在提交job，无法执行mapreduce 在我编写hivesql去查询的时候只要涉及到mapreduce阶段的sql就会卡在提交job的地方。 而我们使用不涉及mapreduce的sql，却能够正常的查询到数据。 解题思路 我先查看我的hdfs集群各个节点的服务是否成功启动，使用jps查看。 查看发现hdfs正常启动后，我区分是mapreduce的问题还是sql的问题，进入hadoop/share/hadoop/mapreduce/ 目录下，执行自带的mapreduce计算π值，发现依旧
Hive分区表count(*)不起mapreduce的真相
勤能补拙
10-31 5366
问题背景： 在对Hive求count(*)时，发现有些表会启mapreduce计算、返回 结果，比较耗时，有的表1秒之内返回结果 刚开始以为刚刚执行过一次count()后会对结果进行缓存，不用再去跑mapreduce，但经进一步实验发现大多数表每次执行count()操作都会跑mapreduce，于是猜测的结论不成立。 后在必应查找原因，大部分的结果都指向了：‘hive从1.0开始采用Fetch
hive 运行mapreduce任务报错
qq_36928258的博客
05-11 829
近期由于公司大数据集群有很多历史遗留顽疾，进行了新旧集群的数据迁移。 前期进行了大数据新集群的搭建，接下来在跑hive任务的时候，发现了一个让人头痛的问题。可以看一下执行sql select substr(even_ttime,0,10) from ods_ods.ods_ods_ishare_log发现直接就报错。然后查看yarn的运行日志如下： 顿时一脸懵逼，因为上面的报错class是缺少其中的哪一个根本就不知道，在排查的过程中，1、...
hive ：简单查询不走mapreduce
不花的花和尚的博客
10-28 1748
在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。 这套映射工具称之为metastore，一...
Hive启动MapReduce任务参数
终码一生
11-18 576
在运行Hive Sql时，有时候Hive本身的优化机制，是不启动MapReduce任务，可以快速实现查询，但是有时候也会因为这种机制，造成查询时间过长，这时我们可以添加一个参数，强制使Hive转MapReduce任务执行。 set hive.fetch.task.conversion = none; 在执行Sql前，先执行即可。 ...
hive启动不成功原因
weixin_65195823的博客
03-10 9183
简单介绍了hive启动不成功原因，而Hive是一个基于Hadoop的数据仓库框架，它使用SQL语句读、写和管理大型分布式数据集。Hive可以将SQL语句转化为MapReduce (或Spark、 Tez) 任务执行，大大降低了Hadoop的使用门槛，减少了开发MapReduce程序的时间成本。
hive-exec-*。jar
09-06
hive-exec-*.jar 是 Apache Hive 的一个核心组件。Hive 是一个开源的数据仓库基础设施，可以将结构化的数据映射到 Hadoop 上进行处理和分析。hive-exec-*.jar 是 Hive 的 Executor 模块的 jar 文件。 Executor 模块是 Hive 的一个重要组件，负责执行由用户通过 HiveQL（Hive查询语言）编写的查询。Executor 接收到用户提交的查询后，首先会进行语法分析和语义解析，将 HiveQL 转换为底层的 MapReduce 或 Tez 任务。然后，Executor 在 Hadoop 集群上启动相应的任务执行查询。查询的结果将通过 Executor 将结果写入到适当的输出文件或表中。 hive-exec-*.jar 中还包含了 Hive 的执行器所需的其他工具和函数。这些工具和函数包括表达式解析器、查询解析器、查询优化器、执行计划生成器等。它们协同工作，使得 Hive 可以在 Hadoop 上高效地执行复杂的查询操作。 hive-exec-*.jar 是 Hive 的一个必要组件，用户在安装和配置 Hive 时需要确保该 jar 文件存在且正确。该 jar 文件通常会随着 Hive 的安装包一起提供，用户可以将其添加到 Hive 的 classpath 中，以保证 Hive 的正常运行。 总之，hive-exec-*.jar 是 Apache Hive 的 Executor 组件所依赖的 jar 文件，它负责将用户在 Hive 中编写的查询转换为底层的任务，并执行这些任务，最终将查询结果写入到输出文件或表中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值