MapReduce框架以及Hive任务提交详解

最新推荐文章于 2024-09-16 22:54:38 发布
最新推荐文章于 2024-09-16 22:54:38 发布
阅读量4.7k 收藏 1
点赞数
分类专栏： hadoop hive 文章标签： Hadoop Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyzzxycj/article/details/102860762
版权
hadoop 同时被 2 个专栏收录
47 篇文章 8 订阅
订阅专栏
hive
14 篇文章 1 订阅
订阅专栏

起因

在切Hive任务到Spark的时候，发现Spark在处理只有Hive元数据而HDFS文件块丢失的任务时，会抛HDFS的异常InvalidInputException，而Hive在这种情况下不受影响。
因此，就去找Hive在处理只有元数据的空表时做的优化。发现Hive会在读表前，setInputPaths时做一次判断，如果HDFS不存在对应的文件，则会生成一个DummyTable/DummyPartition，并将Hive要提交的Job中的文件读取路径更新掉。
于是顺着这根线，就把Hive封装提交任务和MapReduce框架的代码都看了一遍。
有点扯远了，，，下面进入正文。。

写一篇发现有点太长了，分成两篇吧。

MapReduce框架核心源码解析(Hadoop v3.1.2)

Hive任务提交核心源码解析(Hive v3.1)

YARN核心源码解析

大数据组件HDFS、MapReduce、Hive三个大数据组件的特点和架构，并详细阐述它们之间的联系与区别
AI天才研究院
08-04 2356
大数据组件是解决大数据的关键组件之一，在Hadoop生态系统中占据着至关重要的地位，它包括了HDFS、MapReduce、Hive等等一系列框架和工具。本文将会通过主要分析HDFS、MapReduce、Hive三个大数据组件的特点和架构，并详细阐述它们之间的联系与区别。HDFS（Hadoop Distributed File System）介绍MapReduce（Hadoop Distributed Computing Framework）介绍。
Hive框架详解
qq_47947471的博客
10-05 1355
Hive基本概念 1.hive基本概念 (1)起源:由FaceBook开源，用于解决海量结构化日志的数据统计。 (2)概念:Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 (3)本质:将HQL转换成MapReduce程序。 ①Hive处理的数据存储在HDFS ②Hive分析数据底层的实现是MapReduce ③执行程序运行在YARN上 2.hive优缺点: (1)优点: ①操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手） ②避免了去写
Hive任务提交流程.pdf
09-21
Hive任务提交流程.pdf
Hive--提交脚本步骤
修行的博客
11-09 924
Hive提交脚本步骤 上面的hive.sql执行中会有三个参数，需要后期的变动，下面给出执行命令 hive -f /root/sql/ruu1.sql --hivevar province_id=844 --hivevar daySelect=`date +%Y%m%d -d '-9 days'` --hivevar province_name='广东' hive -f /root/sql/ruu1.sql -d province_id=844 -d daySelect=`date +%Y%m%d -d
详解MapReduce全过程
最新发布
2301_77702743的博客
09-16 1384
我们为什么要如此大费周章的使用MapReduce？用MySQL处理不好吗？大家有没有这些疑问，明明很多的事情MySQL就能够解决的很好，为什么硬要上MapReduce呢？我来回答一下这个问题。MySQL是单机场景，而MapReduce是分布式系统，两个工具处理数据的能力是千差万别，mapreduce适合的是PB，TB级别的数据集处理，而mysql能力却较为有限。mapreduce采用分布式计算，容错性非常之高，一个节点报错了其他节点可以迅速进行补上。
Hive工作流程
狂躁的辣条的博客
07-19 700
1、interface 指的是Hive的用户接口，也就是client 2、client将 hql提交到Hive的 Driver，Driver查询编译器，分析查询语法和查询计划或者查询要求，然后发送给compiler 3、compiler发送给元数据请求到metastore，查看需要的表，字段等是否存在。 4、metastore响应编译器的元数据请求，如果满足要求就返回结果给compiler，否则...
hive-mapreduce过程
wenqiangW_的博客
02-22 183
https://blog.csdn.net/u010738184/article/details/70893161/
MapReduce+hive无分区书写流程
m0_59776219的博客
07-15 256
Mapreduce+hive分析无分区情况下 书写流程 1.原始数据加载到HDFS平台 sftp 192.168.56.2 将原始数据上传至linux本地 root用户下 ls 命令进行查看是否上传成功 成功：①启动Hadoop cd app/hadoop../sbin/./start-all.sh 启动成功后 jps查看进程 此时，位置应处于sbin目录 ②回到Linux本地家目录下 cd ~ ③上传原始文件至hd...
Hive的案例详解.pdf
06-28
1. **快速处理大量数据**：Hive利用Hadoop的MapReduce框架，可以高效地处理和分析大规模数据集。 2. **灵活性**：Hive支持多种数据存储格式，例如文本文件、CSV文件、SequenceFile等，并且还支持自定义数据存储格式...
Hadoop与大数据技术基石：HDFS、MapReduce与Hive、Pig详解
第4页进一步阐述了MapReduce，这是一个强大的并行计算框架，使得编写处理TB级数据的应用程序变得更加容易。MapReduce是Hadoop的核心组件，它将数据分发到多台商用硬件组成的集群中，确保处理过程的可靠性和容错性，...
hadoop+ha+hive+mapreduce
04-09
【标题】"hadoop+ha+hive+mapreduce"涵盖了大数据处理领域中的核心组件，包括Hadoop的高可用性（HA）、Hive的数据仓库服务、MapReduce的分布式计算框架。这些技术是构建大规模数据处理系统的基础，对于理解大数据...
Hive3.1.2源码阅读--提交任务executeDriver
Cxf2018的博客
03-16 1609
由上文可知，客户端的驱动工作是在executeDriver中进行的 调用该方法时传入了三个参数： 1.1 ss hiveconf用户配置 1.2 conf hiveconf默认配置 1.3 oproc 用户环境配置 ctrl+左键进入该方法中 2.1 首先根据前面解析出来的参数，将对应的参数值封装到CliDriver对象中 2.2 如果是-e的执行方式，则直接执行后面的sql语句；如果是-h的执行方式，则执行对应的sql脚本文件 2.3 如果执行引擎是mapreduce的话，则输出一些告警信息（hive.
Mapreduce执行过程详解
热门推荐
yangshaojun1992的博客
12-14 3万+
一、分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图： 二、Mapper任务的执行过程详解 每个Mapper任务是一个java进程，它会读...
关于hive，mapreduce，hadoop讲解
weixin_43951105的博客
04-24 313
mapreduce知识 1.什么是mapreduce?特点？ mapreduce分为map端和reduce端 map端映射，reduce端归约 mapreduce是分布式计算框架，用于处理海量数据 特点： 易于编程， 高扩展 适合海量数据的处理 有良好的容错性 2.maptask和reducetask的区别？ maptask解析数据通过map方法写入磁盘 reducetask通过复...
Hive代码分析报告（十一）：HQL提交到编译解析过程梳理①
weixin_45846560的博客
12-08 782
2021SC@SDUSC 目录 概述 HIVE的组成层次 从用户接口提交到进入编译解析 概述 前面的文章中，我们小组通过对代码的阅读和分析以及查阅资料，简单分析了HIVE中HQL语句从输入命令行（用户接口）到进入编译（语义分析）的简单流程。这里我汇总一下前面的分析内容，对HIVE的前两个主要流程进行梳理。 HIVE的组成层次 Hive 主要分为三个层次： 1. Interfaces：这是Hive 对外提供的使用接口 主要包括命令行接口、web 接口、基于thrift 协议的服务接口、基于
Hive--提交脚本参数选择
修行的博客
11-09 653
Hive提交脚本参数选择 -hivevar : 传参数 ，专门提供给用户自定义变量。 -hiveconf : 传参数，包括了hive-site.xml中配置的hive全局变量。 1）hiveconf hiveconf用于定义HIVE执行上下文的属性(配置参数)，可覆盖覆盖hive-site.xml（hive-default.xml）中的参数值，如用户执行目录、日志打印级别、执行队列等，常用的配置属性如下： 参数名称 和 参数解释 hive.metastore.warehouse.dir 启动时指定用户目录，
Hive中SQL查询转MapReduce作业过程------学习笔记
PeixinYe的博客
03-16 1898
说明：当启动MapReduce程序时，Hive本身是不会生成MapReduce算法程序的需要通过一个表示“Job执行计划”的XML文件驱动执行内置的、原生的Mapper和Reducer模块Hive通过和JobTracker通信来初始化MapReduce任务，不必直接部署在JobTracker所在的管理节点上执行通常在大型集群上，会有专门的网关机来部署Hive工具。网关机的作用主要是远程操作和管理节...
hive流程理解
weixin_45987493的博客
07-07 299
1.用户提交查询等任务给Driver 2.编译器获得该用户的任务Plan 3.编译器Compiler得到元数据信息，对任务进行编译、先将HiveQL转换为抽象语法树 4将抽象语法树转换成查询块 5.将查询快转化为逻辑的查询计划 6重写逻辑查询计划 7将逻辑计划转换为物理的计划 8最后选择最佳的策略 9.将最终的计划提交给Driver 10.Driver将计划Plan转交给ExecutionEngine去执行，获取元数据信息，提交给JobTracker或11。11.SourceManager执行该任务，任务.
揭秘Hive执行机制：MR MapReduce详解
总结来说，Hive通过巧妙地利用Hadoop MapReduce框架，实现了SQL查询到分布式计算的无缝转换，提供了易用的接口来操作大规模数据。理解这个原理有助于深入掌握Hive的工作流程，以及如何优化其性能和扩展性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值