大数据Hive高频面试题(附答案)

一、Hive面试题

1、hive内部表和外部表的区别

未被external修饰的是内部表,被external修饰的为外部表。

区别:

内部表数据由Hive自身管理,外部表数据由HDFS管理;
内部表数据存储的位置是hive.metastore.warehouse.dir(默认:/user/hive/warehouse),    外部表数据的存储位置由自己制定(如果没有LOCATION,Hive将在HDFS上       的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹,并将属于这个表的数据存    放在这里);
删除内部表会直接删除元数据(metadata)及存储数据;删除外部表仅仅会删除元数据,HDFS上的文件并不会被删除。
 

2、Hive有索引吗

Hive支持索引(3.0版本之前),但是Hive的索引与关系型数据库中的索引并不相同。并且    Hive索引提供的功能很有限,效率也并不高,因此Hive索引很少使用。

索引适用的场景:

适用于不更新的静态字段。以免总是重建索引数据。每次建立、更新数据后,都要重建索    引以构建索引表。

3、运维如何对hive进行调度

将hive的sql定义在脚本当中;
使用azkaban或者oozie进行任务的调度;
监控任务调度页面。

4、ORC、Parquet等列式存储的优点

ORC:ORC文件是自描述的,它的元数据使

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是大数据工程师常见的面试题答案: 1. 请介绍一下Hadoop的组件及其作用 Hadoop主要由HDFS和MapReduce两个核心组件构成。其中,HDFS是分布式文件系统,用于存储大量的结构化和非结构化数据;MapReduce是一种分布式计算模型,用于实现大规模数据的分布式计算。 此外,Hadoop还包含了多个组件,如YARN、Hive、Pig、HBase、Zookeeper等,用于辅助实现数据的处理、管理和分析。 2. 什么是MapReduce?请简述Map和Reduce的作用 MapReduce是一种分布式计算模型,用于实现大规模数据的分布式计算。其中,Map和Reduce是MapReduce计算框架中最核心的两个概念。 Map的作用是将输入数据按照一定的规则进行切分和映射,然后将结果输出为中间结果;Reduce的作用是将中间结果按照一定的规则进行合并和汇总,最终输出最终结果。 3. 请简述Hadoop的工作原理 Hadoop采用分布式存储和计算的方式,将大规模数据分散存储在多个节点上,并通过网络连接进行通信和协调。其中,HDFS是分布式文件系统,用于存储大量的结构化和非结构化数据;MapReduce是一种分布式计算模型,用于实现大规模数据的分布式计算。 当需要对数据进行处理时,MapReduce会将数据按照一定的规则进行切分和映射,然后在多个节点上进行并行计算,最后将结果合并后输出。整个过程中,Hadoop会自动完成数据的切分、复制、容错等操作,以保证整个系统的可靠性和高效性。 4. 请介绍一下HBase的特点及其使用场景 HBase是一种基于Hadoop的列式数据库,具有高可靠性、高扩展性和高性能等特点。它可以存储大规模的结构化和非结构化数据,并支持实时查询和分析。 HBase主要适用于需要处理大量实时数据的场景,如社交网络、日志分析、在线广告等。其优点在于能够快速处理大量的数据,支持实时查询和分析,并且具有高可靠性和高扩展性。 5. 请介绍一下Spark的特点及其使用场景 Spark是一种基于内存的分布式计算框架,具有高速计算、易于编程和支持多种语言等特点。它可以处理大规模的数据,并且支持多种计算模型,如批处理、流处理和机器学习等。 Spark主要适用于需要处理大规模数据的场景,如数据挖掘、机器学习、实时数据处理等。其优点在于能够快速处理大量的数据,支持多种计算模型,并且易于编程和使用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值