- 博客(7)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Hadoop-3.x新特性
相对于之前主要生产发布版本Hadoop 2，Apache Hadoop 3整合许多重要的增强功能。 Hadoop 3是一个可用版本，提供了稳定性和高质量的API，可以用于实际的产品开发。下面简要介绍一下Hadoop3的主要变化。1、最低Java版本要求从Java7变为Java8所有Hadoop的jar都是基于Java 8运行是版本进行编译执行的，仍在使用Java 7或更低Java版本...
2019-04-12 10:18:35
15838
原创 Spark面试精选题（06）
1、Operation category READ is not supported in state standby是什么原因导致的org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state st...
2019-04-11 10:22:34
17511
原创 Spark面试精选题（05）
1、简答说一下hadoop的map-reduce编程模型首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合使用的是hadoop内置的数据类型，比如longwritable、text等将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-value在输出之后会进行一个partition分区操作，默认使用的是hashpartitioner，可以通...
2019-04-11 10:10:31
16178
原创 Spark面试精选题（04）
1、MRV1有哪些不足1) 可扩展性（对于变化的应付能力） a) JobTracker内存中保存用户作业的信息 b) JobTracker使用的是粗粒度的锁2) 可靠性和可用性 a) JobTracker失效会多事集群中所有的运行作业，用户需手动重新提交和恢复工作流3) 对不同编程模型的支持HadoopV1以MapReduce为中心的设计虽然能支持广泛的用例，但是...
2019-04-11 10:04:36
18085
原创 Spark面试精选题（03）
1、Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外继续提供服务...
2019-04-11 09:49:59
17350
原创 Spark面试精选题（02）
1、driver的功能是什么？1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点；2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。2、spar...
2019-04-11 09:27:35
15757
原创 Spark面试精选题（01）
1、Spark中的RDD是什么，有哪些特性概念：RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。Dataset：就是一个集合，用于存放数据的Distributed：分布式，可以并行在集群计算Resilient：表示弹性的弹性表示1、RDD中的数据可以存储在...
2019-04-11 09:21:57
16258
1
hadoop-eclipse-plugin-2.7.4.jar
2017-09-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人