![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 96
麦兜和小可的舅舅
Hadoop Engineer
Email: vico.wu1989@gmail.com
展开
-
Spark RPC框架详解
SparkContext构造过程的重要一步,就是Driver、ApplicationMaster以及Executor之间的协调和通信过程,这是基于RPC进行的。这里的Spark RPC是基于Netty的通信过程,而Netty的通信其实是基于Reactor架构进行的,Reactor架构其实是基于Java NIO模型进行的。本文详细讲解了基于Netty 的 SparkRPC 框架的实现细节。原创 2024-07-22 20:36:44 · 1225 阅读 · 0 评论 -
Spark的动态资源分配算法
本文讲解了Spark on Yarn的动态资源分配场景下,从Task信息的生成,到资源的请求,以及将生成的Task基于资源的Locality Preference调度到生成的Executor的整个过程。原创 2024-07-17 00:29:32 · 1077 阅读 · 0 评论 -
一次实践:spark查询hive速度缓慢原因分析并以此看到spark基础架构
前一段时间数据挖掘组的同学向我返回说自己的一段pyspark代码执行非常缓慢,而代码本身非常简单,就是查询hive 一个视图中的数据,而且通过limit 10限制了数据量。 不说别的,先贴我的代码吧:from pyspark.sql import HiveContextfrom pyspark.sql.functions import *import jsonhc = HiveContext原创 2017-02-28 12:01:34 · 17708 阅读 · 0 评论 -
Spark对HiveMetastore客户端的多版本管理、兼容性探究以及栅栏实现
文章目录前言详述对Hive的基本调研对Hive In Spark的兼容性探究的起因升级以后的Spark能否正常工作?通过Shims来增量支持高版本的Hive 的接口变化Spark对Hive版本支持的灵活配置以loadDynamicPartitioins方法来了解ShimsSpark用户的正确使用姿势:通过自定义ClassLoader实现多版本的hive client共存结论前言我们在对Hive...原创 2019-07-14 16:51:52 · 6087 阅读 · 2 评论