![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
java
文章平均质量分 96
麦兜和小可的舅舅
Hadoop Engineer
Email: vico.wu1989@gmail.com
展开
-
HDFS 短路读的实现(全网最全面深入讲解)
HDFS短路读是性能优化的一个重要特性,它利用操作系统的内存映射mmap和共享内存,避开传统的基于TCP的数据通信,极大提升了数据读取效率。整个短路读的过程完全放弃传统的基于TCP/IP的通信方式,基于进行通信,基于mmap和内存共享进行数据同步和块的高效率读取,整个读取过程涉及到了操作系统(mmap等)、Java等知识,同时也和HDFS的缓存系统交叉在一起,因此涉及到的东西很多,本文篇幅较长。原创 2023-10-28 11:23:07 · 462 阅读 · 2 评论 -
一次实践:spark查询hive速度缓慢原因分析并以此看到spark基础架构
前一段时间数据挖掘组的同学向我返回说自己的一段pyspark代码执行非常缓慢,而代码本身非常简单,就是查询hive 一个视图中的数据,而且通过limit 10限制了数据量。 不说别的,先贴我的代码吧:from pyspark.sql import HiveContextfrom pyspark.sql.functions import *import jsonhc = HiveContext原创 2017-02-28 12:01:34 · 17630 阅读 · 0 评论 -
从Presto堆栈讲解含有lambda表达式堆栈分析方法
文章目录关于labmda表达式lambda 表达式带来编码上的便利lambda和非lambda表达式在堆栈信息上的差异lambda表达式的debug方式总结关于labmda表达式关于lambda表达式,labmda expressions in java 8 这里有比较简单的解释:在java 里面,如果一个接口只有一个方法,那么这个接口就叫做function interface; 当然,我们...原创 2019-07-21 18:15:03 · 1168 阅读 · 0 评论