- 博客(5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark持久化级别
Spark最重要的一个功能，就是在不同操作间，持久化（或缓存）一个数据集在内存中。当你持久化一个RDD，每一个结点都将把它的计算分块结果保存在内存中，并在对此数据集（或者衍生出的数据集）进行的其它动作中重用。这将使得后续的动作(Actions)变得更加迅速（通常快10倍）。缓存是用Spark构建迭代算法的关键。 在Spark中，cache和persist用于将RDD持久化到缓存中...
2019-02-19 15:49:15
482
原创 Spark性能优化方向
1、高性能序列化库2、数据结构优化3、RDD持久化级别4、JVM垃圾回收调优5、并行度提高6、广播共享数据7、数据本地化8、Shuffle调优9、合理使用SparkAPI ...
2019-02-19 12:46:50
154
原创 Spark基本术语
Master 集群的领导者，负责集群资源管理，接收客户端提交的作业，向Worker发送命令Worker 集群的执行者，分配具体的任务并执行下发的任务Driver 一个Spark 作业运行时会启动一个Driver 进程，也是作业的主进程，负责作业的解析、生成Stage ，并调度Task 到Executor 上Executor 分布在工作节点...
2019-02-19 12:23:31
192
转载 OpenCV字体
字体和文字最后一种形式的绘图是绘制文字。当然，文字创建了一套自己的复杂格式，但是，在这类事情上，OpenCV一如既往地更关心提供一个简单的"一招解决问题"的方案，这个方案只适用于一些简单应用，而不适用于一个稳定的和完整的应用(这将降低由其他库提供的功能)。OpenCV有一个主要的函数，叫cvPutText()。这个函数可以在图像上输出一些文本。参数text所指向的文本将打印到图像上，参数o...
2019-02-19 11:31:19
1091
转载 内存泄露简单解决办法
编译环境VC++6.0技术原理检测内存泄漏的主要工具是调试器和 CRT 调试堆函数。若要启用调试堆函数，请在程序中包括以下语句： #define CRTDBG_MAP_ALLOC#include <stdlib.h>#include <crtdbg.h>注意 #include 语句必须采用上文所示顺序。如果更改了顺序，所使用的函数可能无法正确工作。 通过包括...
2017-04-07 15:19:50
309
空空如也
数据结构转换的小问题，具体一点
2017-04-08
TA创建的收藏夹 TA关注的收藏夹
TA关注的人